Структура із руху () — це техніка діапазонної візуалізації; вона являє собою процес побудови тривимірної структури із послідовності двовимірних зображень, що можуть сполучатися із місцевими . Ця техніка вивчається в галузі комп'ютерного бачення і при вивчені зору. В біологічному зорі, під структурою із руху мають на увазі феномен, за допомогою якого люди (та інші зрячі істоти) можуть відновлювати тривимірну структуру із двовимірних проєкцій (на сітківку) слідів руху від рухомих об'єктів або сцени.

Отримання тривимірної інформації із двовимірних зображень Людина сприймає багато інформації про просторову структуру об'єктів довкілля при переміщенні в ньому. Коли спостерігач рухається і об'єкти зміщуються довкола нього, інформація отримується із образів, що сприймаються протягом часу.

Відбудова структури рухомих об'єктів є задачею, схожою на відбудову структури зі стереоскопічних зображень. В обох випадках необхідно розв'язати задачу відповідності між зображеннями та реконструювати тривимірний об'єкт.

Для знаходження відповідності між зображеннями на них відстежують такі ознаки як кутові точки (грані із градієнтом в різних напрямках). Одним із найширше вживаних алгоритмів пошуку ознак є алгоритм SIFT (). Як ознаки він використовує максимуми піраміди різниць гаусіан. Першим кроком алгоритму SIFT є віднаходження домінантного напряму градієнта. Для того, щоб зробити це інваріантним до обертання, повертають дескриптор таким чином, щоби він збігся з даною орієнтацією. Іншим поширеним алгоритмом виділення ознак є SURF (). В алгоритмі SURF різниці гаусіан замінюють операцією виділення областей на базі матриці Гессе. Також замість підрахунку гістограм градієнтів SURF проводить розрахунки на основі сум градієнтних компонент і сум їхніх абсолютних значень. Виділені на всіх зображеннях ознаки потім зіставляються. Одним із алгоритмів такого зіставлення, що відстежує ознаки від одного зображення до іншого, є відстежувач Лукаса-Канаде.

Іноді деякі із зіставлених ознак зіставляються не вірно. Тому знайдені результати має бути також відфільтровано. Зазвичай для усунення викидів відповідності використовується алгоритм RANSAC (). У праці Фішера та Боллза RANSAC використовується для розв'язання задачі визначення положення (), у якій метою є визначення точок у просторі, що проектуються на зображення у множину орієнтирів з відомими положеннями.

Траєкторії виділених елементів зображення, що переміщуються з плином часу, використовуються для реконструкції їхніх положень у тривимірному просторі та руху камери. Альтернативою є так звані прямі підходи, де геометрична інформація (тривимірна структура та рух камери) визначаються із зображень напряму, без проміжного абстрагування до ознак або кутів.

Існує декілька підходів до отримання структури з руху. В інкрементній структурі з руху положення камери розв'язуються та додаються до колекції одне по одному. В глобальній структурі з руху всі положення камери розв'язуються одночасно. Дещо проміжним підходом є структура з руху , в якій обчислюються деякі часткові реконструкції, що потім інтегруються в глобальний розв'язок.

Параметри камер і тривимірні координати точок спільно уточнюють налаштуванням пучка, мінімізуючи помилку репроєкції. Результатом зазвичай є розріджена хмара точок разом з оціненими положеннями, орієнтаціями та внутрішніми параметрами камер.

Результати структури із руху також використовують як початкові дані в сучасних методах синтезу нових ракурсів. Зокрема, у 3D Gaussian Splatting визначені положення камер і розріджена хмара точок слугують початковим наближенням для оптимізації тривимірних гаусіан.

Застосування Геонауки Фотограмметрію структури з руху разом із багаторакурсним стереобаченням застосовують для побудови тривимірних моделей рельєфу. Вхідними даними можуть бути фотографії зі звичайних цифрових камер, безпілотників або наземних знімальних систем. Для прив'язування моделі до системи координат використовують опорні точки з відомим положенням. Результатом обробки часто є щільна хмара точок, цифрова модель поверхні та ортофотоплан. За сприятливих умов щільність і точність отриманих даних можуть бути порівнянними з наземним або повітряним лазерним скануванням. Водночас фотограмметрична зйомка часто потребує дешевшого й легшого обладнання. Метод зручний для віддалених і важкодоступних місць, куди складно доставити наземний сканер. Повторення зйомки дає змогу вимірювати зміни рельєфу в часі, зокрема ерозію, переміщення берегової лінії або деформацію схилів. Точність залежить від геометрії знімання, якості калібрування камери, розподілу опорних точок і текстури поверхні. Однорідні, блискучі або рухомі поверхні ускладнюють пошук відповідностей між зображеннями й можуть створювати прогалини в моделі.

Див. також

Одночасне визначання місцезнаходження та картографування ()

Поле руху Епіполярна геометрія

Література

Примітки

Посилання

Програмні інструментарії структури з руху

Відкриті рішення

C++ Bundler  — структура з руху для невпорядкованих колекцій фотографій, автор — Noah Snavely openMVG бібліотека Open Multiple View Geometry + демонстратори структури з руху Libmv  — бібліотека структури з руху Theia — швидка та масштабована бібліотека структури з руху, випущена на базі ліцензії BSD MicMac  — вільний джерельний код структури з руху, випущений LSD-SLAM — великомасштабне пряме монокулярне одночасне визначення місцезнаходження та картографування в реальному часі, автор — Jakob Engel MVE — The Multi-View Environment, автор — Simon Fuhrmann, TU Darmstadt. ceres-solver для загальних нелінійних найменших квадратів . Має функції для зрівнювання зв'язок. Раніше використовувався всередині компанії Google для Google Maps. Випущено в світ у 2012 році. SBA для загального зрівнювання зв'язок, автор — Manolis Lourakis.

Matlab Structure from Motion toolbox for Matlab, автор — Vincent Rabaud Matlab Functions for Multiple View Geometry , автор — Andrew Zissermann Structure and Motion Toolkit, автор — Phil Torr Matlab Code for Non-Rigid Structure from Motion , автор — Lorenzo Torresani

Python Python Photogrammetry Toolbox GUI — відкритий ГІК структури із руху (запускач Easy SfM та щільної множини точок), автори — Pierre Moulon та Arc-Team

Інше програмне забезпечення

Smart3DCapture , повне рішення для фотограмметрії від Acute3D. 3DF Samantha  — конвеєрна командно-рядкова структура із руху для Windows від 3Dflow SRL. Безкоштовна для некомерційного призначення. Automatic Camera Tracking System (ACTS)  — система структури із руху для Microsoft Windows, автор — State Key Lab з CAD&CG, Zhejiang University. VisualSFM: A Visual Structure from Motion System , автор — Changchang Wu SFMToolkit , повне рішення для фотограмметрії на базі відкритого програмного забезпечення MountainsMap SEM, програмне забезпечення для сканувальних електронних мікроскопів. 3D отримується нахилом зразка + фотограмметрією. Voodoo Camera Tracker , некомерційний інструмент для поєднання віртуальних та реальних сцен. Первісний сайт, заархівований: Laboratorium für Informationstechnologie, University of Hannover MetaIO Toolbox, структура з руху для доповненої реальності на мобільних пристроях. TacitView від Catena Python Abstract Workflow Framework з компонентами структури з руху.