У комп'ютерному зорі фундаментальна матриця — це матриця розміру , яка описує епіполярну геометрію двох зображень однієї сцени без використання відомих внутрішніх параметрів камер. Для пари відповідних точок і в однорідних координатах виконується епіполярне обмеження

Вектор задає епіполярну лінію на другому зображенні, на якій повинна лежати відповідна точка . Аналогічно задає епіполярну лінію на першому зображенні. Фундаментальна матриця визначена з точністю до ненульового масштабного множника та має ранг два. Тому вона має сім ступенів вільності: дев'ять елементів матриці, мінус один ступінь через невизначений масштаб і ще один через умову нульового визначника.

Матрицю можна оцінити за точковими відповідностями між зображеннями. Семиточковий алгоритм використовує сім відповідностей і може давати до трьох розв'язків, тоді як нормалізований восьмиточковий алгоритм використовує щонайменше вісім. За наявності викидів оцінювання зазвичай поєднують із RANSAC. Якщо внутрішні параметри обох камер відомі, фундаментальна матриця пов'язана з істотною матрицею співвідношенням .

Термін «фундаментальна матриця» запровадив Ц. Т. Луонг у докторській дисертації 1992 року; в літературі також трапляється назва «біфокальний тензор». Теорію, алгоритми оцінювання та аналіз стійкості фундаментальної матриці Луонг і Олів'є Фожера узагальнили в праці 1996 року.

Теорема про проективну реконструкцію Фундаментальну матрицю можна визначити набором точкових відповідностей. Крім того, ці відповідні точки зображення можуть бути триангульовані для визначення координат точки у 3Д просторі за допомогою матриць камер, отриманих безпосередньо з цієї фундаментальної матриці. Сцена, складена з цих точок, знаходиться в межах проективного перетворення справжньої сцени.Richard Hartley and Andrew Zisserman «Multiple View Geometry in Computer Vision» 2003, pp. 266—267

Доведення Вважатимемо, що відповідні точки двох зображень яким відповідає точка на сцені отримано за допомогою камер із матрицям , тобто

Введемо перетворення простору загальною матрицею гомографії як .

Тоді перетворення камер

і так само з ми все щє отримуємо ті самі точки

Виведення фундаментальної матриці з використанням умови копланарності Фундаментальну матрицю можна також отримати, використовуючи умову копланарності.Jaehong Oh. "Novel Approach to Epipolar Resampling of HRSI and Satellite Stereo Imagery-based Georeferencing of Aerial Images" , 2011, pp. 22–29 accessed 2011-08-05. Якщо точка сцени не лежить на базовій лінії, вона разом з оптичними центрами камер та визначає єдину площину — епіполярну. Промені, що з'єднують і з точкою , а також базова лінія , лежать саме в цій площині, тому відповідні три вектори лінійно залежні, а їхній мішаний добуток дорівнює нулю.Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision (вид. 2). Cambridge University Press. ISBN 978-0-521-54051-3.

Записавши цю умову копланарності алгебраїчно через координати відповідних точок зображення і та матриці обох камер і виключивши невідому глибину точки , отримують білінійне співвідношення . Матриця залежить від внутрішніх параметрів камер та їхнього взаємного розташування, однак знати ці параметри не обов'язково: фундаментальну матрицю можна оцінити лише за точковими відповідностями між зображеннями.

Методи знаходження Якщо відомо що найменш вісім відповідних точок зображень, для знаходження фундаментальної матриці може бути використано восьмиточковий алгоритм.

Властивості Фундаментальна матриця має ранг 2. Його ядро визначає епіполь.

Використання Зазвичай фундаментальна матриця використовується для спрощення пошуку відповідностей між двома зображеннями. Пошук відповідної точки зображення можна вести або увздовж епіполярної лінії на іншому зображенні, або ж зображення можна ректифікувати і вести пошук лише за однїєю координатою. Відновлення тривимірного положення точок із використанням лише фундаментальної матриці неможливе (в межах проективної невизначеності). Однак якщо відома інформація про параметри камери (фокусна відстань та принципова точка) то з фундаментальної матриці можна отримати істотну матрицю розклад якої дозволяє отримати інформацію про відносні положення та орієнтації камер, після чого стає можливим виконати тріангуляцію точок.

Ще Пісня про фундаментальну матрицю на youtube(англ).

Див. також Епіполярна геометрія Восьмиточковий алгоритм Істотна матриця Трифокальний тензор

Примітки

Посилання