У статистиці, машинному навчанні та теорії інформації зниження розмірності є процесом скорочення кількості випадкових змінних шляхом отримання множини головних змінних. Цей процес можна поділити на обирання ознак та виділяння ознак.
Обирання ознак
Обирання ознак — це процес пошуку підмножини первісних змінних (ознак або властивостей) для використання в побудові моделі. Є три стратегії: фільтрування (наприклад, ) обгортання (наприклад, пошук, який керується точністю) вкладення або вбудування (ознаки обираються для додавання або видалення при створенні моделі ґрунтуючись на помилках прогнозування) Дивись також задачі комбінаторної оптимізації.
В деяких випадках аналіз даних, такий як класифікація або регресія, можна зробити у скороченому просторі більш точно, ніж у початковому.
Конструювання ознак
Конструювання ознак перетворює дані з багатовимірного простору в простір невеликої кількості вимірів. Таке перетворення може бути лінійним, як в методі головних компонент, проте також існує багато методів .Samet, H. (2006) Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. C. Ding, X. He, H. Zha, H.D. Simon, Adaptive Dimension Reduction for Clustering High Dimensional Data, Proceedings of International Conference on Data Mining, 2002 Для багатовимірних даних можна використати тензорне представлення для скорочення розмірності через .
Метод головних компонент (МГК)
Основна лінійна техніка зменшення розмірності, метод головних компонент, здійснює лінійне відображення даних в менш вимірний простір таким чином, що максимізується дисперсія даних у маловимірному представленні. Фактично, будується матриця коваріації (а іноді й кореляції) даних, і обчислюються власні вектори цієї матриці. Власні вектори, що відповідають найбільшим власним числам (головні компоненти), тепер можуть бути використані для реконструкції великої частки дисперсії у вихідних даних. Більш того, перші кілька власних векторів часто можна тлумачити в термінах великомасштабної фізичної поведінки системи. Початковий простір зменшується (з втратою даних, проте, зберігається найважливіша дисперсія) до простору, який визначається кількома власними векторами.
Розклад невід'ємних матриць (РНМ)
РНМ розкладає невід'ємну матрицю на добуток двох невід'ємних матриць, що було перспективним інструментом в таких областях, де існують лише невід'ємні сигнали, такі як астрономія. РНМ добре відома завдяки правилу мультиплікативного оновлення Lee & Seung, який постійно розроблявся: включення невизначеностей, розгляд відсутніх даних та паралельність обчислень , послідовність побудови, що веде до стабільності та лінійності РНМ, як і інші оновлення.
За допомогою стабільної компонентної бази під час побудови та лінійності процесу моделювання, послідовний РНМ здатний зберігати потік при прямому відтворенні навколозоряних структур в астрономії, як один із способів виявлення екзопланет, особливо при безпосередньому зображені навколозоряних дисків. У порівнянні з МГК, РНМ не видаляє середнє матриць, що призводить до нефізичних невід'ємних потоків, тому РНМ здатний зберігати більше інформації, ніж МГК, як показав Рен та інші.
Ядровий метод головних компонент
Метод головних компонент можна використати нелінійним шляхом за допомогою ядрового трюку. Отримана методика здатна побудувати нелінійні відображення, які максимізують дисперсію даних. Отримана методика називається .
Лінійний розділювальний аналіз Лінійний розділювальний аналіз (ЛРА) — це узагальнення лінійного дискримінанта Фішера, який використовується для статистики, розпізнавання образів та машинного навчання, щоб знайти лінійну комбінацію ознак, які характеризують або відокремлюють два або більше класів об'єктів або подій.
Автокодувальник
Автокодувальники можуть використовуватися для навчання нелінійним функціям зменшення розмірності та кодування разом із оберненою функцією, яка дозволяє перейти від кодуванного до оригінального зображення.
Зниження розмірності Для багатовимірних наборів даних, тобто таких, у яких більше 10 вимірів, перед застосування методу k-найближчих сусідів спочатку знижують розмірність з метою уникнення прокляття розмірності.Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, Uri Shaft (1999) «When is „nearest neighbor“ meaningful?» . Database Theory—ICDT99, 217—235
Виділяння ознак та зниження розмірності можна об'єднати в один етап за допомогою методу головних компонент (МГК), лінійного розділювального аналізу (ЛРА), канонічного кореляційного аналізу (ККА) або розкладення невід'ємних матриць (РНМ) — методів попередньої обробки даних перед K-NN кластеризацією векторів ознак у просторі скороченої розмірності. У машинному навчанні цей процес також називається маловимірним вкладенням.
Для дуже-багатовимірних наборів даних, наприклад, для пошуку подібності у потоках відео, ДНК даних або у багатовимірних часових рядах, застосовують швидке наближення K-NN пошуку за допомогою методів , , тензорний скетчShasha, D High (2004) Performance Discovery in Time Series Berlin: Springer. та інші методи багатовимірного пошуку подібності, що доступні, наприклад, у наборі інструментів .
Примітки
Посилання Fodor, I. (2002) «A survey of dimension reduction techniques» . Center for Applied Scientific Computing, Lawrence Livermore National, Technical Report UCRL-ID-148494 Cunningham, P. (2007) «Dimension Reduction» University College Dublin, Technical Report UCD-CSI-2007-7
Джерела JMLR Special Issue on Variable and Feature Selection ELastic MAPs Locally Linear Embedding A Global Geometric Framework for Nonlinear Dimensionality Reduction