Лінейны дыскрымінантны аналіз (), нармальны дыскрымінантны аналіз (), або аналіз дыскрымінантнай функцыі () — абагульненне лінейнага дыскрымінанта Фішэра, метаду, які выкарыстоўваецца ў статыстыцы і іншых навуках, каб знайсці прыкмет, якая характарызуе або падзяляе два ці больш класы аб’ектаў або падзей. Атрыманая камбінацыя можа выкарыстоўвацца ў якасці або, часцей, для перад наступнай класіфікацыяй.
LDA цесна звязаны з (ANOVA) і , якія таксама спрабуюць выразіць адну залежную зменную як лінейную камбінацыю іншых прыкмет або вымярэнняў. Аднак ANOVA выкарыстоўвае незалежныя зменныя і залежную зменную, у той час як дыскрымінантны аналіз мае непарыўныя незалежныя зменныя і катэгарыяльную залежную зменную (г.зн. метку класа)Analyzing Quantitative Data: An Introduction for Social Researchers, Debra Wetcher-Hendricks, p.288. і больш падобныя да LDA, чым ANOVA, бо яны таксама тлумачаць катэгарыяльную зменную значэннямі непарыўных незалежных зменных. Гэтым метадам аддаецца перавага, калі нельга меркаваць, што незалежныя зменныя маюць нармальнае размеркаванне, што з’яўляецца фундаментальным дапушчэннем метаду LDA.
LDA таксама цесна звязаны з (PCA) і у тым, што яны ўсе шукаюць лінейныя камбінацыі зменных, якія лепш за ўсё тлумачаць даныя . LDA відавочна спрабуе змадэляваць розніцу паміж класамі даных. PCA, наадварот, не ўлічвае ніякай розніцы ў класе, а фактарны аналіз стварае камбінацыі прыкмет на аснове адрозненняў, а не падабенстваў. Дыскрымінантны аналіз таксама адрозніваецца ад фактарнага аналізу тым, што ён не з’яўляецца метадам узаемазалежнасці: неабходна адрозніваць незалежныя зменныя і залежныя зменныя (таксама называныя крытэрыяльнымі зменнымі).
LDA працуе, калі вымярэнні незалежных зменных для кожнага назірання прадстаўлены непарыўнымі велічынямі. Адпаведная методыка пры працы з катэгарыяльнымі незалежнымі зменнымі — дыскрымінантны аналіз адпаведнасціAbdi, H. (2007) «Discriminant correspondence analysis.» In: N.J. Salkind (Ed.): Encyclopedia of Measurement and Statistic. Thousand Oaks (CA): Sage. pp. 270-275..
Дыскрымінантны аналіз выкарыстоўваецца, калі групы вядомыя апрыёры (у адрозненне ад ). Кожны выпадак павінен мець ацэнку аднаго або некалькіх колькасных прэдыктыўных вымярэнняў і ацэнку групавога вымярэнняBüyüköztürk, Ş. & Çokluk-Bökeoğlu, Ö. (2008). Discriminant function analysis: Concept and application. Egitim Arastirmalari — Eurasian Journal of Educational Research, 33, 73-92. . Кажучы простымі словамі, аналіз дыскрымінантнай функцыі гэта класіфікацыя — акт размеркавання рэчаў на групы, класы або катэгорыі аднаго тыпу.
Гісторыя Арыгінальны дыскрымінантны аналіз быў распрацаваны Рональдам Фішэрам у 1936 годзеCohen et al. Applied Multiple Regression/Correlation Analysis for the Behavioural Sciences 3rd ed. (2003). Taylor & Francis Group.. Ён адрозніваецца ад і , якія выкарыстоўваюцца для прагназавання адной (ANOVA) або некалькіх (MANOVA) непарыўных залежных зменных паводле адной або некалькіх незалежных катэгарыяльных зменных. Аналіз дыскрымінантнай функцыі карысны для вызначэння таго, ці эфектыўны набор зменных для прагназавання прыналежнасці да катэгорыіGreen, S.B. Salkind, N. J. & Akey, T. M. (2008). Using SPSS for Windows and Macintosh: Analyzing and understanding data. New Jersey: Prentice Hall..
Дапушчэнні Дапушчэнні дыскрымінантнага аналізу такія ж, як і для MANOVA. Аналіз вельмі адчувальны да выкідаў, і памер найменшай групы павінен быць большы за колькасць прэдыктарных зменных.
Многавымерная нармальнасць: незалежныя зменныя размеркаваны нармальна для кожнай групы. Гамагеннасць дысперсіі/каварыяцыі (): дысперсіі зменных аднолькавыя для ўсіх груп. Можна праверыць з дапамогай . Было прапанавана, аднак, выкарыстоўваць лінейны дыскрымінантны аналіз калі каварыяцыі роўныя, і у іншым выпадку. : прагназавальная здольнасць можа змяншацца з павелічэннем карэляцыі паміж прэдыктарнымі зменнымі. Незалежнасць: мяркуецца, што аб’екты адбіраюцца выпадкова, а значэнне адной зменнай аб’екта ўважаецца незалежным ад значэнняў гэтай зменнай для ўсіх астатніх аб’ектаў.
Была выказана здагадка, што дыскрымінантны аналіз адносна трывалы да нязначных парушэнняў гэтых дапушчэнняўLachenbruch, P. A. (1975). Discriminant analysis. NY: Hafner, а таксама было паказана, што дыскрымінантны аналіз усё яшчэ можа быць надзейным пры выкарыстанні бінарных зменных (дзе часта парушаецца многавымерная нармальнасць)Klecka, William R. (1980). Discriminant analysis. Quantitative Applications in the Social Sciences Series, No. 19. Thousand Oaks, CA: Sage Publications..
LDA для двух класаў Разгледзім набор назіранняў (таксама званых прыкметамі, атрыбутамі, зменнымі або вымярэннямі) для кожнага аб’екта або падзеі з вядомым класам . Гэты набор аб’ектаў завецца . Праблема класіфікацыі заключаецца ў тым, каб знайсці добры крытэрый аднясення да класа любога аб’екта з аналагічным размеркаваннем (неабавязкова з трэніровачнага набору) як функцыю толькі ад назірання .
LDA падыходзіць да праблемы з дапушчэннем, што функцыі шчыльнасці ўмоўнай імавернасці і адпавядаюць многавымернаму нармальнаму размеркаванню з сярэднім і матрыцай каварыяцыі і адпаведна. Згодна з гэтым дапушчэннем, аптымальнае рашэнне заключаецца ў аднясенні пунктаў да класа , калі лагарыфм суадносін праўдападобнасцяў большы за некаторае парогавае значэнне :
Без дадатковых дапушчэнняў атрыманы класіфікатар называецца (QDA).
Аднак LDA робіць дадатковае спрашчальнае дапушчэнне (г.зн. што каварыяцыі класаў аднолькавыя, таму ) і што матрыцы каварыяцыі незвыродныя. У гэтым выпадку некалькі складнікаў скарачаюцца:
, бо — сіметрычная матрыца
і прыведзены вышэй крытэрый прымае наступную форму:
для некаторай парогавай канстанты , дзе (для , што эквівалентна метаду максімальнай праўдападобнасці):
Гэта значыць, што крытэрый таго, што аб’ект належыць класу гэта функцыя лінейнай камбінацыі вядомых назіранняў.
Часта бывае карысна паглядзець на гэта з геаметрычнага пункта гледжання: крытэрый таго, што належыць класу гэта функцыя праекцыі пункта мнагамернай прасторы на вектар (такім чынам, мы ўлічваем толькі кірунак ). Іншымі словамі, назіранне належыць да , калі адпаведны знаходзіцца на пэўным баку гіперплоскасці, артаганальнай . Размяшчэнне плоскасці вызначаецца парогавым значэннем .
Правілы дыскрымінацыі Максімальная праўдападобнасць: прысвойвае групе, для якой шчыльнасць размеркавання незалежных зменных у пункце найбольшаяHardle, W., Simar, L. (2007). Applied Multivariate Statistical Analysis. Springer Berlin Heidelberg. pp. 289—303.. Баесаўскае правіла дыскрымінацыі: прысвойвае групе, якая максімізуе , дзе уяўляе сабой -й групы, а адлюстроўвае шчыльнасць размеркавання незалежных зменных. Правіла лінейнага дыскрымінанта Фішэра: максімізуе суадносіны паміж і і знаходзіць лінейную камбінацыю прэдыктараў для прагназавання групы.
Лінейны дыскрымінант Фішэра Тэрміны «лінейны дыскрымінант Фішэра» і «LDA» часта выкарыстоўваюцца як узаемазамяняльныя, хаця ў арыгінальным артыкуле Фішэра апісваецца крыху іншы метад, які не робіць некаторыя дапушчэнні LDA, такія як нармальна размеркаваныя класы або роўныя класавыя каварыяцыі.
Няхай два класы назіранняў маюць сярэднія і каварыяцыі . Тады лінейная камбінацыя прыкмет будзе мець сярэдняе і дысперсію для . Фішэр вызначыў падзел паміж гэтымі двума размеркаваннямі як суадносіны дысперсіі паміж класамі да дысперсіі ўнутры класаў:
Гэтая мера ў пэўным сэнсе з’яўляецца мерай для падзелу на групы. Можна паказаць, што максімальны падзел дасягаецца пры
.
Калі дапушчэнні LDA выкананы, прыведзенае вышэй ураўненне эквівалентна LDA.
Звярніце ўвагу, што вектар — нармаль да дыскрымінантнай . Напрыклад, у двухмернай задачы лінія, якая лепш за ўсё падзяляе дзве групы, перпендыкулярная да .
Як правіла, пункты даных, якія трэба адрозніць, праецыруюцца на ; тады парогавае значэнне, якое лепш за ўсё падзяляе даныя, выбіраецца з аналізу аднамернага размеркавання. Агульнага правіла для парога не існуе. Аднак, калі праекцыі пунктаў з абодвух класаў маюць падобныя размеркаванні, добрым выбарам будзе гіперплоскасць паміж праекцыямі двух сярэдніх, і . У гэтым выпадку парогавае значэнне для няроўнасці можа быць знойдзена яўна:
.
звязаны з лінейным дыскрымінантам Фішэра і быў створаны для бінарызацыі гістаграмы пікселяў на выяве ў адценнях шэрага шляхам аптымальнага выбару парога паміж чорным і белым, які мінімізуе дысперсію ўнутры класаў і павялічвае дысперсію паміж класамі (адценнямі шэрага, аднесенымі для чорнага і белага класаў пікселяў).
Мнагакласавы LDA
У выпадку, калі існуе больш за два класы, аналіз, які выкарыстоўваецца пры вывядзенні дыскрымінанта Фішэра, можа быць пашыраны, каб знайсці , якая б змяшчала ўсю зменлівасць класаGarson, G. D. (2008). Discriminant function analysis. .. Такое абагульненне прапанаваў . Дапусцім, што кожны з C класаў мае сярэдняе і аднолькавую каварыяцыю . Тады роскід паміж класамі можа быць вызначаны выбаркавай каварыяцыяй сярэдніх класаў
дзе — сярэдняе значэнне класа. Падзел класаў у кірунку у гэтым выпадку будзе зададзены як
Гэта значыць, што калі — уласны вектар , падзел S будзе роўны адпаведнаму ўласнаму значэнню.
Калі можна дыяганалізаваць, зменлівасць паміж прыкметамі будзе ўтрымлівацца ў падпрасторы, ахопленай уласнымі вектарамі, адпаведнымі найбольшым уласным значэнням C − 1 (бо мае ранг не большы за C - 1). Гэтыя ўласныя вектары як правіла выкарыстоўваюцца для скарачэння колькасці прыкмет, як у . Уласныя вектары, якія адпавядаюць меншым уласным значэнням, будуць вельмі адчувальныя да дакладнага выбару навучальных даных, таму часта бывае неабходна прымяняць рэгулярызацыю.
Калі патрабуецца класіфікацыя, замест існуе шэраг альтэрнатыўных метадаў. Напрыклад, класы могуць быць згрупаваныя і стандартны дыскрымінант Фішэра або LDA выкарыстоўвацца для класіфікацыі ўнутры кожнай групы. Тыповы прыклад гэтага — метад «адзін супраць астатніх», калі аб’екты з аднаго класа дадаюцца ў адну групу, а ўсё астатняе — у другую, а пасля прымяняецца LDA. Такім чынам можна атрымаць C класіфікатараў, вынікі якіх аб’ядноўваюцца. Іншы распаўсюджаны метад — папарная класіфікацыя, пры якой новы класіфікатар ствараецца для кожнай пары класаў (агулам даючы C(C − 1)/2 класіфікатараў), з аб’яднаннем асобных класіфікатараў для атрымання канчатковай класіфікацыі.
Інкрэментны LDA Тыповая рэалізацыя метаду LDA патрабуе, каб усе даныя былі даступныя загадзя. Аднак бываюць сітуацыі, калі ўвесь набор даных недаступны, а даныя паступаюць у выглядзе патоку. У гэтым выпадку пажадана, каб алгарытм LDA меў магчымасць абнаўляць параметры мадэлі шляхам назірання толькі за новымі аб’ектамі без запуску алгарытму на ўсім наборы даных. Напрыклад, у многіх выпадках працы ў рэжыме рэальнага часу, такіх як мабільная робататэхніка або распазнаванне твараў, важна абнаўляць параметры LDA, як толькі будуць даступныя новыя назіранні. Алгарытм, які можа абнаўляць параметры LDA шляхам назірання за новымі аб’ектамі называецца інкрэментным LDA, і шырока вывучаецца на працягу апошніх двух дзесяцігоддзяў. Чатэрджы і Ройчаўдхуры прапанавалі інкрэментны самаарганізаваны алгарытм LDA для абнаўлення параметраў. У іншай працы Дэмір і Озмехмет прапанавалі анлайн-алгарытм лакальнага навучання для паступовага абнаўлення параметраў LDA з выкарыстаннем карэкцыі памылак і правілаў навучання Хеба. Пазней Аліяры і інш. вынайшлі хуткі інкрэментны алгарытм для абнаўлення параметраў LDA.
Выкарыстанне на практыцы На практыцы сярэднія класаў і каварыяцыі невядомыя. Іх, аднак, можна ацаніць з навучальнага набору. Замест дакладнага значэння ў прыведзеных вышэй ураўненнях можа выкарыстоўвацца або ацэнка максімальнай праўдападобнасці, або . Нягледзячы на тое, што ацэнкі каварыяцыі можна лічыць аптымальнымі ў некаторым сэнсе, гэта не азначае, што выніковы дыскрымінант, атрыманы падстаноўкай гэтых значэнняў, з’яўляецца аптымальным, нават калі дапушчэнне нармальнасці размеркавання класаў слушнае.