У математичкој статистици, Кулбак—Лајблерова (КЛ) дивергенција (такође се назива релативна ентропија и I-дивергенција), означена као , јесте тип статистичке раздаљине: мера колико се модел расподеле вероватноће разликује од стварне расподеле вероватноће . Математички, дефинише се као
Једноставна интерпретација КЛ дивергенције од је очекивани вишак изненађења од коришћења као модела уместо , када је стварна расподела . Иако је то мера разлике између две расподеле и стога јесте раздаљина у неком смислу, она заправо није метрика, што је најпознатији и формални тип раздаљине. Конкретно, није симетрична у двема расподелама (за разлику од варијације информације) и не задовољава неједнакост троугла. Уместо тога, у смислу информационе геометрије, то је тип дивергенције, генерализација квадратне Еуклидске раздаљине, и за одређене класе расподела (посебно експоненцијалну фамилију), задовољава генерализовану Питагорину теорему (која се примењује на квадратне раздаљине).
Релативна ентропија је увек ненегативан реалан број, са вредношћу 0 ако и само ако су две расподеле у питању идентичне. Има различите примене, како теоријске, као што је карактеризација релативне (Шенонове) ентропије у информационим системима, случајности у непрекидним временским серијама и добитка информација при поређењу статистичких модела закључивања; тако и практичне, као што су примењена статистика, механика флуида, неуронаука, биоинформатика и машинско учење.
Увод и контекст Размотримо две расподеле вероватноће и . Обично, представља податке, опсервације или измерену расподелу вероватноће. Расподела уместо тога представља теорију, модел, опис или апроксимацију . Кулбак—Лајблерова дивергенција се тада тумачи као просечна разлика у броју битова потребних за кодирање узорака из коришћењем кода оптимизованог за уместо оног оптимизованог за . Треба напоменути да се улоге и могу заменити у неким ситуацијама где је то лакше израчунати, као што је случај са алгоритмом очекивање-максимизација (EM) и прорачунима доње границе доказа (ELBO).
Етимологија Релативну ентропију су увели Соломон Кулбак и Ричард Лајблер 1951. године као „средњу информацију за дискриминацију између и по опсервацији из ”, где се пореде две мере вероватноће , а су хипотезе да се бира из мере (респективно). Означили су је са , и дефинисали „’дивергенцију’ између и ” као симетризовану количину , коју је већ дефинисао и користио Харолд Џефриз 1948. године. У , симетризовани облик се поново назива „дивергенцијом”, а релативне ентропије у сваком смеру се називају „усмереним дивергенцијама” између две расподеле; Кулбак је преферирао термин дискриминациона информација. Термин „дивергенција” је у супротности са раздаљином (метриком), пошто симетризована дивергенција не задовољава неједнакост троугла. Бројне референце на раније употребе симетризоване дивергенције и на друге статистичке раздаљине дате су у . Асиметрична „усмерена дивергенција” постала је позната као Кулбак—Лајблерова дивергенција, док се симетризована „дивергенција” сада назива Џефризова дивергенција.
Дефиниција За дискретне расподеле вероватноће и дефинисане на истом простору исхода, релативна ентропија од до је дефинисана као
што је еквивалентно са
Другим речима, то је очекивана вредност логаритамске разлике између вероватноћа и , где се очекивање узима користећи вероватноће . Релативна ентропија је дефинисана на овај начин само ако, за све , имплицира (апсолутна непрекидност). У супротном, често се дефинише као али вредност је могућа чак и ако је свуда, под условом да је бесконачног опсега. Аналогни коментари се примењују на непрекидне и опште случајеве мере дефинисане у наставку.
Кад год је нула, допринос одговарајућег члана се тумачи као нула јер
За расподеле и непрекидне случајне променљиве, релативна ентропија се дефинише као интеграл
где и означавају функције густине вероватноће од и .
Уопштеније, ако су и мере вероватноће на мерљивом простору и је апсолутно непрекидна у односу на , онда се релативна ентропија од до дефинише као
где је Радон—Никодимов извод од у односу на , тј. јединствена скоро свуда дефинисана функција на таква да је која постоји јер је апсолутно непрекидна у односу на . Такође претпостављамо да израз са десне стране постоји. Еквивалентно (по правилу ланца), ово се може написати као
што је ентропија од у односу на . Настављајући у овом случају, ако је било која мера на за коју густине и са и постоје (што значи да су и обе апсолутно непрекидне у односу на онда је релативна ентропија од до дата као
Приметите да таква мера за коју се могу дефинисати густине увек постоји, пошто се може узети , иако ће у пракси то обично бити она која се примењује у контексту као што је мера пребројавања за дискретне расподеле, или Лебегова мера или њена погодна варијанта као што је Гаусова мера или униформна мера на сфери, Харова мера на Лијевој групи итд. за непрекидне расподеле. Логаритми у овим формулама се обично узимају са основом 2 ако се информација мери у јединицама битова, или са основом ако се информација мери у натима. Већина формула које укључују релативну ентропију важе без обзира на основу логаритма.
Постоје различите конвенције за именовање речима. Често се назива дивергенцијом између и , али то не успева да пренесе фундаменталну асиметрију у односу. Понекад, као у овом чланку, може се описати као дивергенција од или као дивергенција од до . Ово одражава асиметрију у Бајесовом закључивању, које почиње од априорне расподеле и ажурира се до апостериорне расподеле . Други уобичајен начин за означавање је релативна ентропија у односу на или добитак информација од у односу на .
Основни пример
Кулбак даје следећи пример (Табела 2.1, Пример 2.1). Нека су и расподеле приказане у табели и на слици. је расподела на левој страни слике, биномна расподела са и . је расподела на десној страни слике, дискретна униформна расподела са три могућа исхода (тј. ), сваки са вероватноћом .
мини|400п|без|Две расподеле за илустрацију релативне ентропије 0 1 2
Релативне ентропије и се рачунају на следећи начин. Овај пример користи природни логаритам са основом , означен као , да би се добили резултати у натима (видети јединице информације):
Интерпретације Статистика У области статистике, Нејман—Пирсонова лема наводи да је најмоћнији начин за разликовање између две расподеле и на основу опсервације (извучене из једне од њих) путем логаритма односа њихових веродостојности: . КЛ дивергенција је очекивана вредност ове статистике ако је заиста извучена из . Кулбак је мотивисао ову статистику као очекивани логаритамски однос веродостојности.
Кодирање У контексту теорије кодирања, се може конструисати мерењем очекиваног броја додатних битова потребних за кодирање узорака из коришћењем кода оптимизованог за уместо кода оптимизованог за .
Закључивање У контексту машинског учења, се често назива добитком информација оствареним ако би се користило уместо које се тренутно користи. По аналогији са теоријом информација, назива се релативном ентропијом у односу на .
Изражено језиком Бајесовог закључивања, је мера информације добијене ревидирањем уверења од априорне расподеле вероватноће до апостериорне расподеле вероватноће . Другим речима, то је количина информација изгубљена када се користи за апроксимацију .
Информациона геометрија У применама, обично представља „праву” расподелу података, опсервација или прецизно израчунату теоријску расподелу, док обично представља теорију, модел, опис или апроксимацију . Да бисмо пронашли расподелу која је најближа , можемо минимизовати КЛ дивергенцију и израчунати информациону пројекцију.
Иако је то статистичка раздаљина, она није метрика, најпознатији тип раздаљине, већ је то дивергенција. Док су метрике симетричне и генерализују линеарну раздаљину, задовољавајући неједнакост троугла, дивергенције су асиметричне и генерализују квадратну раздаљину, у неким случајевима задовољавајући генерализовану Питагорину теорему. Уопштено није једнако , а асиметрија је важан део геометрије. Инфинитезимални облик релативне ентропије, конкретно њена Хесијанова матрица, даје метрички тензор који је једнак Фишеровој информационој метрици; видети . Фишерова информациона метрика на одређеној расподели вероватноће омогућава одређивање природног градијента за информационо-геометријске алгоритме оптимизације. Њена квантна верзија је Фубини-Студи метрика. Релативна ентропија задовољава генерализовану Питагорину теорему за експоненцијалне фамилије (геометријски интерпретиране као дуално равне многострукости), и то омогућава минимизацију релативне ентропије геометријским средствима, на пример информационом пројекцијом и у процени максималне веродостојности.
Релативна ентропија је Брегманова дивергенција генерисана негативном ентропијом, али је такође у облику -дивергенције. За вероватноће над коначним азбуком, она је јединствена по томе што припада обема класама статистичких дивергенција. Примена Брегманове дивергенције се може наћи у алгоритму спуштања у огледалу ().
Финансије (теорија игара) Размотримо инвеститора који оптимизује раст у фер игри са међусобно искључивим исходима (нпр. „трка коња” у којој збир званичних квота износи један). Стопа поврата коју очекује такав инвеститор једнака је релативној ентропији између вероватноћа у које инвеститор верује и званичних квота. Ово је посебан случај много општије везе између финансијских поврата и мера дивергенције. Финансијски ризици су повезани са путем информационе геометрије. Ставови инвеститора, преовлађујући став на тржишту и ризични сценарији формирају троуглове на релевантној многострукости расподела вероватноће. Облик троуглова одређује кључне финансијске ризике (и квалитативно и квантитативно). На пример, тупоугли троуглови у којима се ставови инвеститора и ризични сценарији појављују на „супротним странама” у односу на тржиште описују негативне ризике, оштроугли троуглови описују позитивну изложеност, а правоугла ситуација у средини одговара нултом ризику. Проширујући овај концепт, релативна ентропија се хипотетички може користити за идентификацију понашања информисаних инвеститора, ако се ово схвати као представљено величином и одступањима од претходних очекивања токова фондова, на пример.
Мотивација
мини|десно|320п|Илустрација релативне ентропије за две нормалне расподеле. Јасно је видљива типична асиметрија.
У теорији информација, Крафт—Макмиланова неједнакост утврђује да се било која шема кодирања која се може директно декодирати за кодирање поруке ради идентификације једне вредности из скупа могућности може посматрати као представљање имплицитне расподеле вероватноће над , где је дужина кода за у битовима. Стога се релативна ентропија може тумачити као очекивана додатна дужина поруке по податку која се мора пренети ако се користи код који је оптималан за дату (погрешну) расподелу , у поређењу са коришћењем кода заснованог на правој расподели : то је вишак ентропије.
где је унакрсна ентропија од у односу на , а је ентропија од (што је исто као и унакрсна ентропија P са самим собом).
Релативна ентропија се може геометријски посматрати као статистичка раздаљина, мера колико је расподела удаљена од расподеле . Геометријски, то је дивергенција: асиметричан, генерализован облик квадратне раздаљине. Унакрсна ентропија је сама по себи такво мерење (формално функција губитка), али се не може сматрати раздаљином, јер није нула. Ово се може исправити одузимањем како би се боље ускладило са нашом представом о раздаљини, као вишак губитка. Резултујућа функција је асиметрична, и иако се може симетризовати (видети ), асиметрични облик је кориснији. Видети за више о геометријској интерпретацији.
Релативна ентропија се односи на „функцију стопе” у теорији великих девијација.Novak S.Y. (2011), ch. 14.5 (Chapman & Hall). .