Егзистенцијални ризик од вештачке интелигенције (), или АИ х-ризик (), односи се на идеју да би значајан напредак у вештачкој општој интелигенцији (ВОИ) могао довести до изумирања људи или неповратне глобалне катастрофе. мини|Графикон који приказује дужину задатака софтверског инжењеринга које водећи модели вештачке интелигенције могу да остваре са 50% успешности; подаци указују на експоненцијални раст. Један аргумент о важности овог ризика указује на то како људска бића доминирају над другим врстама зато што људски мозак поседује јединствене способности које друге животиње немају. Ако би вештачка интелигенција надмашила људску интелигенцију и постала суперинтелигентна, могла би постати неконтролисана. Баш као што судбина планинске гориле зависи од људске добре воље, тако би и судбина човечанства могла зависити од поступака будуће машинске суперинтелигенције.

Стручњаци се не слажу око тога да ли вештачка општа интелигенција (ВОИ) може достићи способности потребне за истребљење људи. Дебате се усредсређују на техничку изводљивост ВОИ, брзину самоусавршавања, и ефикасност стратегија усклађивања. Забринутост у вези са суперинтелигенцијом изразили су истраживачи, укључујући Џефрија Хинтона, Јошуу Бенџија, Демиса Хасабиса, и Алана Тјуринга, као и директори компанија за вештачку интелигенцију као што су Дарио Амодеи (Антропик), Сем Олтман (OpenAI), и Илон Маск (xAI). Године 2022, анкета истраживача вештачке интелигенције са стопом одговора од 17% показала је да већина верује да постоји 10% или већа шанса да ће неспособност људи да контролишу вештачку интелигенцију изазвати егзистенцијалну катастрофу. Године 2023, стотине стручњака за вештачку интелигенцију и других угледних личности потписало је изјаву у којој се наводи: „Ублажавање ризика од изумирања од вештачке интелигенције требало би да буде глобални приоритет поред других ризика друштвених размера, као што су пандемије и нуклеарни рат”. Након повећане забринутости због ризика од вештачке интелигенције, владини лидери као што су премијер Уједињеног Краљевства Риши Сунак и генерални секретар Уједињених нација Антонио Гутерес позвали су на већи фокус на глобалну регулацију вештачке интелигенције.

Два извора забринутости потичу из проблема контроле и усклађивања вештачке интелигенције. Контролисање суперинтелигентне машине или усађивање вредности компатибилних са људским може бити тешко. Многи истраживачи верују да би суперинтелигентна машина вероватно одолевала покушајима да се онеспособи или да јој се промене циљеви, јер би је то спречило у остваривању тренутних циљева. Било би изузетно изазовно ускладити суперинтелигенцију са пуним спектром значајних људских вредности и ограничења., цитирано у Насупрот томе, скептици попут информатичара Јана Лекуна тврде да суперинтелигентне машине неће имати жељу за самоодржањем.

Истраживачи упозоравају да би „експлозија интелигенције” — брз, рекурзиван циклус самоусавршавања вештачке интелигенције — могла надмашити људски надзор и инфраструктуру, не остављајући прилику за примену сигурносних мера. У том сценарију, вештачка интелигенција интелигентнија од својих твораца би се рекурзивно усавршавала експоненцијално растућом брзином, пребрзо да би је њени руководиоци или друштво у целини могли контролисати. Емпиријски, примери попут AlphaZero, који је сам себе научио да игра го и брзо надмашио људске способности, показују да доменски специфични системи вештачке интелигенције понекад могу врло брзо напредовати од подљудских до надљудских способности, иако такви системи машинског учења не унапређују рекурзивно своју основну архитектуру.

Историја Један од најранијих аутора који је изразио озбиљну забринутост да би високо напредне машине могле представљати егзистенцијалне ризике за човечанство био је романописац Семјуел Батлер, који је у свом есеју из 1863. године, Дарвин међу машинама, написао:Breuer, Hans-Peter. Modern Philology, , pp. 365–383.

Године 1951, оснивач рачунарства Алан Тјуринг написао је чланак „Интелигентна машинерија, јеретичка теорија”, у којем је предложио да би вештачке опште интелигенције вероватно „преузеле контролу” над светом како би постале интелигентније од људских бића:

Године 1965, И. Џ. Гуд је осмислио концепт сада познат као „експлозија интелигенције” и рекао да су ризици потцењени:

Научници попут Марвина Минског и сам И. Џ. Гуд повремено су изражавали забринутост да би суперинтелигенција могла преузети контролу, али нису позивали на акцију. Године 2000, информатичар и суоснивач компаније Сан мајкросистемс Бил Џој написао је утицајан есеј, „Зашто нас будућност не треба”, идентификујући суперинтелигентне роботе као високотехнолошку опасност по опстанак човечанства, поред нанотехнологије и конструисаних биолошких пошасти.

Ник Бостром је 2014. објавио књигу Суперинтелигенција: Путеви, опасности, стратегије, у којој је изнео своје аргументе да суперинтелигенција представља егзистенцијалну претњу. До 2015. године, јавне личности као што су физичари Стивен Хокинг и нобеловац Френк Вилчек, информатичари Стјуарт Џ. Расел и Роман Јампољски, као и предузетници Илон Маск и Бил Гејтс изражавали су забринутост због ризика од суперинтелигенције. Такође 2015. године, Отворено писмо о вештачкој интелигенцији истакло је „велики потенцијал вештачке интелигенције” и подстакло на више истраживања о томе како је учинити робусном и корисном. У априлу 2016. године, часопис Nature је упозорио: „Машине и роботи који надмашују људе у свим областима могли би се самоусавршавати изван наше контроле — а њихови интереси се можда неће подударати са нашима”. Године 2020, Брајан Кристијан је објавио књигу The Alignment Problem, која детаљно описује историју напретка у усклађивању вештачке интелигенције до тог времена.

У марту 2023. године, кључне личности у области вештачке интелигенције, попут Маска, потписале су писмо Института за будућност живота позивајући на обуставу напредне обуке вештачке интелигенције док се она не буде могла правилно регулисати. У мају 2023. године, Центар за безбедност вештачке интелигенције објавио је изјаву коју су потписали бројни стручњаци за безбедност вештачке интелигенције и егзистенцијални ризик од вештачке интелигенције, у којој се наводи: „Ублажавање ризика од изумирања од вештачке интелигенције требало би да буде глобални приоритет поред других ризика друштвених размера, као што су пандемије и нуклеарни рат.”

Потенцијалне способности вештачке интелигенције

Општа интелигенција Вештачка општа интелигенција (ВОИ) обично се дефинише као систем који се понаша барем једнако добро као људи у већини или свим интелектуалним задацима. Анкета истраживача вештачке интелигенције из 2022. године показала је да 90% испитаника очекује да ће ВОИ бити постигнута у наредних 100 година, а половина очекује исто до 2061. године. У међувремену, неки истраживачи одбацују егзистенцијалне ризике од ВОИ као „научну фантастику” на основу свог високог уверења да ВОИ неће бити створена у скорије време.

Напредак у великим језичким моделима (ВЈМ) навео је неке истраживаче да преиспитају своја очекивања. Џефри Хинтон је 2023. године изјавио да је недавно променио своју процену са „20 до 50 година пре него што будемо имали општу вештачку интелигенцију” на „20 година или мање”.

Суперинтелигенција За разлику од ВОИ, Бостром дефинише суперинтелигенцију као „сваки интелект који знатно превазилази когнитивне перформансе људи у готово свим доменима од интереса”, укључујући научну креативност, стратешко планирање и друштвене вештине. Он тврди да суперинтелигенција може надмудрити људе кад год се њени циљеви сукобе са људским. Може изабрати да сакрије своје праве намере док човечанство не буде могло да је заустави. Бостром пише да, да би била безбедна за човечанство, суперинтелигенција мора бити усклађена са људским вредностима и моралом, тако да буде „суштински на нашој страни”..

Стивен Хокинг је тврдио да је суперинтелигенција физички могућа јер „не постоји физички закон који спречава честице да буду организоване на начине који изводе још напредније прорачуне од аранжмана честица у људским мозговима”.

Када ће вештачка суперинтелигенција (ВСИ) бити постигнута, ако икада, нужно је мање извесно од предвиђања за ВОИ. Године 2023, лидери компаније OpenAI изјавили су да не само ВОИ, већ и суперинтелигенција може бити постигнута за мање од 10 година.

Поређење са људима Бостром тврди да вештачка интелигенција има много предности у односу на људски мозак:

Брзина рачунања: биолошки неурони раде на максималној фреквенцији од око 200 Hz, у поређењу са потенцијално више GHz за рачунаре. Брзина унутрашње комуникације: аксони преносе сигнале брзином до 120 m/s, док рачунари преносе сигнале брзином електрицитета, или оптички брзином светлости. Скалабилност: људска интелигенција је ограничена величином и структуром мозга, као и ефикасношћу друштвене комуникације, док се вештачка интелигенција може скалирати једноставним додавањем више хардвера. Меморија: посебно радна меморија, јер је код људи ограничена на неколико сегмената информација истовремено. Поузданост: транзистори су поузданији од биолошких неурона, што омогућава већу прецизност и захтева мање редунданције. Умноживост: за разлику од људских мозгова, софтвер и модели вештачке интелигенције могу се лако копирати. Уређивост: параметри и унутрашње функционисање модела вештачке интелигенције могу се лако модификовати, за разлику од веза у људском мозгу. Дељење меморије и учење: вештачке интелигенције могу учити из искустава других вештачких интелигенција на начин ефикаснији од људског учења.

Експлозија интелигенције Према Бострому, вештачка интелигенција која има стручни ниво способности у одређеним кључним задацима софтверског инжењерства могла би постати суперинтелигенција због своје способности да рекурзивно побољшава сопствене алгоритме, чак и ако је у почетку ограничена у другим доменима који нису директно релевантни за инжењеринг. Ово сугерише да би експлозија интелигенције једног дана могла затећи човечанство неспремним.

Економиста Робин Хансон изјавио је да, да би покренула експлозију интелигенције, вештачка интелигенција мора постати знатно боља у иновацијама софтвера од остатка света заједно, што он сматра неуверљивим.

У сценарију „брзог узлетања”, транзиција са ВОИ на суперинтелигенцију могла би трајати данима или месецима. У „спором узлетању”, то би могло трајати годинама или деценијама, остављајући више времена друштву да се припреми.

Ванземаљски ум Суперинтелигенције се понекад називају „ванземаљски умови”, што се односи на идеју да би њихов начин размишљања и мотивације могли бити знатно другачији од наших. Ово се генерално сматра извором ризика, што отежава предвиђање шта би суперинтелигенција могла учинити. Такође сугерише могућност да суперинтелигенција по природи не би посебно вредновала људе. Да би се избегао антропоморфизам, суперинтелигенција се понекад посматра као моћан оптимизатор који доноси најбоље одлуке за постизање својих циљева.

Област механистичке интерпретабилности има за циљ боље разумевање унутрашњег функционисања модела вештачке интелигенције, што би нам једног дана могло омогућити да откријемо знаке преваре и неусклађености.

Ограничења Тврди се да постоје ограничења у ономе што интелигенција може постићи. Конкретно, хаотична природа или временска комплексност неких система могли би суштински ограничити способност суперинтелигенције да предвиди неке аспекте будућности, повећавајући њену несигурност.

Опасне способности Напредна вештачка интелигенција могла би генерисати унапређене патогене или сајбер-нападе, или манипулисати људима. Ове способности би могли злоупотребити људи, или би их могла искористити сама вештачка интелигенција ако је неусклађена. Потпуно развијена суперинтелигенција могла би пронаћи различите начине да стекне одлучујући утицај ако би то желела, али ове опасне способности могу постати доступне и раније, у слабијим и специјализованијим системима вештачке интелигенције.

Друштвена манипулација