Riscul existențial cauzat de inteligența artificială puternică (sau generală) este ipoteza conform căreia progresul substanțial în inteligență artificială puternică (sau generală; prescurtat AGIartificial general intelligence în engleză) ar putea duce într-o zi la dispariția omului sau la o altă catastrofă globală nerecuperabilă. Se susține că specia umană domină în prezent alte specii, deoarece creierul uman are unele capacități distinctive de care alte animale nu dispun. Dacă IA depășește umanitatea în inteligența generală și devine „superinteligentă”, atunci ar putea deveni dificil sau imposibil de controlat de către oameni. Așa cum soarta gorilei de munte (Gorilla beringei beringei) depinde de bunăvoința umană, tot așa soarta umanității ar putea depinde de acțiunile unei viitoare superinteligențe a mașinilor.

Probabilitatea acestui tip de scenariu este larg dezbătută și depinde în parte de scenarii diferite privind progresul viitor în informatică. Anterior doar un domeniul exclusiv al science-fiction-ului, preocupările cu privire la superinteligență au început să devină obișnuite în anii 2010 și au fost popularizate de personalități publice precum Stephen Hawking, Bill Gates și Elon Musk.

O sursă de îngrijorare este controlul unei mașini superinteligente sau insuflarea acesteia cu valori compatibile cu ale omului care poate fi o problemă mai dificilă decât se presupunea naiv anterior. Mulți cercetători cred că o superinteligență ar rezista în mod natural încercărilor de a o opri sau de a-și schimba obiectivele - un principiu numit convergență instrumentală - și că pre-programarea unei superinteligențe cu un set complet de valori umane se va dovedi a fi o sarcină tehnică extrem de dificilă., cited in În schimb, sceptici precum Yann LeCun de la Facebook susțin că mașinile superinteligente nu vor avea nicio dorință de autoconservare.

O a doua sursă de îngrijorare este că o „explozie de inteligență” bruscă și neașteptată ar putea lua prin surprindere o rasă umană nepregătită. Pentru a ilustra conceptul, dacă prima generație a unui program de computer este capabilă să își rescrie algoritmii și să-și dubleze viteza sau capacitățile în șase luni, atunci a doua generație își va rescrie algoritmii doar în trei luni. În acest scenariu, timpul pentru fiecare generație continuă să se micșoreze, iar sistemul suferă un număr mare fără precedent de generații de îmbunătățire într-un interval scurt de timp, ridicându-se de la performanța subumană în multe domenii la performanța supraumană în toate domeniile relevante. Empiric, exemple precum AlphaZero în domeniul jocului go arată că sistemele IA pot uneori să progreseze de la capacitatea îngustă la nivel uman la abilitatea supraomenească îngustă extrem de rapid.

Istorie miniatura|300px|Învățarea profundă face parte din învățarea automată, care face parte din inteligența artificială (IA). Unul dintre primii autori care și-a exprimat îngrijorarea cu privire la faptul că mașinile extrem de avansate ar putea prezenta riscuri existențiale pentru omenire a fost romancierul Samuel Butler, care a scris următoarele în eseul său din 1863 Darwin printre mașini ("Darwin among the Machines"):Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383

Rezultatul este pur și simplu o chestiune de timp, dar faptul că va veni momentul în care mașinile vor deține supremația reală asupra lumii și a locuitorilor ei este ceea ce nicio persoană cu o minte cu adevărat filosofică nu poate pune la îndoială nicio clipă.

În 1951, informaticianul Alan Turing a scris un articol intitulat Mașini inteligente, o teorie eretică (Intelligent Machinery, A Heretical Theory), în care propunea că inteligențele generale artificiale vor „prelua controlul” lumii pe măsură ce devin mai inteligente decât ființele umane:

Să presupunem acum, de dragul argumentelor, că mașinile [inteligente] sunt o posibilitate autentică și să analizăm consecințele construirii lor ... Nu s-ar pune problema morții mașinilor și ar putea discuta între ele pentru a-și ascuți inteligența. Prin urmare, la un moment dat ar trebui să ne așteptăm ca mașinile să preia controlul, așa cum este menționat în „Erewhon”, de Samuel Butler.

În cele din urmă, în 1965, I. J. Good a creat conceptul cunoscut acum ca „explozie de inteligență”; el a mai declarat că riscurile erau sub-apreciate:

Se definește o mașină ultrainteligentă ca o mașină care poate depăși cu mult toate activitățile intelectuale ale oricărui om oricât de inteligent ar fi. Deoarece proiectarea mașinilor este una dintre aceste activități intelectuale, o mașină ultrainteligentă ar putea proiecta mașini și mai bune; atunci va exista, fără îndoială, o „explozie de inteligență”, iar inteligența omului va fi lăsată mult în urmă. Astfel, prima mașină ultrainteligentă este ultima invenție pe care omul trebuie să o facă vreodată, cu condiția ca mașina să fie suficient de docilă pentru a ne spune cum să o ținem sub control. Este curios că acest punct este realizat foarte rar în afara science-fiction-ului. Uneori merită să luați în serios science-fiction-ul.I.J. Good, "Speculations Concerning the First Ultraintelligent Machine" (HTML ), Advances in Computers, vol. 6, 1965.

Declarațiile ocazionale ale unor erudiți precum Marvin Minsky și I. J. Good însuși au conținut îngrijorări filozofice conform cărora o superinteligență ar putea prelua controlul, dar nu au conținut nicio chemare la acțiune. În 2000, informaticianul și cofondatorul Sun, Bill Joy, a scris un influent eseu, „De ce viitorul nu are nevoie de noi” ("Why The Future Doesn't Need Us"), identificând roboții superinteligenți ca fiind un pericol de înaltă tehnologie pentru supraviețuirea umană, alături de nanotehnologie și boli infecțioase proiectate.

În 2009, experții au participat la o conferință privată găzduită de Association for the Advancement of Artificial Intelligence (AAAI) pentru a discuta dacă computerele și roboții ar putea dobândi orice fel de autonomie și cât de mult aceste abilități ar putea reprezenta o amenințare sau un pericol. Experții au menționat că unii roboți au dobândit diferite forme de semi-autonomie, inclusiv posibilitatea de a găsi singuri surse de energie și posibilitatea de a alege în mod independent ținte pentru a ataca cu arme. De asemenea, au remarcat faptul că unii viruși informatici se pot sustrage de la eliminarea lor și au atins „inteligența gândacilor”. Au ajuns la concluzia că conștientizarea de sine așa cum este descrisă în science fiction este puțin probabilă, dar că există alte pericole și capcane potențiale. New York Times a rezumat punctul de vedere al conferinței: „suntem departe de HAL, computerul care a preluat controlul navei spațiale în 2001: O Odisee Spațială”.Scientists Worry Machines May Outsmart Man By JOHN MARKOFF, NY Times, 26 July 2009. 300px|miniatura|Copeta cărții lui Nick Bostrom Superinteligența. Căi, pericole, strategii. Bufnița de pe coperta cărții face aluzie la o analogie pe care Bostrom o numește „Fabula neterminată a vrăbiilor”. Un stol de vrăbii decide să găsească un pui de bufniță și să-l crească ca servitor. Își imaginează cu nerăbdare „cât de ușoară ar fi viața” dacă ar avea o bufniță care să le ajute la construirea cuiburilor, să apere vrăbiile și să le dea timp pentru o viață de agrement. Doar „Scronkfinkle”, o „vrabie cu un temperament îngrozitor”, sugerează să ne gândim la întrebarea complicată a modului de a îmblânzi bufnița înainte de a o aduce „în mijlocul nostru”. Celelalte vrăbii se împotrivesc; căutarea unui ou de bufniță va fi deja suficient de grea: "De ce să nu ai bufnița mai întâi și să rezolvi detaliile fine mai târziu?" Bostrom afirmă că „Nu se știe cum se termină povestea”, dar dedică cartea lui Scronkfinkle În 2014, publicarea cărții lui Nick Bostrom Superinteligența. Căi, pericole, strategii a stimulat o cantitate semnificativă de discuții publice și de dezbateri. Până în 2015, personalități publice ca fizicienii Stephen Hawking și laureatul premiului Nobel Frank Wilczek, informaticienii Stuart J. Russell și Roman Yampolskiy, precum și antreprenorii Elon Musk și Bill Gates își exprimau îngrijorarea cu privire la riscurile superinteligenței. În aprilie 2016, revista Nature a avertizat că: „mașinile și roboții care depășesc performanța oamenilor peste tot ar putea să se auto-îmbunătățească în afara controlului nostru - iar interesele lor s-ar putea să nu se alinieze cu ale noastre”.Anticipating artificial intelligence, Nature 532, 413 (28 April 2016) doi:10.1038/532413a

Argumente generale

Cele trei dificultăți Inteligența artificială: o abordare modernă (Artificial Intelligence: A Modern Approach), manualul standard de licențiere în IA, apreciază că superinteligența „ar putea însemna sfârșitul rasei umane”. Se afirmă: „aproape orice tehnologie are potențialul de a provoca rău în mâini greșite, dar cu [superinteligență] avem o noua problemă, anume că mâinile greșite ar putea aparține tehnologiei în sine”. Chiar dacă proiectanții de sistem au intenții bune, două dificultăți sunt comune atât sistemelor informatice IA, cât și celor care nu sunt IA:

Implementarea sistemului poate conține erori de rutină neobservate inițial, dar catastrofale. O analogie este cea a sondelor spațiale: în ciuda cunoștințelor că erorile din sondele spațiale scumpe sunt greu de remediat după lansare, inginerii nu au reușit din punct de vedere istoric să prevină apariția erorilor catastrofale. Indiferent cât de mult timp este pus în proiectarea pre-implementării, specificațiile unui sistem duc adesea la un comportament neintenționat prima dată când întâlnește un scenariu nou. De exemplu, chatbot-ul Tay de la Microsoft s-a comportat inofensiv în timpul testelor de pre-implementare, dar a fost prea ușor atras într-un comportament ofensator atunci când a interacționat cu utilizatori reali.

O a treia dificultate ar fi că o inteligență artificială poate defecta parțial o încercare de a proiecta o nouă generație a ei însăși și de a crea accidental o IA succesivă care este mai puternică decât ea însăși, dar care nu mai păstrează valorile morale compatibile cu omul pre-programate în IA inițială. Pentru ca o IA care se auto-îmbunătățește să fie complet sigură, nu ar trebui doar să fie „fără erori”, ci ar trebui să poată proiecta sisteme succesive care sunt, de asemenea, „fără erori”.

Toate aceste trei dificultăți devin mai degrabă catastrofe decât neplăceri în orice scenariu în care superinteligența etichetată drept „funcționare defectuoasă” prezice corect că oamenii vor încerca să o oprească și își folosește cu succes superinteligența pentru a depăși astfel de încercări.

În ianuarie 2015, Stephen Hawking , Elon Musk și o duzină de experți în inteligență artificială au semnat o scrisoare deschisă privind inteligența artificială, solicitând cercetarea consecințelor societale ale IA. Scrisoarea a confirmat că o societate poate obține mari beneficii potențiale din inteligența artificială, dar a solicitat cercetări concrete cu privire la modul de prevenire a unor potențiale „capcane”; Inteligența artificială are potențialul de a eradica boala și sărăcia, dar oamenii de știință nu trebuie să creeze ceva care nu poate fi controlat. Scrisoarea, intitulată Priorități de cercetare pentru o inteligență artificială robustă și benefică: o scrisoare deschisă, stabilește prioritățile detaliate de cercetare într-un document însoțitor de douăsprezece pagini. Această scrisoare a fost semnată de un număr de cercetători de top ai IA din mediul academic și industrial, inclusiv președintele AAAI Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun și fondatorii Vicarious și Google DeepMind.

Argument suplimentar