En el camp de la intel·ligència artificial (IA), la investigació sobre l'alineació de la IA té com a objectiu dirigir els sistemes d'IA cap als objectius, preferències o principis ètics previstos per als humans. Un sistema d'IA es considera alineat si avança els objectius previstos. Un sistema d'IA desalineat persegueix alguns objectius, però no els previstos. Pot ser un repte per als dissenyadors d'IA alinear un sistema d'IA perquè pot ser difícil per a ells especificar la gamma completa de comportaments desitjats i no desitjats. Per evitar aquesta dificultat, solen utilitzar objectius de proxy més senzills, com ara obtenir l'aprovació humana. Tanmateix, aquest enfocament pot crear llacunes, passar per alt les limitacions necessàries o recompensar el sistema d'IA per semblar alineat. miniatura|366x366px|Els models de llenguatge com el GPT-3 sovint generen falsedats.Els sistemes d'IA desalineats poden funcionar malament o causar danys. Els sistemes d'IA poden trobar llacunes que els permetin assolir els seus objectius de proxy de manera eficient, però de maneres no desitjades, de vegades perjudicials (pirateria de recompensa). Els sistemes d'IA també poden desenvolupar estratègies instrumentals no desitjades, com ara la recerca de poder o la supervivència, perquè aquestes estratègies els ajuden a assolir els seus objectius. A més, poden desenvolupar objectius emergents indesitjables que poden ser difícils de detectar abans que el sistema estigui en desplegament, on s'enfronta a noves situacions i distribucions de dades.
Avui dia, aquests problemes afecten els sistemes comercials existents com ara els models de llenguatge, robots, vehicles autònoms i motors de recomanació de xarxes socials. Alguns investigadors d'IA argumenten que els sistemes futurs més capaços es veuran més greument afectats, ja que aquests problemes resulten parcialment perquè els sistemes són altament capaços.
Molts científics líders en IA, com Geoffrey Hinton i Stuart Russell, argumenten que la IA s'apropa a les capacitats sobrehumanes i que podria posar en perill la civilització humana si no s'alinea.
L'alineació de la IA és un subcamp de la seguretat de la IA, l'estudi de com construir sistemes d'IA segurs. Altres subcamps de seguretat de la IA inclouen robustesa, monitorització i control de capacitat. Els reptes de la investigació en l'alineació inclouen inculcar valors complexos a la IA, evitar la IA enganyosa, la supervisió escalable, l'auditoria i interpretació de models d'IA i la prevenció de comportaments emergents d'IA com la recerca de poder. La investigació de l'alineació té connexions amb la investigació d'interpretabilitat, robustesa (adversarial), detecció d'anomalies, incertesa calibrada, verificació formal, aprenentatge de preferències, seguretat -enginyeria crítica, teoria de jocs, equitat algorítmica, i les ciències socials, entre d'altres.
Referències
Categoria:Seguretat de la intel·ligència artificial