Un model de fundació o model fonamental és un gran model d'intel·ligència artificial entrenat en una gran quantitat de dades sense etiquetar i a gran escala (generalment mitjançant aprenentatge autosupervisat) que resulta en un model que es pot adaptar a una àmplia gamma de tasques posteriors. Els models fonamental han ajudat a provocar una transformació important en la manera com es construeixen els sistemes d'IA des de la seva introducció el 2018. Els primers exemples de models bàsics van ser grans models de llenguatge pre-entrenat, incloent BERT i GPT-3. Amb les mateixes idees, també s'han construït models específics de domini que utilitzen seqüències d'altres tipus de fitxes, com ara codis mèdics. Posteriorment, s'han produït diversos models de fonamentació multimodal incloent DALL-E, Flamingo, Florence i NOOR. El Centre d'Investigació sobre Models Fonamentals (CRFM) de l'Institut de Stanford per a la Intel·ligència Artificial Centrada en l'Human (HAI) va popularitzar el terme.
El Centre d'Investigació sobre Models Fonamentals (CRFM) de l'Institut d'Intel·ligència Artificial Centrada en l'Human de Stanford (HAI) va encunyar el terme model fonamental per referir-se a "qualsevol model que s'entrena amb dades àmplies (generalment utilitzant l'autosupervisió a escala) que es pugui adaptar a una àmplia gamma de tasques aigües avall". Aquesta no és una tècnica nova en si mateixa, ja que es basa en xarxes neuronals profundes i aprenentatge autosupervisat, sinó l'escala a la qual s'ha desenvolupat en els darrers anys i el potencial d'un model per a ser utilitzat per a molts propòsits diferents., justifica un nou mandat, argumenten el grup de Stanford.
Un model fonamental és un "paradigma per construir sistemes d'IA" en el qual un model entrenat en una gran quantitat de dades sense etiquetar es pot adaptar a moltes aplicacions. Els models fonamentals estan "dissenyats per adaptar-se (p. ex., afinar-los) a diverses tasques cognitives aigües avall mitjançant la formació prèvia sobre dades àmplies a escala".
Les característiques clau dels models fonamentals són l'aparició i l'homogeneïtzació. Com que els humans no etiqueten les dades d'entrenament, el model sorgeix en lloc d'estar codificat explícitament. Poden aparèixer propietats que no s'havien previst. Per exemple, un model entrenat en un conjunt de dades de llenguatge gran pot aprendre a generar històries pròpies o a fer aritmètica, sense estar programat explícitament per fer-ho. L'homogeneïtzació fa que s'utilitzi el mateix mètode en molts dominis, la qual cosa permet avenços potents però també la possibilitat de "punts únics de falla".
Referències
Categoria:Aprenentatge automàtic