Chinchilla és una família de grans models lingüístics (LLM) desenvolupats per l'equip de recerca de Google DeepMind, presentats el març de 2022.

Models S'anomena "chinchilla" perquè és un desenvolupament posterior respecte a una família de models anterior anomenada Gopher. Ambdues famílies de models van ser entrenades per investigar les lleis d'escala dels models lingüístics extensos.

Afirmava que superava el GPT-3. Simplifica considerablement la utilització posterior perquè requereix molta menys potència informàtica per a la inferència i l'afinament. Basant-se en l'entrenament de models de llenguatge emprats anteriorment, s'ha determinat que si es duplica la mida del model, també cal tenir el doble de tokens d'entrenament. Aquesta hipòtesi s'ha utilitzat per entrenar Chinchilla per DeepMind. Similar a Gopher pel que fa al cost, Chinchilla té 70.000 milions de paràmetres i quatre vegades més dades.

Chinchilla té una precisió mitjana del 67,5% en el punt de referència Measuring Massive Multitask Language Understanding (MMLU), que és un 7% més alt que el rendiment de Gopher. Chinchilla encara estava en fase de proves el 12 de gener de 2023.

Chinchilla contribueix al desenvolupament d'un paradigma d'entrenament eficaç per a models de llenguatge autoregressius grans amb recursos de computació limitats. L'equip de Chinchilla recomana que el nombre de fitxes d'entrenament sigui el doble per cada duplicació de la mida del model, la qual cosa significa que l'ús de conjunts de dades d'entrenament més grans i de més qualitat pot conduir a millors resultats en tasques posteriors.

S'ha utilitzat per al model de llenguatge-visió Flamingo.

Arquitectura Tant la família Gopher com la família Chinchilla són famílies de models de transformadors.

En particular, són essencialment iguals que GPT-2, amb mides diferents i modificacions menors. La família Gopher utilitza RMSNorm en lloc de LayerNorm; codificació posicional relativa en lloc de codificació posicional absoluta. La família Chinchilla és la mateixa que la família Gopher, però entrenada amb AdamW en lloc de l'optimitzador Adam.

La família Gopher conté sis models de mida creixent, des de 44 milions de paràmetres fins a 280.000 milions de paràmetres. Per defecte, es refereixen al més gran com a "Gopher". Convencions de nomenclatura similars s'apliquen a la família Chinchilla.

La taula 1 de mostra tota la família de Gopher:

Especificacions del model per a la família Gopher Recompte de paràmetresCapesNombre de capsMida de la clau/valorDimensió internaTaxa d'aprenentatge màxima44 milions816325126 × 10⁻⁴117 milions1212647686 × 10⁻⁴417 milions12121281.5362 × 10⁻⁴1,4 milions24161282.0482 × 10⁻⁴7,1 milions de dòlars32321284.0961,2 × 10⁻⁴Gopher 280B8012812816.3844 × 10⁻⁵ La taula 4 de compara la Chinchilla, de 70.000 milions de paràmetres, amb la Gopher 280B.

Comparació entre la xinxilla i el tàper Recompte de paràmetresCapesNombre de capsMida de la clau/valorDimensió internaTaxa d'aprenentatge màximaGopher 280B8012812816.3844 × 10⁻⁵Xinxilla 70B80641288.1921 × 10⁻⁴

Referències

Categoria:Models de llenguatge gran Categoria:Programari de Google