Pre-entrenament contrastiu de Llenguatge-Imatge (Contrastive Language-Image Pre-training , CLIP) és una tècnica per entrenar un parell de models de xarxes neuronals, un per a la comprensió d'imatges i un altre per a la comprensió del text, utilitzant un objectiu contrastiu. Aquest mètode ha permès aplicacions àmplies en diversos dominis, inclosa la recuperació multimodal, la generació de text a imatge, i la classificació estètica.

Algorisme miniatura|316x316px|Visió general de l'arquitectura de CLIP. El mètode CLIP entrena un parell de models de manera contrastiva. Un model pren un tros de text com a entrada i produeix un sol vector que representa el seu contingut semàntic. L'altre model pren una imatge i, de manera similar, genera un únic vector que representa el seu contingut visual. Els models s'entrenen de manera que els vectors corresponents a parells de text-imatge semànticament similars estiguin a prop en l'espai vectorial compartit, mentre que els corresponents a parells diferents estan molt separats.

Per entrenar un parell de models CLIP, es començaria preparant un gran conjunt de dades de parells de subtítols imatge. Durant la formació, els models es presenten amb lots de parelles imatge-títols. Deixeu que les sortides dels models de text i imatge siguin respectivament . Dos vectors es consideren "similars" si el seu producte escalat és gran.

La pèrdua incorreguda en aquest lot és la pèrdua de parells N multiclasse, que és una pèrdua d'entropia creuada simètrica sobre puntuacions de semblança: En essència, aquesta funció de pèrdua fomenta el producte puntual entre els vectors d'imatge i text coincidents () sigui alt, alhora que desaconsella els productes amb punts elevats entre parells que no coincideixen. El paràmetre és la temperatura, que es parametritza en el model CLIP original com on és un paràmetre après.

Altres funcions de pèrdua són possibles. Per exemple, Sigmoid CLIP (SigLIP) proposa la següent funció de pèrdua: on és el log negatiu de la pèrdua sigmoide i el símbol delta de Dirac és 1 si altrament 0.

Models CLIP Tot i que el model original va ser desenvolupat per OpenAI, els models posteriors també han estat entrenats per altres organitzacions.

Model d'imatge miniatura|Arquitectura Vision Transformer. El vector de sortida Rep <CLS> s'utilitza com a codificació d'imatge per a CLIP. Els models de codificació d'imatges utilitzats a CLIP solen ser transformadors de visió (ViT). La convenció de denominació d'aquests models sovint reflecteix l'arquitectura ViT específica utilitzada. Per exemple, "ViT-L/14" significa un "transformador de visió gran" (en comparació amb altres models de la mateixa sèrie) amb una mida de pegat de 14, el que significa que la imatge es divideix en pedaços de 14 per 14 píxels abans de ser processada pel transformador. L'indicador de mida oscil·la entre B, L, H, G (base, gran, enorme, gegant), en aquest ordre.

A part de ViT, el model d'imatge és normalment una xarxa neuronal convolucional, com ara ResNet (a la sèrie original d'OpenAI) o ConvNeXt (a la sèrie de models OpenCLIP de LAION).

Com que els vectors de sortida del model d'imatge i el model de text han de tenir exactament la mateixa longitud, tant el model d'imatge com el model de text tenen sortides vectorials de longitud fixa, que a l'informe original s'anomena "dimensió d'inserció".

Per exemple, al model OpenAI original, els models ResNet tenen dimensions d'incrustació que van des de 512 a 1024,  i per als ViT, del 512 al 768.  Model nameResolutionParameters (total, in millions)Parameters (vision)Parameters (text)RN5022410238.363.1RN10122412056.363.1RN50x428817887.190.7RN50x16384291167.3123.0RN50x64448623420.4201.8ViT-B/3222415187.863.1ViT-B/1622415086.263.1ViT-L/14224428304.0123.0ViT-L/[email protected]

Referències

Categoria:Aprenentatge automàtic