Lapprendimento auto-supervisionato () è un paradigma di apprendimento automatico nel quale si addestra un modello per un dato compito usando gli stessi dati di training a disposizione per generare segnali di supervisione, anziché basarsi solo su etichette rese disponibili dall'esterno (da esperti). L'apprendimento auto-supervisionato si ispira da vicino al modo in cui le persone imparano a classificare oggetti. Nel contesto delle reti neurali artificiali, l'apprendimento auto-supervisionato mira a sfruttare strutture inerenti o relazioni fra dati di input per creare segnali di addestramento significativi.
I problemi di apprendimento auto-supervisionato sono definiti in modo tale che la loro soluzione richieda la cattura delle caratteristiche (feature) o delle relazioni nei dati. I dati di input sono tipicamente estesi o trasformati in modo tale da creare coppie di campioni correlati, nelle quali uno fa da input e l'altro viene impiegato per formulare il segnale di supervisione. Questa estensione può comportare l'introduzione di rumore e diversi tipi di trasformazione (ad esempio, nel caso di immagini, rimozioni, rotazioni, traslazioni).
Principio di funzionamento
Il principio base consiste nel trasformare un problema non supervisionato in un compito supervisionato ausiliario (pretext task), in cui il modello calcola e prevede autonomamente parte dei dati di ingresso a partire da altre parti dei dati stessi.
A differenza dell'apprendimento supervisionato, che richiede un insieme di dati formato da coppie di istanze ed etichette manuali, l'apprendimento auto-supervisionato lavora su un dataset non etichettato.
Il sistema divide ogni istanza in due componenti: una componente visibile e una componente nascosta . Il modello viene addestrato a minimizzare una funzione di perdita sulla previsione della parte nascosta:
dove la funzione rappresenta la rete neurale parametrizzata da . Attraverso questo processo, la rete sviluppa una comprensione semantica o strutturale profonda del dominio di dati, che può poi essere trasferita (transfer learning) a compiti secondari (downstream task) con un numero ridotto di dati etichettati.
Architetture e metodologie I metodi di apprendimento auto-supervisionato si dividono principalmente in due categorie:
Metodi generativi o predittivi Nel paradigma generativo, il modello è chiamato a ricostruire direttamente i dati mancanti o corrotti. Masked Language Modeling (MLM): Popolare nell'elaborazione del linguaggio naturale, rimuove o nasconde alcune parole all'interno di una frase e addestra la rete a predirle sulla base del contesto. Un esempio paradigmatico è il modello BERT. Masked Autoencoder (MAE): Utilizzati nella visione artificiale, mascherano casualmente un'alta percentuale di patch di un'immagine e addestrano un'architettura Vision Transformer a ricostruire i pixel mancanti.
Metodi contrastivi Nei metodi contrastivi, l'obiettivo non è ricostruire il dato originale, ma far ravvicinare nello spazio delle rappresentazioni (latent space) le proiezioni di campioni simili (coppie positive) e allontanare quelle di campioni differenti (coppie negative).
Data una trasformazione applicata all'immagine per ottenere due viste aumentate, la funzione di perdita comunemente usata è la InfoNCE (Information Noise-Contrastive Estimation):
dove e sono i vettori di rappresentazione estratti dalla rete, la funzione denota la similarità del coseno tra due vettori, e è un parametro di temperatura. Applicazioni L'apprendimento auto-supervisionato trova impiego in diversi settori informatici e scientifici nei quali il costo di etichettatura manuale dei dati risulta proibitivo:
Elaborazione del linguaggio naturale: Costituisce la fase di pre-addestramento (pre-training) dei modelli di grandi dimensioni (LLM) come le famiglie di modelli GPT e LLaMA, abilitando la comprensione del contesto testuale e la generazione autonoma di testo. Visione artificiale e imaging medico: Permette di addestrare modelli in grado di segmentare immagini e identificare patologie da radiografie o risonanze magnetiche senza necessitare di migliaia di diagnosi annotate da medici specialisti. Elaborazione del segnale vocale: Modelli come wav2vec consentono il riconoscimento vocale automatico e la traduzione in tempo reale pre-addestrandosi su migliaia di ore di audio non trascritto in centinaia di lingue diverse. Bioinformatica: Trova applicazione nel predire la struttura tridimensionale delle proteine e le proprietà molecolari mediante l'analisi di sequenze aminoacidiche prive di annotazioni di laboratorio.
Note
Voci correlate Apprendimento da pochi esempi Apprendimento per contrasto Apprendimento supervisionato Apprendimento semi-supervisionato Transformer (informatica)
Collegamenti esterni
Categoria:Apprendimento automatico Categoria:Apprendimento profondo