Uno spazio latente, noto anche come spazio delle caratteristiche latenti o spazio di immersione, è un embedding di un insieme di elementi all'interno di una varietà in cui elementi simili sono posizionati più vicini fra loro. La posizione all'interno dello spazio latente può essere considerata come definita da un insieme di variabili latenti che emergono dalle similarità tra gli oggetti.

Nella maggior parte dei casi, si sceglie uno spazio latente di dimensionalità inferiore a quella dello spazio delle caratteristiche da cui sono estratti i punti dati, il che rende la costruzione di uno spazio latente una forma di riduzione della dimensionalità, che può essere considerata anche come una forma di compressione dei dati. Gli spazi latenti sono solitamente appresi tramite metodi di apprendimento automatico per poi definire rappresentazioni dei dati utili a costruire altri modelli di apprendimento, quali classificatori e altri predittori supervisionati.

L'interpretazione degli spazi latenti nei modelli di apprendimento automatico costituisce un'attiva area di ricerca, ma individuare precisamente tali interpretazioni rimane un compito sfidante. La natura "black-box" di questi modelli rende spesso lo spazio latente poco intuitivo, mentre le sue caratteristiche ad alta dimensionalità, complesse e non lineari ne rendono ancor più ardua la comprensione. L'analisi della geometria dello spazio latente dei modelli di diffusione rivela una struttura frattale delle transizioni di fase nello spazio latente, caratterizzata da bruschi cambiamenti nella metrica di Fisher.

Sono state sviluppate alcune tecniche di visualizzazione per collegare lo spazio latente al mondo visivo, ma spesso non esiste una connessione diretta tra l'interpretazione dello spazio latente e il modello stesso. Fra le altre tecniche, la t-SNE, in cui lo spazio latente viene mappato su due dimensioni per la visualizzazione. Le distanze dello spazio latente non hanno unità fisiche, quindi l'interpretazione di queste distanze può dipendere dall'applicazione.

Modelli di incorporamento

Sono stati sviluppati diversi modelli di embedding per eseguire questa trasformazione e creare proiezioni nello spazio latente, a partire da un insieme di elementi di dati e da una misura di similarità. Tali modelli imparano gli embedding sfruttando tecniche statistiche e algoritmi di apprendimento automatico. Alcuni modelli comunemente utilizzati sono i seguenti:

Word2Vec : Word2Vec è un modello di embedding molto diffuso nell'ambito dell'elaborazione del linguaggio naturale (NLP). Esso costruisce embedding di parole addestrando una rete neurale su un ampio corpus di testo. Word2Vec cattura le relazioni semantiche e sintattiche tra le parole, basandosi calcoli significativi come le analogie tra parole. GloVe: GloVe (Global Vectors for Word Representation) è un altro modello di embedding ampiamente utilizzato per l'elaborazione del linguaggio naturale. Combina informazioni statistiche globali da un corpus con informazioni sul contesto locale per apprendere gli embedding di parole. È noto che gli embedding di GloVe riescono a catturare similarità sia semantiche sia relazionali tra le parole. Reti siamesi: Le reti siamesi sono un tipo di architettura di rete neurale comunemente utilizzata per l'incorporamento basato sulla similarità. Sono costituite da due sotto-reti identiche che elaborano due campioni di input e producono i rispettivi incorporamenti. Le reti siamesi sono spesso utilizzate per attività come la similarità delle immagini, i sistemi di raccomandazione e il riconoscimento facciale. Autoencoder variazionali (VAE): I VAE sono modelli generativi che imparano simultaneamente a codificare e decodificare i dati. Lo spazio latente nei VAE funge da spazio di incorporamento. Addestrando i VAE su dati ad alta dimensionalità, come immagini o audio, il modello impara a codificare i dati in una rappresentazione latente compatta. I VAE sono noti per la loro capacità di generare nuovi campioni di dati dallo spazio latente appreso.

Multimodalità La multimodalità comporta l'analisi e l'integrazione di più modalità o tipologie di dati all'interno di un singolo modello o framework. L'integrazione di dati multimodali implica l'acquisizione di relazioni e interazioni tra diverse tipologie di dati, quali immagini, testo, audio e dati strutturati.

I modelli di embedding multimodale mirano ad apprendere rappresentazioni congiunte che combinano informazioni provenienti da più modalità, consentendo analisi e attività intermodali. Tali modelli consentono applicazioni come la creazione automatica di didascalie di immagini, il question answering visivo e l'analisi del sentiment multimodale.

Per incorporare dati multimodali, si utilizzano architetture specializzate come le reti profonde o transformer multimodali. Tali architetture combinano diversi tipi di moduli di reti neurali per elaborare e integrare informazioni provenienti da diverse modalità. Gli embedding risultanti catturano le complesse relazioni fra tipi di dati diversi, facilitando la loro analisi e comprensione multimodale.

Applicazioni Lo spazio latente di embedding e i modelli di embedding multimodale hanno trovato numerose applicazioni in vari domini:

Ritrovamento delle informazioni: le tecniche di embedding favoriscono la definizione di sistemi efficienti di ricerca basati su similarità e di raccomandazione, rappresentando i punti dati in uno spazio compatto. Elaborazione del linguaggio naturale: gli embedding di parole hanno rivoluzionato le attività NLP come l'analisi del sentiment, la traduzione automatica e la classificazione di documenti. Visione artificiale: l'embedding di immagini e video consente attività quali il riconoscimento di oggetti, il ritrovamento di immagini e la sintesi di video. Sistemi di raccomandazione: gli embedding aiutano a catturare le preferenze degli utenti e le caratteristiche degli articoli, consentendo raccomandazioni personalizzate. Assistenza sanitaria: tecniche di embedding sono state applicate alle cartelle cliniche elettroniche, all'imaging medico e ai dati genomici per la previsione, la diagnosi e il trattamento delle malattie. Sistemi sociali: tecniche di embedding possono essere utilizzate per apprendere rappresentazioni latenti di sistemi sociali come i sistemi di migrazione interna, reti di citazioni accademiche, e reti di commercio mondiale.

Note

Voci collegate  Apprendimento di rappresentazioni Clustering Immersione (matematica) Mappa auto-organizzata Misura di similarità Topologia di sottospazio Topologia di sottospazio Varietà (geometria)

Categoria:Analisi dei cluster Categoria:Data mining Categoria:Apprendimento automatico