Nell'ambito dell'apprendimento automatico la memoria a lungo e breve termine (più nota con l'acronimo dall'inglese LSTM, Long short-term memory) è un tipo di rete neurale ricorrente (RNN) volta a mitigare il problema della scomparsa del gradiente comunemente riscontrato con le RNN tradizionali. Rispetto alle altre RNN, ai modelli di Markov nascosti e agli altri metodi di apprendimento delle sequenze, le LSTM hanno il vantaggio di essere meno sensibili alla lunghezza dell’intervallo temporale tra informazioni rilevanti in una sequenza. Questo perché possiedono una memoria interna capace di mantenere tali informazioni anche per migliaia di intervalli temporali (da qui il nome). Il nome è stato coniato in analogia con la memoria a lungo termine e la memoria a breve termine e con la loro relazione, studiata dagli psicologi cognitivi dall'inizio del secolo scorso.
Un'unità LSTM è composta tipicamente da una cella e tre porte: una di input, una di output e una di oblio. La cella ricorda valori a intervalli di tempo arbitrari e le porte regolano il flusso di informazioni in entrata e in uscita dalla cella. Le porte di oblio decidono quali informazioni scartare dallo stato precedente, mappando lo stato precedente e l'input corrente su un valore compreso tra 0 e 1. Un valore (arrotondato) di 1 indica la conservazione delle informazioni, mentre un valore di 0 rappresenta l'eliminazione. Le porte di input decidono quali nuove informazioni memorizzare nello stato corrente della cella, utilizzando lo stesso sistema delle porte di oblio. Le porte di output controllano quali informazioni nello stato corrente della cella emettere, assegnando un valore da 0 a 1 alle informazioni, considerando lo stato precedente e quello corrente. L'emissione selettiva di informazioni rilevanti dallo stato corrente consente alla rete LSTM di mantenere dipendenze utili a lungo termine per effettuare predizioni, sia al passo corrente sia in quelli futuri.
LSTM ha un'ampia gamma di applicazioni nella classificazione, nell'elaborazione dei dati, nell'analisi delle serie temporali, nel riconoscimento vocale, nella traduzione automatica, nel rilevamento del parlato, nel controllo dei robot, nei videogiochi, e nell'assistenza sanitaria.
Note
Voci correlate Apprendimento profondo Rete neurale ricorrente Transformer Serie temporale
Collegamenti esterni
Reti neurali ricorrenti con oltre 30 articoli sulle LSTM del gruppo di Jürgen Schmidhuber presso l'IDSIA
Categoria:Apprendimento automatico Categoria:Apprendimento profondo Categoria:Reti neurali artificiali