Zusammenfassungen

Il paper "Attention is All You Need" (Google Brain, 2017) ha segnato un punto di svolta nel Deep Learning. Ha introdotto l'architettura Transformer, che ha rapidamente reso obsolete le RNN per la maggior parte dei compiti di NLP (Natural Language Processing).

1. I Limiti delle RNN

Le RNN (LSTM/GRU) processano i dati in modo sequenziale: per calcolare lo stato al tempo $t$, devono aver calcolato lo stato al tempo $t-1$. Questo comporta due grossi problemi:

1. Lentezza: Non è possibile parallelizzare il calcolo su GPU. Se una frase ha 100 parole, servono 100 step sequenziali.
2. Memoria a lungo termine: Nonostante i meccanismi di gating, l'informazione tende a degradarsi su sequenze molto lunghe.

2. L'Architettura Transformer

I Trasformatori abbandonano completamente la ricorrenza. Elaborano l'intera sequenza in parallelo. Il segreto è il meccanismo di Self-Attention (Auto-Attenzione): permette a ogni parola della frase di "guardare" direttamente a tutte le altre parole, indipendentemente dalla loro distanza, per capire il contesto.

Il modello è composto da due pile di blocchi:

• Encoder (Sinistra): Legge e comprende l'input. Composto da strati di Self-Attention e Feed Forward.
• Decoder (Destra): Genera l'output. Composto da strati di Masked Self-Attention, Cross-Attention (guarda l'encoder) e Feed Forward.

Positional Encoding

Poiché il modello non processa le parole in ordine, non ha idea della loro posizione relativa ("A ama B" è diverso da "B ama A"). Per risolvere questo, sommiamo al vettore di embedding di ogni parola un Vettore Posizionale. Questi vettori seguono pattern sinusoidali a diverse frequenze, permettendo al modello di imparare relazioni relative (es. "parola a distanza 3").

3. Explainability (Spiegabilità)

Le reti neurali profonde sono spesso considerate "Black Box": input $\to$ magia $\to$ output. In settori critici (medicina, finanza), questo non è accettabile. L'Explainability (XAI) è la branca dell'AI che cerca di rendere i modelli interpretabili.

I Trasformatori offrono un vantaggio unico qui: le Mappe di Attenzione. Possiamo visualizzare la matrice dei pesi di attenzione per vedere esattamente su quali parole il modello si è "concentrato" mentre prendeva una decisione.

• Esempio: Se il modello traduce la parola "bank" in "riva" (del fiume) invece che "banca", possiamo vedere che la sua attenzione era focalizzata sulla parola "river" nel contesto, spiegando la disambiguazione.