Transformer
Il Transformer è un'architettura di rete neurale che utilizza il meccanismo di 'attenzione' per elaborare i dati in modo parallelo anziché sequenziale. È il cuore tecnologico di tutti i moderni modelli linguistici (LLM).
Prima dei Transformer, le AI leggevano i testi una parola alla volta, come faremmo noi con un dito sulla riga. Se la frase era lunga, l'AI 'dimenticava' l'inizio prima di arrivare alla fine.
Il Transformer ha cambiato tutto permettendo al modello di guardare l'intera frase (o interi libri) contemporaneamente. Grazie a questo, riesce a capire le relazioni profonde tra parole distanti tra loro, comprendendo il contesto in modo sovrumano.
Senza questa invenzione, fatta dai ricercatori di Google nel 2017, oggi non avremmo né ChatGPT, né Claude, né i traduttori istantanei di alta qualità che usiamo ogni giorno.