Attention Mechanism (Meccanismo di Attenzione)
Il meccanismo di attenzione permette a un modello neurale di assegnare un 'peso' diverso a ogni parte dell'input, concentrandosi sulle informazioni più rilevanti per comprendere il contesto di una specifica parola.
Se leggi la frase 'L'uomo ha preso la chiave e ha aperto la porta perché era vecchia', come fai a sapere che quel 'era vecchia' si riferisce alla porta e non alla chiave? Lo sai perché la tua attenzione si concentra sulla logica della frase.
L'AI fa lo stesso matematicamente. Calcola quanto ogni parola sia 'correlata' alle altre.
Questa capacità di pesare l'importanza relativa delle informazioni è ciò che rende i modelli moderni così fluidi e naturali nella comprensione, superando i vecchi sistemi che trattavano ogni parola con la stessa importanza, perdendo il senso del discorso.