Autoregressione
L'Autoregressione è un modello statistico in cui un sistema prevede i valori futuri basandosi sui valori passati. Negli LLM, significa indovinare la parola successiva di una frase basandosi su tutte le parole già scritte.
È il segreto banale ma potentissimo che anima ChatGPT. Quando il modello inizia a rispondere, non ha la frase intera già pensata in testa. Guarda il tuo prompt e indovina la prima parola. Poi guarda il tuo prompt e la prima parola che ha scritto, e usa la statistica per indovinare la seconda. E così via, in modo ricorsivo. Questo processo autoregressivo è velocissimo e produce un linguaggio sorprendentemente fluido, ma è il motivo per cui a volte l'AI 'si incarta' logicamente: non può mai tornare indietro per cancellare una parola che ha già deciso di generare, deve solo giustificarla con le parole successive.