Mixture of Experts (MoE)
La Mixture of Experts (MoE) è un'architettura in cui un grande modello è composto da diversi 'esperti' specializzati. Per ogni richiesta, il sistema attiva solo gli esperti necessari, risparmiando energia e potenza di calcolo.
Immagina una biblioteca dove, invece di un unico bibliotecario che sa tutto, ci sono 100 specialisti: uno per la storia, uno per la cucina, uno per la fisica. Se chiedi una ricetta, solo lo specialista di cucina si alza e ti risponde.
Questa è la filosofia MoE. Modelli famosi come GPT-4 o Mixtral funzionano così. Invece di far girare miliardi di parametri per ogni singola parola, il sistema 'instrada' la domanda verso il gruppo di neuroni più competente.
Il risultato? Il modello sembra enorme e intelligentissimo, ma consuma molta meno energia e risponde molto più velocemente rispetto a un modello tradizionale di pari dimensioni.