Quantizzazione
La Quantizzazione è una tecnica che riduce la precisione dei numeri (i pesi) di un modello AI. Questo riduce drasticamente lo spazio occupato in memoria e la potenza necessaria per farlo funzionare.
Immagina di avere una foto in altissima risoluzione che pesa 100MB. La quantizzazione è come trasformarla in un JPEG di alta qualità da 5MB: l'occhio umano quasi non nota la differenza, ma ora puoi inviarla via chat velocemente.
I modelli originali usano numeri molto precisi (a 16 o 32 bit). La quantizzazione li 'arrotonda' (a 4 o 8 bit).
Grazie a questa tecnica, modelli che richiederebbero server da migliaia di euro possono ora girare fluidamente su un normale laptop da gaming o su un MacBook Pro, rendendo l'intelligenza artificiale accessibile a chiunque voglia usarla privatamente.