Inferenza
L'Inferenza (Inference) è la fase operativa in cui un modello di intelligenza artificiale, precedentemente addestrato, elabora nuovi dati inseriti dall'utente e produce un risultato, come una risposta testuale o una previsione.
La vita di un'Intelligenza Artificiale si divide in due grandi fasi: la scuola e il lavoro. La scuola si chiama 'Addestramento', dura mesi e richiede supercomputer immensi per far imparare le regole al modello. L'Inferenza è il momento in cui entra nel mondo del lavoro.
Ogni singola volta che apri ChatGPT, scrivi una domanda e premi invio, in quel preciso momento i server stanno eseguendo un processo di inferenza. Il modello usa la matematica che ha imparato per generare la risposta al volo.
Ottimizzare i costi di inferenza è la più grande sfida commerciale per le aziende tech di oggi, perché l'addestramento si paga una volta sola, ma l'inferenza costa corrente elettrica ogni volta che un utente nel mondo preme invio.