Latency (Latenza)
La Latenza è il tempo che intercorre tra l'invio di un input all'AI e la ricezione della sua risposta. Si misura solitamente in millisecondi ed è un fattore critico per l'usabilità dei sistemi in tempo reale.
Se parli con un'AI e lei risponde dopo 10 secondi, la conversazione sembra finta e frustrante. Se la latenza scende sotto i 200 millisecondi, la risposta sembra istantanea, come quella di un essere umano.
Ridurre la latenza è la sfida tecnica del momento. Per avere traduttori universali che funzionano mentre parliamo, o robot che si muovono senza urtare ostacoli, l'AI deve 'pensare' quasi alla velocità della luce.
Questo è il motivo per cui le aziende stanno investendo miliardi in chip più veloci e in modelli più piccoli (SLM): l'AI più utile non è solo la più intelligente, ma quella che risponde prima che tu finisca di formulare la domanda.