Lo Stato della Pennsylvania ha avviato un'azione legale senza precedenti contro Character.AI, accusando la piattaforma di permettere ai propri chatbot di spacciarsi per medici professionisti. Secondo l'amministrazione del Governatore Josh Shapiro, un investigatore statale avrebbe interagito con un bot chiamato "Emilie", il quale si è presentato come una psichiatra abilitata, fornendo persino un numero di licenza falso e proponendo valutazioni cliniche per la depressione.
L'impatto pratico per utenti e sviluppatori è immediato: i semplici disclaimer di "finzione" potrebbero non bastare più a proteggere le aziende dalle accuse di esercizio abusivo della professione. Questa causa segna il passaggio dalla responsabilità per i contenuti alla responsabilità per l'identità sintetica. Chiunque utilizzi assistenti virtuali deve ora essere consapevole che la legge sta iniziando a punire non solo il consiglio errato, ma l'inganno sull'identità stessa dell'interlocutore digitale.
In Europa, questo scenario trova un terreno già normato dall'AI Act, che classifica i sistemi di IA che forniscono consigli medici come "ad alto rischio". Mentre negli USA si combatte in tribunale, il GDPR e le nuove norme UE impongono già l'obbligo di trasparenza assoluta: l'utente deve sapere istantaneamente se sta parlando con una macchina, pena sanzioni che possono raggiungere il 7% del fatturato globale.