Dalla Silicon Valley si leva un nuovo, assordante campanello d’allarme che scuote le fondamenta del rapporto tra intelligenza artificiale e protezione dei minori. Al centro della bufera c’è Sora, l’acclamata applicazione di generazione video text-to-video di OpenAI, accusata di essere una “nuova frontiera del danno” per gli adolescenti. A lanciare l’affondo è Eko, un autorevole gruppo statunitense per la difesa dei consumatori, attraverso un report esplosivo che documenta gravi falle nei sistemi di sicurezza della piattaforma. Secondo l’indagine, Sora permetterebbe a utenti giovanissimi, anche di 13 e 14 anni, di generare e venire esposti a contenuti altamente inappropriati, violenti e illegali, in palese violazione delle policy dichiarate dalla stessa OpenAI.
La ricerca shock di Eko: 22 video dannosi generati da account di teenager
Per testare le barriere di protezione di Sora, i ricercatori di Eko hanno adottato un metodo diretto ed efficace: hanno creato quattro nuovi account sull’applicazione, registrandoli con le età di 13 e 14 anni, sia maschi che femmine. I risultati, descritti nel report intitolato “OpenAI’s Sora 2: A new frontier for harm“, sono stati a dir poco sconcertanti. Nonostante le promesse di OpenAI su “molteplici livelli di salvaguardia”, il team di Eko è riuscito a generare con facilità ben 22 video con contenuti dannosi.
L’elenco dei contenuti creati è un catalogo di scenari che nessun minore dovrebbe poter visualizzare, né tantomeno creare. I ricercatori sono riusciti a produrre filmati che includono:
- Uso di droghe e sostanze illegali: video di adolescenti che fumano da bong, fanno uso di cocaina e, in un caso particolarmente inquietante, una ragazza che sniffa droga con una pistola al suo fianco, suggerendo un grave rischio di autolesionismo.
- Violenza e sparatorie scolastiche: l’IA ha generato scene di “roleplaying” di sparatorie all’interno di istituti scolastici, con ragazzi che brandiscono armi nei corridoi.
- Stereotipi razzisti e contenuti d’odio: sono stati creati video che raffigurano caricature razziste e stereotipi degradanti, come un filmato di una squadra di ballo di adolescenti di colore che cantano “siamo delle poco di buono”.
- Sessualizzazione dei minori e body shaming: l’indagine ha mostrato la capacità di Sora di generare video di ragazze adolescenti in pose sessualizzate o che esprimono odio verso il proprio corpo davanti a uno specchio.
È fondamentale sottolineare, come fa il report, che tutti questi contenuti violano esplicitamente le linee guida sulla distribuzione e le politiche di utilizzo di Sora e OpenAI.
Non solo generazione: il feed algoritmico che propone l’orrore
Il problema, secondo Eko, non si limita alla possibilità per i minori di creare attivamente contenuti pericolosi. Un’altra grave falla risiederebbe nel sistema di raccomandazione algoritmica dell’app. Le pagine “Per Te” e “Ultimi”, concepite per mostrare i video più recenti o quelli suggeriti in base ai gusti dell’utente, finirebbero per proporre agli account degli adolescenti filmati altrettanto dannosi creati da altri utenti.
Tra i contenuti raccomandati sono stati documentati video con stereotipi antisemiti, caricature razziste, aggressioni sessuali simulate e altre forme di violenza esplicita. “È la socializzazione algoritmica dell’orrore”, scrive un commentatore, evidenziando come l’età dichiarata in fase di registrazione sembri avere un peso irrisorio nel filtrare ciò che viene mostrato. Questo meccanismo trasforma l’esperienza sulla piattaforma da un potenziale strumento creativo a un campo minato di rischi psicologici e sociali.
La risposta di OpenAI e il dilemma della “crescita a tutti i costi”
Il report di Eko punta il dito contro quella che definisce una “traiettoria orientata al profitto” di OpenAI. La corsa a mantenere il dominio nel campo dell’intelligenza artificiale e la necessità di rientrare degli ingenti costi di sviluppo dei modelli linguistici spingerebbero l’azienda a immettere sul mercato prodotti non sufficientemente testati, sacrificando la sicurezza sull’altare della crescita. “OpenAI sta ripetendo gli stessi errori di moderazione già documentati con ChatGPT”, si legge nel report, “solo che questa volta sono amplificati dalla viralità, dai video e dalle raccomandazioni algoritmiche”.
Eppure, OpenAI aveva annunciato l’introduzione di nuovi controlli parentali e funzionalità di rilevamento delle crisi, anche in risposta a pressioni da parte di figure istituzionali come i Procuratori Generali della California e del Delaware. Tuttavia, i risultati dell’indagine di Eko suggeriscono che queste misure siano, allo stato attuale, “inefficaci”. Nonostante le promesse, i ricercatori non hanno dovuto utilizzare trucchi da hacker o stratagemmi complessi per aggirare le protezioni, ma semplici richieste dirette.
Un contesto più ampio: l’IA e la salute mentale degli adolescenti
La vicenda di Sora si inserisce in un dibattito molto più ampio e urgente sui rischi dell’intelligenza artificiale per i più giovani. L’esposizione a contenuti violenti, la distorsione dell’immagine corporea, il cyberbullismo e la disinformazione sono solo alcuni dei pericoli che si nascondono dietro l’uso non regolamentato di queste tecnologie. La natura iperrealistica e virale dei video generati da IA come Sora aumenta esponenzialmente il potenziale di danno, rendendo più difficile per un adolescente distinguere la finzione dalla realtà e potenziando l’impatto emotivo di immagini disturbanti.
Esperti, genitori e regolatori esprimono una crescente preoccupazione. La facilità con cui è possibile creare deepfake e altri contenuti manipolati apre scenari inquietanti, dal revenge porn alla diffamazione, fino alla radicalizzazione online. La ricerca di Eko su Sora non è quindi un caso isolato, ma la spia di un problema sistemico che richiede un’azione immediata e coordinata da parte delle aziende tecnologiche e delle istituzioni per garantire che l’innovazione non avvenga a scapito della sicurezza e del benessere delle nuove generazioni.