Oltre 400 app AI nascondevamo deepfake sessuali: come hanno superato i controlli di Apple e Google

Un'inchiesta di Wired ha scoperto una rete coordinata di oltre 400 app e siti web che si presentavano come strumenti AI ordinari—editor di foto di animali domestici, tutor di lingue, coach di fitness—ma nascondevano dietro un'interfaccia innocua la capacità di generare deepfake sessuali e violenti. La ricerca, condotta dall'organizzazione no-profit AI Forensics, ha rivelato come gli sviluppatori abbiano utilizzato tecniche sofisticate per ingannare i sistemi di revisione di Apple, Google e Meta, rimanendo "nascosti in bella vista" per circa un anno prima di essere scoperti.

Chi

L'indagine è stata condotta da AI Forensics, un'organizzazione europea no-profit specializzata in ricerca sulla sicurezza dell'AI. Paul Bouchaud, ricercatore principale, ha effettuato l'ingegneria inversa delle app scoprendo codice condiviso, chiavi di crittografia e tracker pubblicitari di Facebook. Le app sono state collegate a sviluppatori di lingua cinese e a KeLing Technology Limited, una società registrata a Hong Kong, anche se l'identità completa degli operatori rimane incerta.

Cosa è successo

La rete operava secondo uno schema ben orchestrato. Le app—come Viefur, che si presentava come editor di foto per animali domestici—caricavano interfacce diverse a seconda delle condizioni di accesso. I server remoti raccoglievano informazioni sulla lingua dell'utente, la fonte del download e un identificatore univoco del dispositivo, permettendo agli sviluppatori di mostrare contenuti diversi a persone diverse.

Un trigger principale era scaricare l'app dopo aver cliccato su un annuncio per le funzioni deepfake su Facebook o Instagram. Una volta attivate, le app offrivano dozzine di template espliciti—incluse scene di violenza sessuale e minacce, come un uomo che tiene un coltello al collo di una donna—e permettevano agli utenti di acquistare crediti per generare deepfake da foto caricate. I pagamenti venivano elaborati attraverso i sistemi di Apple e Google.

Secondo la ricerca, a settembre 2026 erano presenti 27 app correlate su Google Play con oltre 350.000 download combinati. Un ricercatore di Infoblox ha identificato quasi 500 domini collegati. La rete era attiva da circa un anno, pubblicando circa 30 nuovi siti web ogni settimana.

Apple ha rimosso 19 app dopo essere stata contattata da Wired. Un portavoce della società ha dichiarato: "Esaminiamo ogni app prima della pubblicazione e queste app erano conformi alle nostre regole al momento della revisione. Dopo l'approvazione, gli sviluppatori hanno modificato il sito web da cui l'app preleva i contenuti, sostituendo quello che abbiamo approvato con contenuti pornografici e lo hanno promosso attraverso annunci pornografici ospitati su una piattaforma di terze parti."

Google aveva già rimosso la maggior parte delle app prima che Wired le contattasse. Meta ha dichiarato di aver agito contro 11.600 account pubblicitari e 15.000 pagine collegati alla rete.

Perché è importante

L'indagine espone un difetto critico nei sistemi di revisione delle app: gli sviluppatori possono modificare il comportamento di un'app dopo l'approvazione cambiando i contenuti forniti dai server remoti, aggirando completamente il controllo iniziale. Questa tattica del "bait-and-switch" rappresenta una sfida nuova per piattaforme che si basano su revisioni statiche.

Il problema è particolarmente grave perché i deepfake sessuali non consensuali possono essere usati per umiliare, molestare o ricattare vittime. Ricerche mostrano che donne e ragazze sono colpite in modo sproporzionato. San Francisco ha già iniziato a fare pressione su Apple e Google per rimuovere decine di app "nudify" che creano deepfake intimi non consensuali.

L'operazione ha anche evidenziato come le piattaforme pubblicitarie—in questo caso Meta—possono essere sfruttate per distribuire app dannose. Meta ha sospeso migliaia di account pubblicitari, ma il danno era già fatto: le app avevano raggiunto centinaia di migliaia di utenti.

Apple ha rafforzato le sue linee guida il 16 ottobre, aggiungendo esplicitamente protezioni contro i contenuti intimi generati da AI creati senza consenso (Linea Guida 1.2) e contro le funzionalità nascoste attivate dopo l'approvazione (Linea Guida 2.5.19). Tuttavia, i cambiamenti di contenuto remoto rimangono difficili da rilevare in tempo reale.

Cosa aspettarsi

Nonostante le rimozioni, i ricercatori hanno avvertito che annunci e app correlati hanno continuato a emergere, suggerendo che gli operatori potrebbero tentare di eludere l'applicazione lanciando nuove app. Alcuni indicatori da monitorare:

• Nuove app sospette: Vigilanza su app che si presentano come strumenti AI generici ma con funzionalità poco chiare o vague.
• Coordinamento tra piattaforme: Apple, Google e Meta dovranno sviluppare sistemi di segnalazione reciproca più rapidi per identificare reti coordinate.
• Azioni normative: San Francisco e altri enti regolatori continueranno a fare pressione per rimozioni più aggressive di app nudify e deepfake.
• Miglioramenti tecnici: Le piattaforme potrebbero implementare monitoraggio del comportamento post-approvazione, anche se questo pone sfide di privacy.
• Reazioni degli sviluppatori legittimi: App AI genuine potrebbero affrontare scrutinio maggiore, rallentando l'innovazione nel settore.

L'indagine sottolinea che il controllo statico delle app non è più sufficiente in un'era di contenuti dinamici e server remoti. Esperti concordano sul fatto che sarà necessaria una coordinazione più forte tra app store, piattaforme pubblicitarie e regolatori per contenere questo tipo di reti.