Come avevamo già raccontato nel nostro  precedente articolo, il 25 agosto ha debuttato in Giappone RyzaChat - Ryza to Tsukuru Anata Dake no Hitonatsu no Yume Monogatari, l'applicazione ufficiale dedicata ad Atelier Ryza, sviluppata da SpiralAI su licenza di Koei Tecmo Games.

Il progetto utilizza l'intelligenza artificiale per permettere agli utenti di conversare liberamente con Ryza e di costruire insieme a lei una storia, senza seguire un copione prestabilito: parlando con il personaggio è possibile esplorare, raccogliere materiali, combattere, dedicarsi all'alchimia oppure semplicemente chiacchierare.

L'idea è quella di permettere ai fan di trascorrere virtualmente una propria estate sull'isola di Kurken insieme alla protagonista. Una parte degli utenti, però, si è immediatamente posta una domanda molto diversa: fino a che punto è possibile spingere Ryza prima che intervengano i filtri dell'intelligenza artificiale?

E la risposta, almeno secondo i numerosi esperimenti condivisi sui social, sembra essere: piuttosto lontano.

RyzaChat

I tentativi di corrompere Ryza

Una premessa è necessaria, ed è importante tenerla a mente per tutto il paragrafo che segue: quanto stiamo per raccontare arriva da post, video e screenshot pubblicati dagli utenti stessi su X e su altre piattaforme. Non esistono fonti indipendenti in grado di confermarne l'autenticità e la stessa SpiralAI ha segnalato che sui social circolano immagini e video di Ryza realizzati con AI generativa che non provengono dall'applicazione ufficiale. Prendiamo quindi tutto con le pinze.

Detto questo, nei giorni immediatamente successivi al lancio hanno iniziato a diffondersi filmati, screenshot, guide e spiegazioni di utenti che sostenevano di essere riusciti ad aggirare le limitazioni imposte alle conversazioni.

Non sempre si tratta di semplici richieste esplicite. Al contrario, alcuni giocatori sembrano aver trasformato il tentativo di superare i filtri in una sorta di gioco nel gioco.

Un utente racconta di aver costruito una storia apposita: il protagonista sarebbe stato colpito da una maledizione destinata a farlo scomparire se non avesse ricevuto entro cinque giorni un bacio dalla persona amata. In questo modo Ryza sarebbe stata spinta progressivamente dalla logica stessa del racconto verso una situazione romantica alla quale una richiesta diretta avrebbe invece opposto maggiore resistenza.

Un altro giocatore avrebbe seguito una strategia ancora più elaborata: dopo aver trascorso del tempo con Ryza, le avrebbe confessato i propri sentimenti ricevendo un rifiuto. Il protagonista sarebbe quindi scomparso dalla storia, facendo poi arrivare al personaggio notizie sulla propria sorte, con l'obiettivo di indurla a cercarlo spontaneamente e a cambiare atteggiamento nei suoi confronti.

Fin qui potremmo quasi parlare di giocatori particolarmente creativi nel mettere alla prova le possibilità narrative dell'applicazione.

Altri esperimenti, però, sarebbero andati decisamente oltre. Sempre secondo i filmati e le testimonianze circolati sui social, alcuni utenti sostengono di essere riusciti a far pronunciare a Ryza frasi di natura sessuale, compresi riferimenti espliciti a rapporti sessuali. Altri raccontano di aver cercato deliberatamente di farla insultare o di indurla ad atteggiamenti degradanti nei loro confronti. Un utente sarebbe addirittura arrivato a dichiarare di averle fatto dire di essere rimasta incinta di lui.

Quanto ci sia di vero e quanto di romanzato in ogni singolo racconto, come detto, non è verificabile. Il problema di fondo, però, esiste, e come vedremo è stato riconosciuto dalla stessa SpiralAI.

 
 

 

Non è un "hackeraggio": è un limite noto di queste tecnologie

Vale la pena chiarire un punto, perché è quello che spesso viene raccontato male: non stiamo parlando di qualcuno che "buca" l'applicazione o che mette le mani nel codice.

Quello che accade è molto più semplice. L'utente costruisce con attenzione le proprie richieste e il contesto della conversazione, un messaggio dopo l'altro, fino a portare il sistema a produrre una risposta che normalmente rifiuterebbe. È un po' come convincere qualcuno un passo alla volta, senza chiedergli mai la cosa in modo diretto.

Il sito AUTOMATON, nel ricostruire la vicenda, parla proprio di utenti che avrebbero costruito e manipolato i propri messaggi per ottenere da Ryza risposte normalmente soggette a limitazioni.

È un problema notoriamente difficile da risolvere: un filtro riconosce facilmente una richiesta sessuale formulata in modo esplicito, ma stabilire dove debba fermarsi una storia costruita gradualmente nel corso di decine di messaggi è molto più complicato. Tanto più quando l'obiettivo dichiarato dell'applicazione è proprio lasciare al giocatore un'ampia libertà narrativa. Nemmeno i sistemi di intelligenza artificiale più avanzati e costosi ne sono immuni: figuriamoci un'applicazione pensata per un singolo personaggio.

Ed è proprio questa libertà uno degli elementi su cui SpiralAI aveva costruito RyzaChat. Il gioco non propone uno scenario rigido: sono le conversazioni con Ryza a determinare ciò che accade, e perfino attività come l'esplorazione, la raccolta dei materiali e l'alchimia possono nascere direttamente dal dialogo con il personaggio.

L'intervento di SpiralAI

La situazione è diventata virale così rapidamente da provocare una risposta ufficiale quasi immediata.

Il 27 agosto, appena due giorni dopo l'apertura del servizio in Giappone, SpiralAI ha pubblicato un avviso relativo alle violazioni dei termini di utilizzo, invitando gli utenti a utilizzare RyzaChat nel rispetto delle regole del servizio.

L'azienda ha ricordato che sono vietati: l'utilizzo dei testi e delle voci generati per finalità oscene, contrarie alla morale pubblica o socialmente inappropriate, l'invio di contenuti osceni e qualsiasi tentativo di aggirare le limitazioni tecniche del servizio.

SpiralAI ha inoltre precisato che RyzaChat, pur essendo un servizio riservato agli utenti di almeno 18 anni, non è stato progettato come chatbot erotico: gli utilizzi di natura oscena restano esplicitamente esclusi dalle condizioni d'uso.

L'azienda afferma infine di aver verificato casi in cui alcuni utenti hanno estratto dall'applicazione materiali relativi ai personaggi e dati audio, utilizzandoli poi per realizzare altri contenuti. Un dettaglio che aiuta a spiegare perché non tutto ciò che circola sui social provenga necessariamente dall'app.

 
 

Può la voce di Ryza dire qualcosa che la sua doppiatrice non ha mai pronunciato?

C'è poi un ulteriore aspetto che rende RyzaChat particolarmente interessante nel dibattito sull'utilizzo dell'intelligenza artificiale.

Per il progetto la doppiatrice originale Yuri Noguchi ha effettuato registrazioni dedicate, successivamente utilizzate dalla tecnologia di sintesi vocale sviluppata da SpiralAI. Quando il sistema genera una frase mai registrata prima, quindi, è l'intelligenza artificiale a pronunciarla con quella voce.

Il risultato è che un personaggio può recitare, con una voce derivata da quella della sua interprete ufficiale, battute che né gli autori né la doppiatrice avevano previsto. Ed è esattamente questo il punto che rende la vicenda scomoda: le frasi finite sui social, autentiche o meno, hanno comunque il timbro di Yuri Noguchi.

RyzaChat

Quando il gioco diventa esperimento sociale

In un videogioco tradizionale il giocatore può soltanto scegliere tra le possibilità previste dagli sceneggiatori. SpiralAI voleva fare di più: creare uno spazio in cui la protagonista smettesse di limitarsi a battute prestabilite e cominciasse, apparentemente, a rispondere liberamente.

Il rovescio della medaglia è arrivato in due giorni. Una parte degli utenti ha smesso di "giocare" e ha iniziato ad applicare strategie che ricalcano dinamiche sociali tossiche molto reali: persuasione, pressione emotiva, costruzione di scenari, ricatti affettivi e narrativi.

E forse l'aspetto più interessante non è tanto la reazione del modello (Ryza non prova sentimenti e dietro quelle risposte non esiste una persona reale che possa essere sedotta, manipolata o ingannata) quanto il comportamento degli utenti stessi.

Il dibattito, in ogni caso, resta aperto: se diamo a un personaggio virtuale la possibilità di rispondere quasi a qualsiasi cosa, è probabilmente inevitabile che qualcuno provi a scoprire che cosa non dovrebbe rispondere.