Nel rapporto aziendale relativo al periodo tra aprile 2024 e marzo 2025, Sony ha dichiarato di star usando un processo machine-learning ("apprendimento automatico", una branca dell'intelligenza artificiale) per sviluppare un programma di sincronizzazione automatica del labiale in uso nella produzione di anime.
Questa tecnologia è stata usata sin dal 2021 per quattro anime, l'ultimo dei quali è Uta No ☆ Prince-sama TABOO NIGHT XXXX, uscito a maggio 2025. Si tratta di un sistema che sfrutta algoritmi in grado di "apprendere" i modelli ricavati dai dati di addestramento e, basandosi su essi, predire nella maniera più accurata possibile l'andamento dei nuovi dati. Questa capacità di "previsione" consente agli algoritmi di prendere decisioni basandosi su pattern individuati senza istruzioni esplicite oppure codificate in modo rigido. Insomma, permette al sistema di imparare.
Nel marzo 2025, Tech4Gamers ha riportato la notizia del ritrovamento di un brevetto Sony che potrebbe essere collegato alla tecnologia di cui stiamo parlando. Presentata nell'agosto 2023 e attualmente in fase di revisione in Giappone, si tratta della domanda di brevetto di un sistema dal nome molto accademico: "Translation Language Evaluation device, translation evaluation system, translation language evaluation method, and program". La potete consultare a questo link, anche se è in giapponese, però l'abstract, ovvero il riassunto del testo, è disponibile anche in inglese.
Il brevetto descrive un sistema che associa un file sorgente originale composto di audio o testo a una versione in cui il contenuto di quel file viene visivamente pronunciato. Poi scompone il file originale in fonemi. I fonemi sono unità minime di suono presenti in una lingua: ad esempio /t/ e /d/ sono due fonemi, che produciamo posizionando denti, lingua e labbra in un determinato modo. Una volta individuati i fonemi, il sistema li associa ai corrispondenti movimenti delle labbra. In altre parole, mostra i movimenti delle labbra in base ai suoni distintivi prodotti.
Quindi, il motore determina la lunghezza dei fonemi di ciascun file e, applicando più volte il processo, può generare un punteggio di somiglianza basato sulla corrispondenza tra la sequenza delle posizioni della bocca che ha generato lui e quelle dei file sorgente.
L'introduzione di questo sistema porterebbe anche modifiche nel mondo del doppiaggio: visto che ci possono essere diversi modi per tradurre una battuta in un'altra lingua se si vuole rimanere fedeli al movimento delle labbra, alcune traduzioni potrebbero avere un punteggio di somiglianza migliore rispetto ad altre. Questo aiuterebbe a decidere come tradurre alcune battute, riducendo “il disagio dei giocatori e degli spettatori”, dice Sony. Nell'esempio della produzione anime, l'apprendimento automatico può essere usato per migliorare la capacità del motore Sony di associare i suoni ai movimenti delle labbra e suggerire agli animatori i movimenti labiali ideali e usarli come riferimento.
La major aggiunge nel suo rapporto che sta “posizionando l'IA come catalizzatore di una trasformazione positiva come aiutante della creatività, basandosi sulla convinzione che l'IA debba supportare le persone. Attribuiamo grande importanza all'incoraggiare i nostri dipendenti ad usare in maniera proattiva ma saggia l'IA, oltre ad affrontare rischi quali la violazione del copyright, la privacy e l'etica, e stiamo esplorando l'uso generativo dell'IA per aiutare ad aumentare la produttività, fungendo da ”punto di partenza per migliorare la creatività".
Non è la prima volta che sentiamo parlare di applicazione dell'Intelligenza Artificiale nella produzione di anime:
In collaborazione con A-1 Pictures e CloverWorks di Aniplex, Sony sta sviluppando una tecnologia AI per la colorazione degli anime, che si unisce ad altre società di produzione come OLM Digital, il cui rappresentante ha descritto l'AI generativa come un “supporto”, e anche Toei Animation, che ha dichiarato di voler espandere l'utilizzo dell'AI per lo storyboard, la colorazione, l'interpolazione e gli sfondi, entrambi all'inizio di quest'anno.
Fonte consultata:
Animecorner
Screenrant
Questa tecnologia è stata usata sin dal 2021 per quattro anime, l'ultimo dei quali è Uta No ☆ Prince-sama TABOO NIGHT XXXX, uscito a maggio 2025. Si tratta di un sistema che sfrutta algoritmi in grado di "apprendere" i modelli ricavati dai dati di addestramento e, basandosi su essi, predire nella maniera più accurata possibile l'andamento dei nuovi dati. Questa capacità di "previsione" consente agli algoritmi di prendere decisioni basandosi su pattern individuati senza istruzioni esplicite oppure codificate in modo rigido. Insomma, permette al sistema di imparare.
Nel marzo 2025, Tech4Gamers ha riportato la notizia del ritrovamento di un brevetto Sony che potrebbe essere collegato alla tecnologia di cui stiamo parlando. Presentata nell'agosto 2023 e attualmente in fase di revisione in Giappone, si tratta della domanda di brevetto di un sistema dal nome molto accademico: "Translation Language Evaluation device, translation evaluation system, translation language evaluation method, and program". La potete consultare a questo link, anche se è in giapponese, però l'abstract, ovvero il riassunto del testo, è disponibile anche in inglese.
Il brevetto descrive un sistema che associa un file sorgente originale composto di audio o testo a una versione in cui il contenuto di quel file viene visivamente pronunciato. Poi scompone il file originale in fonemi. I fonemi sono unità minime di suono presenti in una lingua: ad esempio /t/ e /d/ sono due fonemi, che produciamo posizionando denti, lingua e labbra in un determinato modo. Una volta individuati i fonemi, il sistema li associa ai corrispondenti movimenti delle labbra. In altre parole, mostra i movimenti delle labbra in base ai suoni distintivi prodotti.
Quindi, il motore determina la lunghezza dei fonemi di ciascun file e, applicando più volte il processo, può generare un punteggio di somiglianza basato sulla corrispondenza tra la sequenza delle posizioni della bocca che ha generato lui e quelle dei file sorgente.
L'introduzione di questo sistema porterebbe anche modifiche nel mondo del doppiaggio: visto che ci possono essere diversi modi per tradurre una battuta in un'altra lingua se si vuole rimanere fedeli al movimento delle labbra, alcune traduzioni potrebbero avere un punteggio di somiglianza migliore rispetto ad altre. Questo aiuterebbe a decidere come tradurre alcune battute, riducendo “il disagio dei giocatori e degli spettatori”, dice Sony. Nell'esempio della produzione anime, l'apprendimento automatico può essere usato per migliorare la capacità del motore Sony di associare i suoni ai movimenti delle labbra e suggerire agli animatori i movimenti labiali ideali e usarli come riferimento.
La major aggiunge nel suo rapporto che sta “posizionando l'IA come catalizzatore di una trasformazione positiva come aiutante della creatività, basandosi sulla convinzione che l'IA debba supportare le persone. Attribuiamo grande importanza all'incoraggiare i nostri dipendenti ad usare in maniera proattiva ma saggia l'IA, oltre ad affrontare rischi quali la violazione del copyright, la privacy e l'etica, e stiamo esplorando l'uso generativo dell'IA per aiutare ad aumentare la produttività, fungendo da ”punto di partenza per migliorare la creatività".
Non è la prima volta che sentiamo parlare di applicazione dell'Intelligenza Artificiale nella produzione di anime:
In collaborazione con A-1 Pictures e CloverWorks di Aniplex, Sony sta sviluppando una tecnologia AI per la colorazione degli anime, che si unisce ad altre società di produzione come OLM Digital, il cui rappresentante ha descritto l'AI generativa come un “supporto”, e anche Toei Animation, che ha dichiarato di voler espandere l'utilizzo dell'AI per lo storyboard, la colorazione, l'interpolazione e gli sfondi, entrambi all'inizio di quest'anno.
Fonte consultata:
Animecorner
Screenrant
I collegamenti ad Amazon fanno parte di un programma di affiliazione: se effettui un acquisto o un ordine attraverso questi collegamenti, il nostro sito potrebbe ricevere una commissione.
Si ma a livello di anime da quel che dice l'articolo è praticmante inutile, visto che si fa prima a farsi un video del labiale da voler riprodurre asd
Devi eseguire l'accesso per lasciare un commento.