L’avatar digitale che dà la voce a una donna paralizzata

L’Università della California a San Francisco e Berkeley sono riusciti a dare voce a una donna paralizzata grazie all’AI e a un avatar

Redazione
avatar

La tecnologia ormai è attiva in ogni campo e la sua potenza è tale da poter dare, letteralmente, voce a chi non ne ha. Un esempio è la sperimentazione tenuta dai ricercatori dell’Università della California a San Francisco e Berkeley che hanno permesso a una donna paralizzata di poter parlare grazie al suo avatar digitale.

Parlare grazie a un avatar

La donna in questione è paralizzata a causa di un ictus e da tempo non può più parlare. Ora, però, i ricercatori guidati dal neurochirurgo Edward Chang, hanno applicato sul suo cervello una sottilissima pellicola rettangolare contenente 253 elettrodi. Essendo situata proprio sopra l’area del cervello volta alla comunicazione, gli elettrodi sono in grado di rilevare i segnali cerebrali che, per colpa dell’ictus, non riescono a raggiungere la bocca e i muscoli facciali. Questi segnali vengono dunque inviati direttamente a un sistema dotato di intelligenza artificiale in grado di comprendere e comporre le parole.

Ma non solo, per rendere il tutto più realistico la donna ha un proprio avatar digitale che viene animato seguendo il movimento dei muscoli facciali sempre grazie all’aiuto di un software che riceve i segnali cerebrali.
Anche la voce che parla per lei non è quella fredda di una macchina ma i ricercatori sono riusciti, grazie a vecchi filmati del suo matrimonio e a un algoritmo che sintetizza le parole, a riprodurre la sua stessa identica voce.

La motivazione principale per utilizzare questo avatar è fornire un output complementare alla decodifica vocale e testuale. L’avatar può essere utilizzato per trasmettere molte espressioni non vocali. Ad esempio, nel documento, abbiamo dimostrato che potevamo decodificare la capacità del partecipante di sorridere, accigliarsi o fare una faccia sorpresa – e a diverse intensità, da bassa ad alta. Inoltre, abbiamo dimostrato che siamo in grado di decodificare gesti articolatori non linguistici, come aprire la bocca, arricciare le labbra e così via. La partecipante desidera un giorno lavorare come consulente e ha affermato che per lei sarebbe prezioso essere in grado di trasmettere emozioni attraverso le espressioni facciali. Detto questo, la sfida con l’utilizzo di un avatar è che deve essere ad alta fedeltà, in modo che non abbia un aspetto troppo irrealistico. Quando abbiamo iniziato questo progetto, abbiamo lavorato con un avatar molto rozzo, poco realistico e senza modello della lingua. Come neuroingegneri, avevamo bisogno di un avatar di alta qualità che ci permettesse di accedere al suo sistema muscolare e al tratto vocale. Quindi individuare una buona piattaforma per farlo è stato fondamentale”, ha dichiarato lo studente e co-autore principale Kaylo Littlejohn.

Iscriviti alla newsletter

Non inviamo spam! Leggi la nostra Informativa sulla privacy per avere maggiori informazioni.