阪大チーム 声失った患者そっくりの人工音声 AIアプリ開発

大阪大などの研究チームはこのほど、病気で声を失った患者の口元の動きから話そうとしている内容を人工知能(AI)で推定し、本人そっくりの人工音声を流す「読唇アプリ」を開発した。これを使えば患者の意思疎通が楽になるとし、チームは実用化を目指す。大阪大病院で患者に試験的に使ってもらうことを計画している。
チームは日本語の5種類の母音に加え、前後の音の並びによって変化する口元の動きを16種類に分類した「口形コード」という手法に着目。まず話している口元の膨大な映像と、その動きに対応するコードをAIに学習させ、口元の動きをコードに変換する手法を開発した。さらに別のAIを使い、コードを自然な日本語に置き換える2段階のシステムで、話そうとしている言葉を推定できるようにした。これらと、事前に録音した患者本人の声をもとに、人工音声でそっくりに再現するシステムも組み合わせ、アプリを完成させた。