感情表現字幕システムを活用した
オフライン編集のテロップ自動変換システム

動画の映像と音声をAIが解析し、感情に応じたフォントの形や色を変化させて、自動的に字幕を表示するプロトタイプシステムをDNP社と共同開発しました。
本システムは、2018年にDNP社が開発した文章の内容に合うフォントを自動で判別して表示する「DNP感情表現フォントシステム」を活用しています。
この仕組みによって、耳の不自由な方や音が聞こえなくても、番組の臨場感を伝えることができます。

今回はこの技術をテロップ装置に組み込み、フォントや色を動画の感情に合わせて自動的に変換したテロップを生成します。

[特長]

1. 映像と音声をAIで解析して、字幕の自動付与と最適なフォントへ自動変換表示
録画やライブ（生放送）の音声を解析して、リアルタイムで字幕を自動的に付与します。その際、字幕の内容や発話者の表情を解析して感情を把握し、その感情の表現に最適なフォントを12種類の中から自動で選んで字幕に使用します。例えば、楽しい内容は丸みのあるフォントで、怒っている内容は角ばったフォントで表示することで、より直感的に内容を伝えます。

例えば、オフライン編集担当者がこの機能を用いることで、効率よくオンライン編集の担当者にどのようなテロップを付ければ良いかを伝えやすくなります。

2. 映像内の人物の顔を認識して、発話者の口元の近くに字幕を自動的に表示
映像内の発話者を特定して、自動的にその口元の近くにテロップを表示することができます。これにより、テロップの位置の編集作業の省力化が見込めます。

[今後の展開]
NTとDNP社は「感情表現字幕システム」の開発を継続し、字幕テロップについては、テロップ製作システムを手掛けるラムダシステムズ社と実用化を目指します。
また、音声認識や感情認識のAIの精度を向上させるほか、リアルタイムでの使いやすさの向上も進め、生放送やインターネット同時配信サービスへの展開についても目指します。さらにNTとDNP社は、デジタルサイネージ等の動画の字幕に応用するほか、誰でも利用できる映像編集用アプリとして提供していく計画です。

感情表現字幕システムに関する資料はこちら（PDF）