Our Service

Enhance society
through broadcasting
technology

放送事業者様向けソリューション

感情表現字幕システム

動画の映像と音声をAIが解析し、感情に応じたフォントの形や色を変化させて、自動的に字幕を表示するプロトタイプシステムを大日本印刷と共同開発しました。
本システムは、2018年に大日本印刷が開発した文章の内容に合うフォントを自動で判別して表示する「DNP感情表現フォントシステム」を活用しています。
この仕組みによって、耳の不自由な方や音が聞こえなくても、番組の臨場感を伝えることができます。

通常の字幕と感情字幕のイメージ画像

[特長]

1. 映像と音声をAIで解析して、字幕の自動付与と最適なフォントへ自動変換表示
録画やライブ(生放送)の音声を解析して、リアルタイムで字幕を自動的に付与します。その際、字幕の内容や発話者の表情を解析して感情を把握し、その感情の表現に最適なフォントを12種類の中から自動で選んで字幕に使用します。例えば、楽しい内容は丸みのあるフォントで、怒っている内容は角ばったフォントで表示することで、より直感的に内容を伝えます。

2. 映像内の人物の顔を認識して、発話者の口元の近くに字幕を自動的に表示
映像内の発話者を特定して、自動的にその口元の近くに字幕を表示することができます。これにより、複数の人物が登場する映像でも、誰が何を話しているかを直感的に伝えることができます。

システム概念図

[今後の展開]
NTと大日本印刷は「感情表現字幕システム」の開発を継続し、字幕テロップ(オープンキャプション)での実用化については、テロップ制作システムを手掛けるラムダシステムズ社と目指します。また、音声認識や感情認識のAIの精度を向上させるほか、リアルタイム性の向上も進め、生放送やインターネット同時配信サービスの字幕(クローズドキャプション)への展開についても目指します。さらに大日本印刷は、デジタルサイネージ等の動画の字幕に応用するほか、誰でも利用できる映像編集用ソフトウェアとして提供していく計画です。

12種類のフォント

感情表現字幕システムに関する資料はこちら(PDF)