井上尚弥vs.ドヘニー戦 AIでハイライトシーンを抽出し、リアルタイムでSNSに自動投稿することに成功
日本電気（NEC）はAIを利用してNTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチのハイライトシーンをSNSに自動投稿する実証実験に成功した。
映像認識AIと大規模言語モデル（LLM）を組み合わせて、リアルタイムで自動的にハイライト部分を抽出している。
NECは実験を通じて、映像認識AIやLLMを使ったマルチモーダル分析により、多角的な視点でハイライトシーンを抽出し、文章を生成している。
今後、NECはこの技術を活用して運営側の負担軽減やユーザー向けの自動ハイライトシーン生成サービスの開発を目指している。
日本電気（NEC）は9月5日、AIを利用して「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」（井上尚弥vs.ドヘニー戦／9月3日開催）のハイライトシーンをSNSにリアルタイムで自動投稿する実証実験に成功したと発表した。
日本電気（NEC）は9月5日、AIを利用して「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」（井上尚弥vs.ドヘニー戦／9月3日開催）のハイライトシーンをSNSにリアルタイムで自動投稿する実証実験に成功したと発表した。
映像認識AIと大規模言語モデル（LLM）でSNSに自動投稿
実験の大まかな流れは以下のとおり。
1.NTTドコモが配信する試合のライブストリーミング映像を、NECの映像認識AIと大規模言語モデル（LLM）を組み合わせたシステムに入力
2.映像認識AIがSNS投稿用としてハイライト部分（有効な攻撃やダウンなど）の映像を抽出し、サムネイル画像を生成
3.抽出された映像をもとに、LLMがそのシーンを説明する文章を生成
4.実験用のSNSアカウントに抽出した映像、サムネイル画像、文章をセットにして、ラウンド間のインターバル中に投稿
映像認識と文章生成にはNECのデータ活用基盤ソリューション「NEC Multimedia OLAP」を利用。複数の認識AIを使ったマルチモーダル分析により、リアルタイムかつ多角的な視点でハイライトシーンを抽出している。LLM側も複数の映像をソースとして利用できるため、臨場感ある表現や特定の選手に焦点を当てた描写など、さまざまな視点での要約文生成が実現したという。
技術的には利用者の指示に沿ったシーンを抽出し、説明文を生成すること可能。同社は今後、本技術を活用して運営側の配信負担軽減や、ユーザーが求めるハイライトシーン投稿を自動生成するサービスの開発などに繋げたいとしている。
文● @sumire_kon
