TRL
TOP PAGE東京基礎研究所採用情報研究分野プロジェクト関連情報IBM基礎研究所
English page is here.
 
MPEG-7 オーサリングシステム


システムの概要

本システムは、映像の内容を示すインデックスを付加し、ダイジェスト生成時にコンテンツ情報として用いるメタデータを生成します。インデックスを付加する際、映像の内容理解を計算機による汎用的な画像処理に頼ると、すべてに適切なインデックスを付加することは非常に困難です。そこで、本システムは正確なインデックスを付加することを目的とし、以下の2通りの方法を用いて手動でインデックスを付加します。
  • シーンに基づくインデキシング
  • イベントに基づくインデキシング
付加されたインデックスはMPEG-7で記述されメタデータとしてダイジェスト生成時に利用します。

シーンに基づくインデキシング

シーンに基づくインデキシングは、ニュース・情報番組・映画といった構成がしっかりしており、各場面ごとに意味内容を付加可能な種類の映像コンテンツに適したインデキシングです。システムにより、ビデオを複数のセグメントに自動分割します。それを元に、各シーン毎にセグメントを統合、分割することができます。各シーンにはメタデータとして、タイトル・コメントなどを付加することができ、キャプションや音、フリーキーワードによるインデキシングも行えます。

シーンに基づくインデキシング

イベントに基づくインデキシング

スポーツ映像などでは、シーン毎に内容を理解するよりも映像中のイベントに注目し、内容を表すインデックスを付加したほうが、映像の意味内容を理解しやすいと考えられます。このようなイベントに基づくインデキシングでは、メタデータとしてイベントの種類とその発生時刻などを付加します。
サッカー映像の場合、トリガーイベント情報、チーム名や選手名といった各インデックスを補助する付加情報、トリガーインデックス情報を付加します。トリガーインデックス情報には、単一トリガーインデックス情報と複数トリガーインデックス情報があります。単一トリガーインデックス情報で、一つのトリガーイベントから構成されるインデックス、複数トリガーインデックス情報で複数のトリガーイベントから構成されるインデックスを表します。複数トリガーインデックスを用いることで、サッカーの連携プレーを表現できます。
実際のインデキシングの際には、各トリガーイベントをキーに割り当てることで、入力時間の短縮を図っています。本システムを用いた場合、インデキシングに要する時間は、実時間の約1.5倍程度で行えます。今後の改良により、リアルタイム入力を目標としています。

イベントに基づくインデキシング

MPEG-7メタデータ

映像に付加されたイベントインデックスは、あらかじめ定義された重要度によって、連続関数としてモデル化されます。シーンに基づくインデキシングの場合、インデックスの重みは離散的な値を取るため、生成されるダイジェスト長は段階的な値のみが可能になります。一方、イベントに基づくインデキシングの場合、インデックスの重みは連続的な値を持ち、ダイジェスト長は任意の値を取ることが可能です。ユーザーが希望するダイジェスト長に応じて、Thresholdが決められ柔軟なダイジェストが生成可能です。これらのイベントインデックスとその重みは、本オーサリングシステムによりMPEG-7で記述されます。

ダイジェスト長

IBM Research
IBM Home Page日本IBM検索お問い合わせプライバシー著作権商標
Last modified 26 Feb. 2002