動画をテキストとして検索する事が可能に--生成AIスタートアップ「Twelve Labs」とAWS

ラスベガス（BUSINESS WIRE）：AWS（Amazon Web Series, Inc.）、Amazon.com, Inc.（NASDAQ: AMZN）は、マルチモーダルAIを使用して、ビデオコンテンツを人間のように理解することを目指す生成AIスタートアップ「Twelve Labs」が、AWSで独自の基盤モデルを構築し、スケーリングしていることを2024年12月3日に発表しました。

Twelve Labsは、自然言語を使用して、干し草の山の中から針を見つけるようなビデオ検索を可能にしました。これまで検索が困難だったデータであるビデオを、アクセス可能な情報の宝庫に変えることになります。

これにより、誰でも、何十年分のビデオアーカイブから特定のシーンを見つけたり、対話をしながらアスリートのパフォーマンス映像を評価できたりするようになります。

Twelve Labsは、AWSテクノジーを使用して、マルチモーダルモデルのトレーニングを最大10%高速にし、トレーニングコストを15%以上削減。

自然言語とビデオ内の動きをマッピングする基盤モデルの開発を加速、これにはアクション、オブジェクト、バックグラウンドサウンドが含まれ、開発者はビデオを検索し、シーンを分類、要約し、ビデオを章に分割できるアプリケーションが開発できるようになります。

ビデオのフレームを特定できるアプリケーションを開発

AWS Marketplaceで利用可能なこの基盤モデルにより、開発者は、セマンティックビデオ検索とテキスト生成のためのアプリケーションを作成し、メディア、エンターテイメント、ゲーム、スポーツなど大量のビデオに依存する業界にサービスを提供できるようになります。

例えば、スポーツ中継においてこの技術を利用し、試合映像ライブラリをカタログ化するプロセスを合理化し、放送用に特定の場面を簡単に取得できます。

また、アスリートのコーチがこの基盤モデルを使用し、スイマーのストロークテクニックやスプリンターのスタートブロックの位置を分析し、より優れたパフォーマンスにつながる指導を行うこともできます。

さらに、メディアやエンターテイメント企業では、特定の俳優をフィーチャーしたスリラーシーン、アクションシーンをコンパイルして、視聴者の興味に合わせたハイライトシーンを作成することができます。

生成AIを使用して「動画への理解と動画作成の限界を打ち破る」

Twelve Labsの共同創業者兼CEOであるJae Lee氏は、以下のように述べています。

「Twelve Labsは、開発者がマルチモーダルAIを使ったアプリケーション開発を支援するというビジョンに基づいて設立されました。世界のデータの80%が動画となっていますが、そのほとんどは(テキストとしては)検索できません。私たちは、この課題に取り組み、周りの世界を見て、聞いて、理解するのと同じように、高度に文脈化されたビデオで、人生の経験を豊かなものにすることができます」。

また同氏は、「AWSは、マルチモーダルAIの課題を解決し、ビデオにアクセスしやすくする演算パワーとサポートを提供してくれました。イノベーションを続け、グローバルに拡大するため、実りあるコラボレーションができることを楽しみにしています」と述べているほか、「モデルトレーニングを加速し、世界中の数千人の開発者にソリューションを安全に提供し、演算コストを制御できるようになります。生成AIを使用して、動画への理解と動画作成の限界を打ち破ることができます」と話しています。

AWSが「関連性の高いコンテンツの理解と迅速な作成を支援」

Twelve LabsのMarengo-Pegasusu財団のモデルでは、100以上の言語でテキストの要約と翻訳を提供するだけでなく、音声の内容とビデオの内容を一致させるなど、言葉、映像、音が互いにどのように関連しているのかを分析する画期的なビデオ分析機能を提供。

コンテンツ制作者は、自然言語で検索をして、番組や試合の中の正確な瞬間、アングル、イベントにアクセスすることができます。

例えば、スポーツ番組では、広範なメディアライブラリからハイライトシーンを自動的かつ迅速に作成し、視聴体験を向上させ、ファンのエンゲージメントを向上させます。

AWSスタートアップ担当副社長兼グローバル責任者であるJon Jonesは以下のように述べています。

「Twelve Labsはクラウドテクノロジーを使用して、膨大な量のマルチメディアデータをアクセス可能で有用なコンテンツに変換し、幅広い業界の改善を推進しています。ビデオは、これまでほとんど利用できなかった貴重な情報の宝庫です。AWSは、Twelve Labsが、関連性の高いコンテンツをより理解し、迅速に作成するために必要なツールを構築するのを支援しました」。

「Amazon SageMaker HyperPod」でトレーニングを加速、削減

Twelve Labsは、Amazon SageMaker HyperPodを利用して、ビデオ、画像、音声、テキストなどさまざまなデータ形式を一度に理解できる基盤モデルをトレーニングします。これにより、1つのデータ形式にだけ焦点を当てた他のAIモデルと比較をして、より深い洞察を得ることが可能になりました。

トレーニングは、並行して動作する複数のAWSコンピューティングインスタンスに分割することで、中断することなく、数週間から数ヶ月間、基盤モデルをトレーニングし続けることができます。Amazon SageMaker HyperPodは、「AIモデルのトレーニングを高速化し、パフォーマンスを微調整し、操作をシームレスに拡大するに必要なすべてを提供します」(Amazon)。

AWS ActivateによりTwelve Labsの生成AIテクノロジーを拡大

Twelve Labsは、3年間の戦略的協力契約（SCA）の一環として、AWSと協力し、高度なビデオ理解基盤モデルを展開し、Amazon SageMaker HyperPodしてトレーニング機能を強化します。

スタートアップビジネスの成長を支援するプログラムAWS Activateは、Twelve Labsが生成AIテクノロジーをグローバルに拡大し、数百ペタバイトのビデオから秒単位の断片までからより深い洞察を引き出すことを可能にしました。このサポートには、機械学習のパフォーマンス最適化、市場戦略を行うために実践的な専門知識が含まれます。

さらに、AWS Marketplaceにより、Twelve Labsはサービスをグローバルの顧客にシームレスに提供できるようになりました。

拡大する「AWS（Web Services）」

2006年以来、AWS（Amazon Web Services）は、世界で最も広く採用されているクラウドサービスです。ほぼすべてのワークロードをサポートするために、継続的にサービスを拡大しています。

現在、コンピューティング、ストレージ、データベース、ネットワーキング、分析、機械学習、AI、IoT、モバイル、セキュリティ、ハイブリッド、メディア、および34の地理的地域内の108のアベイラビリティゾーンからアプリケーション開発、展開、管理のための240以上の機能サービスがあります。

世界の各地で拠点を増やしており、メキシコ、ニュージーランド、サウジアラビア、台湾、タイ、ヨーロッパのソブリンクラウドでさらに18のアベイラビリティゾーンと6つのAWSリージョンの計画を発表。

急成長しているベンチャー企業、大企業、主要な政府機関など、数百万の顧客がAWSによりインフラを強化、機敏にし、コストを削減しています。AWSの詳細については、http://aws.amazon.comをご参照ください。

アマゾン（Amazon）について

アマゾンは、4つの原則により運営されています。競争相手に焦点を当てるよりも顧客への熱意、発明への情熱、オペレーションエクセレンスへのコミットメント、長期的な思考の4つです。「地球上で最も顧客中心の企業、最高の雇用主、最も安全な職場になるように努めています」(アマゾン)。

カスタマーレビュー、ワンクリックショッピング、パーソナライズされた推奨事項、プライム会員、フルフィルメント、AWS、Kindleダイレクトパブリッシング、Kindle、キャリアチョイス、FIreタブレット、Fire TV、Amazon Echo、Alexa、Just Wlak Out、Amazon Studios、The Climate Pledgeは、アマゾンが開拓したものの一部です。詳細については、http://amazon.com/aboutを参照し、@AmazonNewsをフォローしてください。

【記事出典】 amazon Press Center「Generative AI Startup Twelve Labs Works with AWS to Make Videos as Searchable as Text」

【関連リンク】 今さら聞けない人工知能（AI）の基礎知識｜AI開発の基本を解説！ AIの勉強は何から始める？独学で学ぶためのロードマップを解説！ AI関連資格おすすめ8選！未経験からAIエンジニアになる上で取得したい資格