生成AIの嘘をAIが見破る。企業のリスク対策を担う最新のフェイク検出サービス

主に3つの領域で事業を展開しています。1つ目は、AIの人材育成。ディープラーニングやディープサイエンスに関する基礎的な講座から、実践的かつ専門領域に特化した講座、プロジェクトの立ち上げや実証実験の支援まで幅広く行なっています。2つ目に、AIコンサルティングの事業。クライアントのニーズに合わせて、AI技術の開発から実装まで一気通貫でサポートします。3つ目は、コンサルティングを行う中で得られた知見や、我々が独自に研究開発した新技術を元にしたAIサービスの提供。そのうちの1つが、フェイク検知サービスです。

ニーズはまだ顕在化していませんでしたが、フェイクコンテンツへの対策が業界全体で課題になるだろうと考え、先進的に研究開発を進めていました。現在はそれらの研究内容を元に、クライアントのシステムやアプリケーション、環境、課題に合わせてサービスをカスタマイズして提供しています。

いえ、想定より早かったというのが正直なところです。画像の生成AI技術は7〜8年前から精度の高いものがありましたが、やはり一定の条件でしか良いものが出来ませんでした。しかし今はテキストや音声、動画などさまざまなメディア形式において生成AIの進化が加速しています。それらの急速なAIの進化が、課題の顕在化に拍車をかけていると思います。

一般的なケースで言うと、投資詐欺や、著名人の発言の捏造などがあります。また戦争や災害時などの緊急かつ情報が錯綜しやすい状況下、行動を意思決定しなければならない中で、誤情報が流れてくることもあります。今やどのSNSでも、正しい情報と誤情報が混在するカオスな状況です。それが今後自然に収まることはないと考えています。むしろ広がり続ける中で、それぞれのプラットフォーマーには「迅速な対応」が、情報の受け取り手には「リテラシーの向上」が求められると思います。

ええ。アメリカでは偽の音声による詐欺によって数千億円の被害が出ているケースもあります。他にも本国のCEOからの指示だと信じ込んで、詐欺集団の口座に振り込んでしまうなど、被害額は増えているようです。最近では、Facebookが投資詐欺の対策を行なっていないとして、Meta社が著名人から訴えられるということもありました。

対策をしなければ、メディアとして成り立たなくなると考えています。当然ながら、嘘の情報が混じったカオスな状態のSNSを見に行きたいと思う人は少ないでしょう。利用者を維持、拡大するためには、フェイクコンテンツ対策が必須になっていくと思います。

簡単に言うと、生成AIで生成された痕跡を指す「アーティファクト」と呼ばれる箇所をAIで識別し、検知・検出していくサービスとなっています。

これまでのフェイク検知は、人間の目で見えるような範囲のアーティファクトを検出するものが多かったように思います。ただ今は汎化性能の高い画像生成やテキスト、動画、音声生成が増えていますので、これらに対応しきれるフェイク検知ではありませんでした。

はい、生成AIは日々進化が著しく、翌週には想像もしていなかった革新的なAI技術が登場するようなスピード感です。しかもそれらを誰もが簡単に使えるようになってきています。そういった状況を踏まえて、人間が見分けられないレベルのものをいかに検知できるか、新しい技術に日々対応できる仕組みをつくることを重視して進めています。

生成AIもフェイク検知も進んできているのは画像だと思います。ただその他の分野もどんどん進化を遂げていますね。動画は難しいと言われてきましたが、今は動画もOpen AI社から動画生成AIモデル「Sora」が発表されるなど、進化が続いています。今後は周波数データなど、あらゆる分野で生成AIが発達していくんだと思います。また動画と音声の連動など複数の生成AIの組み合わせも違和感なく作られるようになっていくのではないでしょうか。

画像や音声、文章、動画などをチェック機能にかけると、正しい要素と誤った要素がどの程度含まれているかを検知します。例えば2023年に話題となった「ペンタゴン付近で爆発」のフェイク画像を検出してみると、フェイクの割合が71％と出てきました。

さらにヒートマップでは、どの要素に着目してフェイクと判定したかを可視化しています。赤色に近い箇所を重点的に見て、導き出した結果だと分かります。肉眼でもよく見てみると、直線が歪んでいたり、建物の窓が幾何学的に並んでいなかったりします。その他にも、画像が持っている電子署名を検出する機能が付いています。

Open AIやGoogleのような生成プラットフォームを持っている企業は、生成AIで作られたコンテンツであることを明示しています。画像の電子情報内に、Open AIで作られた画像であることが明記されていることがあります。

他にもインターネット上に類似した画像がどのくらいあるかなど、多面的に参照情報を提示するようにしています。

そうです。今後はさらに検出モデルを多重化させ、さまざまな観点から検証をかけられるようアップデートしていく予定です。

マーケットができる2018年から生成AI技術や検出技術の開発を進めており、先進的な研究開発を他社に先駆けて行っていることが強みだと思います。マーケットが構築されてきた今、唯一無二のプレイヤーになっているのではないかと。また、創業当初からグローバルに技術力のある優秀なメンバーを集めてきたので、チーム全体のスキルの高さも優位性につながっています。

誤情報についての対策を強化している政府機関や、損害保険・金融業界などでニーズがあります。例えば損害保険では少額の保険金であれば被害状況を写した画像を送ることで、インターネット上で保険申請が完結できるようになってきています。しかしそうすると、画像を加工して故障箇所を増やすなどして、保険金を上乗せしようとするケースが発生します。このような課題への対策として、本サービスを利用いただいています。

AIの判定だけでなく、付帯情報を踏まえた多面的かつ総合的な信頼性チェックを行います。例えば、SNSにある猫の写真が本当に実在するのか、写真に載っているバイクが実在するかなど、さまざまな背景情報を集めてレポーティングしていきます。

他にも、発信元のアカウントがどのようなアカウントなのか、拡散用botを経由して拡散していないか、写真に写っている文字情報や幾何学的な情報が壊れていないかなど、多様な観点から検証を行います。結果的に、この猫の写真は本当にあってもおかしくないと判断しました。

投稿そのものにAIが関与しているかはすぐに検出できるのですが、投稿したアカウントについてや、画像に載っているものの整合性を確かめるソース探しなどのクロスチェックにはまだ課題が残っています。例えば政治家や著名人の場合、公式の情報とクロスチェックを行う際には、整理されている対象であればスムーズに分析が進みますが、情報収集が複雑な場合は時間がかかることもあります。

テキストの場合は、公式のニュース情報や複数の報道メディアなど、一定程度の人がチェックしている情報と相反していないかどうかなどを確かめることができます。

また、最近では動画が掲載されているページのURLを入力するだけで、フェイク動画かどうかを判定できる「SNS対応フェイク動画検知システム」も開発しました。

フェイク情報の検知は今後ますますニーズの高まる市場だと思います。また各企業・機関・個人によって対象とするものや環境が異なるため、カスタマイズ性や求められるサービスも多様化していくと考えられます。さらに生成AIは日々進化していくので、一度サービスを提供したら終わりではなく、継続的に刷新されていくビジネスです。もちろんAI技術についても日々学んでいかなければいけません。生成AIについての学びを止めず、我々のサービスも進化させていきたいと考えています。

先進的な技術を開発したい方や、インフラ作りに関心のある方マッチすると思いますし、フェイク検知サービスは今後さらに面白い事業になっていくと思います。弊社では技術的にもさまざまな挑戦ができますし、AIがインフラとして社会に実装されていく中でインフラとデータ管理の最先端に関わることができます。そういった働き方に興味のある方がいらっしゃれば、ぜひ我々のチームに加わっていただきたいと思います。