「ELYZA DIGEST」は、長文のテキストを3行に要約するツールです。読み込んだ文章をAIが解析して要約するのですが、“生成型”であることが大きな特徴です。要約の方法にはほかに「抽出型」「圧縮型」「テンプレート型」があります。

生成型と比較しやすいのは、文章の中から必要だと思われる部分を抜き出す抽出型です。簡単で間違いが少ない方法です。一方、AIが一から要約文を作成するのが生成型。web上の文章をとにかく大量に読み込ませることで、一般常識や「この単語とこの単語は同じ意味」といった、要約に特化した学習をします。

わかりやすい例で言うと、抽出型だと固有名詞や日付が繰り返し登場してしまう部分で、生成型は「それ」といった代名詞や「同日」といった表現を使えます。これらが使えると文章が簡潔で読みやすくなりますし、限られた文字数を有効利用できるようになるんです。

そうですね。プロダクトとしての精度としては、まだまだ改善の余地があります。要約処理は今は100％AIですが、より精度を上げるには、ディープラーニングでは難しい部分を人間の手で補正するとか、そういったことも必要になるかもしれません。

ELYZAの研究開発チームは6人で、そのうち要約処理の分野を担当しているのは3名です。要約のためのディープラーニングにはとにかく大量のデータが必要なので、その入力作業には開発とは別に人員が必要ですが。

ひらがな・カタカナ・漢字は分けません。混じった状態で存在しているのが自然な日本語ですからね。また、「ELYZA DIGEST」については様々なジャンルで活用できることを特徴としているので、収集元や文字数の制限も設けていません。ただ、特定のジャンルに特化したAIを開発する必要がある場合は、テキストデータの収集元を絞ることもあります。

たしかに、小説は特に難しいジャンルですね。おっしゃるようなニュアンスの問題もありますが、そもそも文章がすごく長いし、一般的な文章に比べて代名詞が指している言葉がとても遠かったりするので、そこも難関です。

はい、「ELYZA DIGEST」については、我が子を見つめるような気持ちです。もっと広く使ってもらえるよう、APIの提供も視野に入れています。

自然言語とは人間が話す言葉のことで、自然言語処理は“言葉を機械的に処理していく工学”ということになります。英語では“Natural Language Processing”で、NLPという略称も一般的です。画像処理だと、コンピューターが画像を解析して人の顔を認識したり、被写体の色を判別したりしますよね。画像処理が先で、その後、言語処理が進歩してきています。

深層学習を用いた自然言語処理の理論自体は、昔からわかっていました。でも、機械に言語を学習させるには、大量のテキストデータとそれを処理するための計算機（コンピューター）が必要で、計算機の性能が追い付いてなかったんです。でも、今は違います。実はGoogleの汎用言語モデル「BERT」（英語）は、2019年に自然言語処理分野で人間を超える精度を実現しています。

そうなりつつあります。計算機の処理能力向上のおかげで、パラダイムシフトが起きたんです。昔の自然言語処理AIは精度が低かったのですが、変わってきていますよ。

新聞はまだ書いてない、と思います。でも、英語では、人間が記事の冒頭文を書くと、それに続く“ありそうな記事”をAIが想像して書くという機能が登場しています。日本人に身近なところでは、Google翻訳やGoogle検索ですね。“猫”でも“ネコ”でも“ねこ”でも、同じ検索結果になるのは、AIがそれらが同じものを指すと学習しているからだし、“かわいい動物”と検索して猫が表示されるのは、AIが“猫”は“かわいい動物”だと学習しているからなんです。

海外では「AI Dungeon」というテキストで完全に自由な対話ができるゲームが登場してきていますし、どんどん身近になっていますよ。学習プログラム自体も、どんどんアップデートされてきています。

2018年のBERTの論文で、自然言語処理の分野に関しては、いわゆる“教師あり学習”だけではなく“教師なし学習”を活用するほうが良いことが示され、大きな変化が起きました。これは犬、これは猫、という概念（ラベル付け）で学習するのが教師あり学習なのですが、その前にとにかく大量の文章で事前学習させる方法です。

技術的な話になるのでとても難しいと思うのですが、左がBERT以前の学習方法。例えて言うと、いきなり知らない外国語の入試問題の過去問を渡されているような状態です。一方、右のBERT以降は、過去問を見る前にその外国語のサイトをできるかぎり大量に読んで、その言語の概要を掴んでから過去問を理解していくイメージ。コンピューターの性能向上と、ベースとなるモジュールの進化、膨大なデータを読み込めるモデルの大規模化もあって学習の精度が大幅に向上し、パラダイムシフトが起きました。

英語圏では、自然言語処理のAIがすごい！とTwitterとかでもすごく盛り上がっているんですよ。なのに、日本人は誰も知らなくて、すごさを享受できてない現状がもどかしいですね。チャレンジしている企業も少ないので、未踏の領域ではありますが、パラダイムシフトを起こすしかないと思っています。