ChatGPT（GPT-4）登場に沸き立つ言語処理学会第29年次大会（NLP2023）に参加しました

ChatGPTがリリースされて1年、AIが日常を便利にすることは世間にも浸透してきたと思います。 さて、そんなAI分野で重要視されている「自然言語処理」についてご存知でしょうか？

AI分野で使われている専門用語、という理解に留まり、具体的な言葉の意味は分からない、という方が多いと思います。

そこで、今回は「自然言語処理」とは何なのか、また言語処理について日本で研究成果発表、国際的な研究交流の場として知られる「言語処理学会年次大会」の第29回に参加された際の体験レポートを、株式会社Helpfeel 開発部 西山雄大さんにご執筆いただきました。

言語処理学会年次大会とは

言語処理学会年次大会は、自然言語処理に関する日本最大級かつ国際的な研究発表の場です。2023年の第29回年次大会（NLP2023）は沖縄県の宜野湾コンベンションセンターで、3月13日から17日の5日間にわたり開催されました。

「みんながみんなにアテンション～現地でもオンラインでも全員が主役！」がスローガンの今回は開催規模としても過去最大となり、オンラインを含めた参加者は総計1800名を超え、発表は全部で579件にのぼりました。

株式会社Helpfeelはプラチナスポンサーとして協賛し、弊社エンジニアである筆者もそこに参加することができました。

本記事では、自然言語処理分野の簡単な説明から、特に注目を集めた領域の紹介、さらに沖縄という土地と言語との関わりについて紹介したいと思います。

自然言語処理とは

そもそも自然言語処理とはどういった研究・開発分野なのでしょうか？

自然言語処理とは、人間が日常的に用いている言葉（自然言語）を、コンピュータが理解できるかたちに処理・解析することを指します。その実現には、対象となる自然言語そのものに関する知識や、使用実態を反映した言語資源の構築などといった作業が求められます。最近では、ディープラーニングなど人工知能（AI）に関する知識も必要になってきました。

こうしたテクノロジーは、機械翻訳やテキストマイニング、情報抽出や感情分析など、人間とコンピュータや人間どうしをつなぐ様々な領域に応用されてきました。私がいままさに利用している日本語文字入力の漢字かな変換システムは、そのうち特になじみ深いものの一つと言えるでしょう。

【出典】：File:IME demonstratie - Matsuo Bashou - Furu ikeya kawazu tobikomu mizuno oto.png - Wikimedia Commons

自然言語処理とプロダクト

このような自然言語処理の技術は、企業の開発プロダクトとどのように関わっているのでしょうか？

Google創業者のラリー・ペイジとセルゲイ・ブリンによって発明されたページランク（PageRank）というアルゴリズムは、Webページ同士のリンク関係を分析・得点化することでその重要度を順位づけします。学術論文の評価に着想を得たこの技術は、同社の検索エンジンに実装されると他社の製品をしのぐ威力を発揮しました。

人々から広く認知されたプロダクトとしては、AppleのSiriも挙げられます。Siriは人間の発話を聞き取り、その意図を理解し、質問に答えているように見えますが、それらのプロセスは音声認識、意味解析、対話管理といった下位タスクに分解できます。音声アシスタントはこれらのタスクをうまく統合することで自然な質問応答を実現しています。

FAQ検索システムのHelpfeelでも、弊社テクニカルフェロー・増井俊之による曖昧検索というアルゴリズムが使われています。これは入力された言葉を文字単位に分割し、それらの相互関係をもとに意図した言葉にヒットさせる仕組みと言えます。こうしたアルゴリズムやプロセスは、ビット演算や形態素解析といったテクノロジーの上に実装されています。

【出典】：増井俊之「展開ヘルプ」p.7 

ChatGPTと自然言語処理

前述のとおり、自然言語処理そのものは長らく研究・開発されてきた分野です。それが最近にわかに注目されるようになった背景には、やはりOpenAIにより開発されたChatGPTの華々しい登場があります。

ChatGPTはGPTファミリーと総称される機械学習モデルを採用しています。これらは学習済みのテキストデータをもとに新たな文字列を生成するもので、一般に言語モデルと呼ばれます。

このうちGPT-3.5は膨大なテキストデータに加えて人間との対話形式のデータを学習し、さらに人間によるフィードバックによって自然な回答生成能力を獲得したことで「大規模言語モデル」と見なされるようになりました。

チャットという人間にとってなじみのあるインタフェースがそこに加わり、しかも十分に実用的と感じられるレベルに達していたことから、ChatGPTは一躍多くの人に受け入れられるプロダクトになったのです。

第29回年次大会（NLP2023）と、突然の「GPT-4」リリースの衝撃

言語処理学会においても、会期2日目に緊急パネル「ChatGPTで自然言語処理は終わるのか？」が急遽開催されることが大会初日になって公表されました。しかし開催を待たずして、OpenAIから視覚処理などの能力をも身につけた次期モデル・GPT-4のリリースが発表され、参加者・登壇者ともに大きな衝撃を与えていました。

自然言語処理の歴史の上でも、今回の言語処理学会は記念すべき大会であったと言えると思います。

【参考】：NLP2023 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター

初日には4つのチュートリアルが開催されました。筆者はそのうち「自然言語処理から見た古典語と現代語」と「構文文法の基本的な考え方：言語使用から創発する言語知識のありようを探る」を聴講しました。

前者では現代語の言語処理手法を古典語に適用したケーススタディや、古典データそのものの扱いの難しさが紹介されました。ある漢文を翻訳させると、どの年代の中国王朝で書かれた文章かまで特定できることを示すスライドには特に驚かされました。

後者は2日目の立命館大学・谷口忠大先生の招待公演につながる内容で、認知言語学の立場から見た場合の言語処理、また大規模言語モデルの知能を考える上で参考になりそうな理論的枠組みを提供する内容でした。

本会議中には3つのテーマセッションが設けられていました。このうち社内で特に話題になっていたのは「地理空間情報と自然言語処理」でした。弊社メンバーの一人がいくつか地理情報アプリを個人開発していますが、セッションで発表された新しい技術や斬新な手法の数々には大きな驚きがあったようです。

これ以外にも幅広いテーマについての発表がありました。形態素・構文解析では、各種解析器について今なお新しい手法が提案されており、この問題領域に対する根強いニーズを感じました。「最小コスト法に基づく形態素解析におけるCPUキャッシュの効率化」は標題の提案手法をRust言語で実装するもので、自然言語処理にもRustの波が来ていることに驚きました。

言語モデルを画像や音声などの情報と結びつけるマルチモーダルも数多くの発表がありました。「画像キャプション生成におけるJPEG圧縮への頑健性の改善」は画像エンコーダの学習に画質の低いJPEG画像を追加することで、画像キャプション生成においてもJPEG圧縮への頑強性が増すことを示したもので、面白い発想かつ実用的な提案手法であると感じました。

質問応答、およびそのマルチモーダル版であるビジュアル質問応答（VQA）では、TransformerやBERTモデルを使って、いかに回答の精度を上げるかという試みが盛んに報告されました。このうち「FAQ検索における言い換え生成を利用したデータ拡張手法」は少ないデータを言い換え表現によって拡張するという発想がまさしくプロダクトとしてのHelpfeelと同じアプローチに基づくものであり、メンバーどうし協議のうえ、研究の今後に期待を込めてHelpfeel賞を贈ることにしました。

ちなみにエンジニアである私自身も、言語資源・分析で個人開発ならぬ個人研究「『万葉集』漢字本文における漢字の使用頻度集計」を発表しました。たくさんの参加者と活発な議論ができて嬉しかったのですが、その中でアドバイスをくださった統計数理研究所の持橋大地先生は最終日のワークショップ「深層学習時代の計算言語学」のオーガナイザーであり、閉会後に的確な参考文献を共有してくださいました。

この大会が今回初めて沖縄で開催されたことの意義についても説明させてください。

沖縄諸島で話されてきた言葉は「沖縄弁」や「沖縄方言」などと呼ばれることもありますが、相互理解度などの言語学的な観点から、いまではユネスコからも独立した一個の言語と見なされています。

国立国語研究所（当時）の田窪行則先生による招待講演は、沖縄語を含むこうした消滅危機言語を記録して再活性化していくために、いわゆる低資源言語の言語処理も必要であると訴えるものでした。

GPTファミリーをはじめとする多くの大規模言語モデルが基本的に英語で学習されていることを鑑みても、言語資源の重要性は昨今ますます増してきているように思われます。

また、会期初日の晩には沖縄の伝統芸能・エイサーの舞台へと会場ホールが一転するというパフォーマンスが行われ、会場の雰囲気を大いに盛り上げました。

こうしたパフォーマンスやキッチンカーなど食事の手配は、ローカルオーガナイザーとしてともに協賛していた地元企業・ちゅらデータ株式会社によるものです。

言語処理学会会長の東北大学・乾健太郎先生をはじめ運営委員の方々も沖縄の伝統衣装・琉装で現れるなど、大会はひときわローカリティを強く感じさせるものになりました。

参加者がおのおのの研究・開発領域について関心を深めるとともに、消滅危機言語や伝統文化についても理解を深めるきっかけになったら、と言語・地名オタクである著者も願わずにはいられませんでした。

今後に向けて

最先端の自然言語処理技術、とりわけChatGPTのプロダクトへの応用は弊社でも当時すでに行われていました。会期後、そのうち画像や音声などと連携したマルチモーダルな機能をGyazoにも搭載しようという機運がチーム内でも高まりました。こうした動きは数ヶ月の開発期間を経て、動画のAI文字起こし・要約機能や画像の代替テキスト提案機能のリリースにつながっています。

エンジニアとしていま課題を感じているのは、「AIっぽさ」を感じさせる体験そのものです。ChatGPTは、その能力もさることながら、あたかも今ここで文章の続きを生成しているようなインタフェースを提供したことが決定的だったと著者は考えています。単にレスポンスが速いだけでなく、使っていてわくわくするようなUI/IXを、デザインの観点も含めて練り上げていく必要があるでしょう。

そのためにも、言語処理学会のような大きな学会に参加して、新しいアイデアやアプローチを浴びることができたのは、エンジニアとしてラッキーな経験でした。このあと筆者もGoogle Scholarで論文を調べてはarXivからダウンロードし、iPadに入れて目を通すようになりました。こうして集めた材料を組み合わせることで、この世にまだないものをこれから作っていけたらと思います。

【関連リンク】

Helpfeel - どんな疑問も解決する革新的なFAQシステム