特集
» 2021年01月13日 13時00分 公開

AIが文豪になる日は来るのか? 「日本語特化汎用言語モデル」が描く世界

AIが人の創作と見分けがつかない文章を生成できることを証明したGPT-3の衝撃冷めやらぬ今、LINEとNAVERが「日本語特化汎用(はんよう)言語モデル」の共同開発を公表した。それはいったいどのようなものなのか、何を目指しているのか。現時点での到達点を取材した。

[土肥正弘,ドキュメント工房]

日本語特化汎用言語モデルとは?

 2020年10月、海外の人気掲示板(Reddit)に投稿された文章が、AI(人工知能)が作り出したものだと1週間見破られなかった事例が話題になった。その投稿文章を作り出したのが、OpenAI(人工知能研究の非営利団体)が開発した最新「汎用(はんよう)言語モデル」のGPT-3だ。この事例はOpenAIのプロジェクトとは無関係に不正にモデルを利用したものだったが、ほぼ同時期にGPT-3を利用した旨を注記した驚くほど流ちょうな英語の文章が複数公開され、自然言語を対象としたAI開発が新たな局面を迎えたことが明らかになった。

 LINEがNAVERと共同開発する「日本語特化汎用言語モデル」は、そのGPT-3開発に関する論文をベースにしながらも独自の技術開発により、同等以上の超巨大規模の日本語データを学習し、簡便な命令と例示(質問と回答)のみで目的に沿った文章、あるいはプログラムなどを生成可能にしようという取り組みだ。

自然言語での問いかけに適切に出力する「汎用言語モデル」

 ここでキーワードとなるのが「汎用言語モデル」と「超巨大規模の学習」という言葉だ。まず「汎用言語モデル」が意味するところを解説しよう。

 これまでAIチャットbotやコンタクトセンターの自動応答システムなどで、自然言語を理解し、質問などに応える音声や文章を自動生成(合成)しようという取り組みが進められてきた。そのためには、特定のテーマに関する質問と正解をひも付けて学習させ、適切にチューニングをした言語モデルが個別に必要なるが、そのテーマに沿った対話やサジェスチョンなどはある程度うまくできても、他の目的での利用には「分かりません」と応えるしかできない場合がほとんどだ。

 「汎用言語モデル」は、どのような目的でいかなる出力を求めるかを自然言語で問いかければ、問いかけの内容(コンテキスト)に沿って適切に出力することを目指すものだ。例えば、「この文章を要約せよ」とか「○○のような文章を記せ」「あの(特定)Webサイトのようなページを作れ」というように命令すれば、その目的に沿ってこなれた文章やプログラムを生成してくれる。そのように多様な目的に応用できるように、多種多様で膨大な言語データを学習した超巨大規模の言語モデルが「汎用言語モデル」である。特定の目的に沿って新たに学習やトレーニング、チューニングをする必要がなく、全てを単一のモデルで解決できるところが大きな注目ポイントだ。

目的特化型の言語モデルと汎用言語モデルのイメージ 図1 目的特化型の言語モデルと汎用言語モデルのイメージ(資料:LINE)

 現在のところまだ日本語利用サンプルが公開されていないのだが、LINEの開発者によると「Few Shot Learning」によって精度の高い文章生成が可能になるという。Few Shot Learningは、「○○と入力されたら△△と出力する」というような適切な(または不適切な)文章生成の例を入力すると、その例示の内容をAIが解釈して、○○ではなく□□と入力されても例示の内容に基づいて期待される出力を返す仕組みだ。処理の手順などを詳細に記述するのではなく、人間に仕事を頼むときと同様に「この場合だったらこうすればいい」と例示をするだけで、例示と異なる場合を提示されても柔軟に対応し、適切に処理してくれるというわけだ。

 GPT-3は別に文章の意味そのものを理解して文章を創造しているわけではないが、膨大な学習量と最新のアルゴリズムにより、統計的に適切と判断した単語の組み合わせによって意味のある文章を自然な形で提示してくれる。

Copyright © ITmedia, Inc. All Rights Reserved.

会員登録(無料)

ホワイトペーパーや技術資料、導入事例など、IT導入の課題解決に役立つ資料を簡単に入手できます。