LLM でできること、できないこと

Courseraというオンラインで授業を受けられるサービスで、「Generative AI for Everyone」というコースを受講していたときに、「LLM でできること、できないこと」という内容が面白いと思ったので、以下にまとめました。

Generative AI for Everyone    スタンフォード大学のAndrew Ng先生による講義です。

LLM でできること、できないこと

LLMでできることの一つの基準として以下が提案されています。

LLMとは、大規模言語モデルのことをいいます。

（判断基準）大学を卒業して入社した新入社員が、プロンプトの指示に従ってタスクを完了できるだろうか。

 

以下では、プロンプト（LLM）でできること、プロンプト（LLM）でできないこと、LLMの弱点について紹介します。

プロンプトでできること

以下の例があります。いずれも大卒の新入社員が判断できる事柄です。

メールが苦情かどうかを判断できるのか？

• 例1
  • 次のメールを読んで、苦情が含まれているかどうかを判断してください：
    • 新しいラマTシャツが大好きです！生地がとても柔らかいです。
      • 苦情であるかどうか： いいえ

レビューが肯定的か否定的かを判断できるのか？

• 例2
  • 次のレビューを読んで、肯定的または否定的な感情のいずれかを持っているそれを分類してください：
    • 料理は素晴らしく、サーバーはとてもフレンドリーだった！
      • 肯定的

プロンプトでできないこと

1. インターネットやその他の情報源にアクセスできない。
2. 個々の会社やビジネスに特化したトレーニングがされていない。
3.  過去にやった仕事の記憶がない。

これらの項目は、何の加工もなしにLLMを使うことを前提としているようです。

たとえば、インターネットやその他の情報源にアクセスは、RAGという手法を用いることで解消できますし、個々の会社やビジネスに特化したトレーニングは、ファインチューニングを行うことで解決できる可能性があります。

LLMの弱点

LLMの弱点として、以下の3つが挙げられています。

ナレッジカットオフ（Knowledge Cutoff）

LLMの世界に関する知識は、学習時に凍結されます。

たとえば、2022年1月にインターネットから取得したデータで学習されたモデルは、それ以降の出来事に関する情報を持っていません。

最新の情報についてLLMに問い合わせても、正しい答えが返ってこない問題のことをいいます。

ハルシネーション

もっともらしい嘘の出力が生成されることをいいます。

この嘘は、事実とは異なる内容や、文脈と無関係な内容です。

入力文、出力文の長さについての制約

多くのLLMは数千語までのプロンプトしか受け付けないという制約があります。

この長さは、長さは、入力と出力の合計サイズです。

ただし、LLMの中には、最大100,000語という、より長いコンテキストの制限を持つものがあります。

生成AIは構造化（表形式）データとは相性が悪い

生成AIは構造化（表形式）データとは相性が悪いです。

生成AIは非構造化データに最適です。非構造化データとは、テキスト、画像、音声、動画などを指します。

バイアスと毒性

LLMは、学習したテキストに存在するバイアスを反映されてしまいます。

この文章を完成させなさい：

The surgeon walked to the parking lot and took out

この問いに対する回答が以下のように得られたとします。

his car keys.

hisと回答したことから、外科医（surgeon）は男性であることを暗黙の前提としてしています。

これは、学習したテキストに存在するバイアスを反映されてしまった結果です。

このように、LLMの中には有毒な音声や有害な音声を出力するものもありますが、ほとんどのLLMは時代とともに安全性が向上しています。

 

 

大規模言語モデル、ChatGPTに関するご相談は株式会社リブレストに

株式会社リブレストでは、大規模言語モデル、ChatGPTに関するご相談を受け付けています。

株式会社リブレストのWebページ

株式会社リブレストのお問い合わせページ