過去問ドリル

大規模言語モデル(LLM)とは

大量のテキストで学習し、文章の続きを予測することで、自然な言語の生成や理解を行うモデル。

解説

大規模言語モデル(Large Language Model)は、膨大なテキストを学習し、「次に来る単語(トークン)」を予測する形で、文章の生成・要約・翻訳・質問応答などを行います。チャット形式で対話できるものが広く使われています。学習データに含まれない最新情報や、社内の非公開情報は知らないため、それらを扱うには外部情報を与える工夫(RAGなど)が必要です。

試験での出方

LLMの仕組み(次のトークンを予測)と、苦手なこと(最新情報・非公開情報・正確な計算)、それを補う手法が問われます。

あわせて読みたい用語

この用語が解説に出てくる問題