AIF-C01：AWS Certified AI Practitioner 生成 AI の基礎 問17
生成 AI の基礎／生成 AI の基本概念（トークン・埋め込み・基盤モデル・プロンプト）基盤モデルがテキストを処理する際の最小の単位で、単語やその一部（サブワード）に相当し、入力・出力の長さや課金の基準にもなるものを何と呼びますか。
当サイトのオリジナル問題（AIF-C01：AWS Certified AI Practitionerの出題範囲「生成 AI の基礎」に対応。実際の試験問題ではありません）
- A埋め込み（エンベディング）
- Bパラメーター
- Cトークン
- Dエポック
正解：C
解説
トークンは、基盤モデルがテキストを処理する際の最小単位で、単語やサブワード（単語の一部）に相当します。入力・出力の長さの上限（コンテキストウィンドウ）や、多くのサービスの課金もトークン数を基準とします。埋め込みは意味をベクトル化したもの、パラメーターはモデル内部の重み、エポックは学習の反復回数で、いずれも異なる概念です。
下線の用語は 用語集 で意味を確認できます。
選択肢ごとの解説
- A誤り。埋め込みはテキストの意味を数値ベクトルで表したもので、処理の最小単位そのものではありません。
- B誤り。パラメーターはモデル内部の重みの数を指し、テキスト処理の単位ではありません。
- C正しい。トークンは単語・サブワードに相当する処理の最小単位で、長さや課金の基準になります。
- D誤り。エポックは学習時にデータを反復する回数で、テキスト処理の単位ではありません。