トークンとは
言語モデルが文章を処理する際の最小単位。単語や単語の一部に分割したもの。料金や上限の基準にもなります。
解説
大規模言語モデルは、文章をそのままではなく「トークン」という単位に分割して扱います。トークンは単語や、単語の一部、記号などに相当します。モデルが一度に扱えるトークン数には上限（コンテキストウィンドウ）があり、入力と出力を合わせてこの範囲に収める必要があります。クラウドの生成AIサービスは、処理したトークン数に応じて課金される形が一般的です。
試験での出方
トークンの意味、コンテキストウィンドウ（扱える上限）、トークン数が料金やコストに関わる点が問われます。
あわせて読みたい用語
この用語が解説に出てくる問題
- AI の概念と機能の識別 問6ある会社が、問い合わせメールの内容から、注文番号・希望日・商品名を決まった形式で抽出するために、生成AIモデルを呼び出…
- AI の概念と機能の識別 問7ある社員が、100 ページの規程文書をそのままプロンプトに貼り付けて、生成AIモデルに要約を依頼したところ、入力がモデ…
- AI の概念と機能の識別 問13ある社員が、チャット形式の生成AIアプリに長い質問を送ったところ、回答が画面に少しずつ流れるように表示されました。同じ…
- AI の概念と機能の識別 問14ある企業の開発チームが、Microsoft Foundry で生成AIモデルを試験的に使い、社内ツールの試作を行います…
- AI の概念と機能の識別 問15ある法務部門が、取引契約書の条項を読み、複数の条件が矛盾していないかを段階的に推論して、結論を出すアシスタントを作りま…