AI-103：Developing AI Apps and Agents on Azure コンピューター ビジョン ソリューションの実装 問3
コンピューター ビジョン ソリューションの実装／マルチモーダルの責任あるAI社内向けの画像生成アプリを Foundry で提供します。従業員が入力するプロンプトと生成された画像に、暴力的・性的・自傷・ヘイトに該当する表現が含まれる場合、重大度に応じて遮断したい状況です。デプロイしたモデルに対して構成する機能として適切なものはどれですか。
当サイトのオリジナル問題（AI-103：Developing AI Apps and Agents on Azureの出題範囲「コンピューター ビジョン ソリューションの実装」に対応。実際の試験問題ではありません）
- APrompt Shields を有効にして、ジェイルブレイク攻撃を検出する
- B接地性（groundedness）検出を有効にして、応答が参照元の根拠に基づいているかを検出する
- Cガードレール（コンテンツフィルター）で有害コンテンツのカテゴリごとに重大度のしきい値を設定する
- D保護済みマテリアルの検出を有効にして、既存の著作物との一致を検出する
正解：C
解説
暴力・性的・自傷・ヘイトといった有害カテゴリを重大度で分類して遮断するのは、Foundry のガードレール（コンテンツフィルター）の役割です。カテゴリごとに重大度のしきい値を設定し、入力と出力の両方に適用できます。Prompt Shields や接地性検出、保護済みマテリアルの検出は、同じガードレール周辺の機能ですが、有害度の分類とは目的が異なります。
選択肢ごとの解説
- A誤り。Prompt Shields はモデルの動作を乗っ取ろうとする攻撃の検出が目的で、有害表現のカテゴリ分類ではありません。
- B誤り。接地性検出は、応答が参照した情報に基づいているかを見る機能で、有害な画像・表現の遮断とは関係ありません。
- C正しい。有害カテゴリごとにしきい値を設定するコンテンツフィルターが、要件の遮断を実現します。
- D誤り。保護済みマテリアルの検出は著作物との一致を扱う機能で、暴力や性的表現などの有害度は判定しません。