AWS AIF無料問題集です。正解と解説を確認する際は右側のボタンを押下してください。
問題集の完全版は以下Udemyにて発売しているためお買い求めください。問題集への質問はUdemyのQA機能もしくはUdemyのメッセージにて承ります。Udemyの問題1から10問抜粋しております。
多くの方にご好評いただき、講師評価 4.5/5.0 を獲得できております。ありがとうございます。
特別価格： 通常2,600円 → 1,500円
講師クーポン適用で42%OFF
AWS認定 AI Practitioner (AIF-C01) 模擬試験問題集
この資格を活かしたキャリア情報
AIF資格のキャリア
→AWS AIF-C01（AI Practitioner）合格後のキャリア：AI活用人材としての市場価値
AWS資格全体のキャリア活用法：
→ AWS資格は転職・キャリアアップでどう活きる？資格別市場価値と実体験
問題文：
ある企業は、需要予測に基づいて業務を最適化するために、四半期ごとに予測を作成しています。この企業では、予測を行うために機械学習（ML）モデルを使用しています。 あるAI実務担当者は、社内の関係者に対してモデルの透明性と説明可能性を示すために、トレーニング済みのMLモデルに関する報告書を作成しています。 透明性と説明可能性の要件を満たすために、この報告書に含めるべき内容は何でしょうか。
選択肢：
A. モデルの学習に使用したコードを報告書に記載します。
B. 部分依存プロット（PDP）を報告書に記載します。
C. 学習に使用したデータのサンプルを報告書に記載します。
D. モデルの収束表を報告書に記載します。
正解：B
A. モデルの学習に使用したコードを報告書に記載します。
不正解 学習用コードはモデルを実装したエンジニアが処理内容を確認するための技術資料であり、専門知識のない関係者に対して予測の根拠を分かりやすく伝える手段にはなりません。
B. 部分依存プロット（PDP）を報告書に記載します。
正解 部分依存プロットは、他の入力項目を固定したまま特定の入力項目だけを変化させたときに、予測結果がどのように変化するかをグラフで示すものです。専門知識がない関係者でも、どの項目が予測にどう影響しているかを視覚的に理解できるため、透明性と説明可能性の要件を満たします。
C. 学習に使用したデータのサンプルを報告書に記載します。
不正解 学習用データのサンプルはデータの内容や品質、偏りの有無を確認するための資料であり、モデルがどのような仕組みで予測を行っているかを非技術者に説明するものではありません。
D. モデルの収束表を報告書に記載します。
不正解 収束表は学習を繰り返す過程で予測の精度がどのように安定していくかを示す技術的な資料であり、非技術者へモデルの判断根拠を分かりやすく説明する目的には適していません。
全体的な説明
問われている要件
- この問題はMLモデルの透明性・説明可能性を確保するために報告書へ含めるべき情報を問う問題です。
- 技術者向けの実装資料と、非技術者にも伝わる説明手段を区別できるかが問われています。
前提知識
AI・機械学習の基礎用語について
- 説明可能性（Explainability）とは、モデルの判断根拠を明らかにして、非技術者にも理解できる形で示すことです。
- 特徴量（Feature）とは、モデルが予測を行う際に参照するデータの項目を指します。例として気温、在庫量、曜日などが挙げられます。
部分依存プロット（PDP）について
- 部分依存プロットとは、他の特徴量を固定した状態である1つの特徴量だけを変化させたときに、予測結果がどのように動くかを示すグラフです。
- Amazon SageMaker Clarifyという機能を使うと、学習済みのモデルから部分依存プロットを生成できます。専門知識のない関係者にも、モデルの挙動を視覚的に伝えられるため、規制対応や社内報告のためのモデルガバナンスレポートとしても活用できます。
報告書に含める情報の種類について
- 学習用コードや収束表は、エンジニアがモデルの実装内容や学習の進み方を確認するための技術資料であり、非技術者向けの説明には向きません。
- 学習用データのサンプルは、データの内容や品質を確認するための資料であり、モデルの予測の仕組みそのものを説明するものではありません。
図解
解くための考え方
この問題の核心は、報告書の読み手が技術に詳しくない社内のステークホルダーであるという点にあります。「透明性」「説明可能性」という言葉が出てきた場合、読み手が専門知識なしにモデルの動きを理解できる資料を選ぶ必要があります。 学習用コードは技術者にしか読み解けない実装の詳細であり、学習用データのサンプルはデータの品質確認のための資料であり、モデルの収束表は学習がどれだけ安定したかを示す技術的な指標であるため、いずれも非技術者への説明には適していません。 一方、部分依存プロットは特定の入力項目を変化させたときに予測結果がどう動くかを視覚的なグラフで示すため、専門知識がなくても直感的に理解できます。 問題文に「ステークホルダーへの説明可能性」「非技術者向けの報告書」というキーワードがあれば、部分依存プロットのような可視化ツールを選びます。また、問題文に「モデルの実装内容や学習過程の詳細」というキーワードがあれば、学習用コードや収束表のような技術資料を選びます。
参考資料
問題文：
ある地方の農業協同組合では、組合員から寄せられる栽培方法についての問い合わせに事務局が素早く回答できるよう、Amazon Bedrock上の大規模言語モデル(LLM)を使って回答文書の下書きを作成する仕組みを導入しようとしています。この組合がAmazon Bedrock上でLLMを安全に利用するには、どのような対策を取るべきですか。
選択肢：
A. プロンプトを明確かつ具体的に設計します。あわせて、AWS Identity and Access Management (IAM) のロールとポリシーを、必要な権限だけを与える最小権限アクセスの原則に基づいて設定します。
B. モデル評価ジョブを自動的に実行するために、AWS Audit Managerを有効にします。
C. Amazon Bedrockの自動モデル評価ジョブを有効にします。
D. Amazon CloudWatch Logsを使用して、モデルを説明可能にし、バイアスを監視します。
正解：A
A. プロンプトを明確かつ具体的に設計します。あわせて、AWS Identity and Access Management (IAM) のロールとポリシーを、必要な権限だけを与える最小権限アクセスの原則に基づいて設定します。
正解 プロンプトを明確に設計すると、モデルに何を答えてほしいかが伝わりやすくなり、意図しない出力や誤用を防げます。あわせてIAMロールとポリシーを最小権限で設定すれば、Bedrock上のモデルを呼び出せる利用者やシステムを必要最小限に絞り込めます。この二つの組み合わせが、LLMを安全に利用するための基本的な対策になります。
B. モデル評価ジョブを自動的に実行するために、AWS Audit Managerを有効にします。
不正解 AWS Audit Managerは、AWSの利用状況を継続的に監査してコンプライアンス要件への準拠状況を確認するためのサービスであり、モデルの評価ジョブを実行する機能は備えていません。
C. Amazon Bedrockの自動モデル評価ジョブを有効にします。
不正解 自動モデル評価ジョブは、複数のモデルの回答品質や精度を比較して用途に最も適したモデルを選ぶための機能であり、モデルへのアクセスを制御して安全に利用するための仕組みではありません。
D. Amazon CloudWatch Logsを使用して、モデルを説明可能にし、バイアスを監視します。
不正解 Amazon CloudWatch Logsはログを収集・保存するためのサービスであり、それ自体にモデルの判断根拠を説明したりバイアス（偏り）を検出したりする機能はありません。
全体的な説明
問われている要件
- この問題はAmazon Bedrock上でLLMを安全に利用するための基本対策を問う問題です。
- IAMによる最小権限アクセスとプロンプト設計が、なぜセキュリティ対策として機能するかの理解が問われます。
前提知識
Amazon Bedrockのセキュリティについて
- 大規模言語モデル(LLM)とは、大量の文章データを学習し、人間のような自然な文章を生成できるAIモデルのことです。社内の問い合わせ対応の下書きを自動で作ってくれるものです。
- IAM (AWS Identity and Access Management) とは、AWSの中で「誰が」「どのサービスに」「何をしてよいか」を管理する仕組みです。
- 最小権限アクセスとは、利用者やシステムに対して業務に本当に必要な権限だけを与える考え方です。権限を絞ることで、誤操作や不正利用が起きたときの被害範囲を小さくできます。
- プロンプトとは、LLMに対して与える指示文や質問文のことです。プロンプトを明確にするほどモデルの出力も安定します。
Amazon Bedrockのモデル評価機能について
- モデル評価ジョブとは、Amazon Bedrock上で複数の基盤モデルの回答を比較し、精度や品質の観点から用途に最も合うモデルを選ぶための機能です。この機能はモデル選定のための機能であり、アクセス権限を制御するものではありません。
AWSの監査・ログサービスについて
- AWS Audit Managerとは、AWSの利用状況を継続的にチェックし、社内規程や業界標準に沿った運用ができているかの証拠集めを自動化してくれるサービスです。
- Amazon CloudWatch Logsとは、AWS上のさまざまなサービスから出力されるログ(動作記録)を集めて保存・確認できるサービスです。あとから何が起きたかを振り返るのに使います。
- バイアス（偏り）とは、AIモデルの判断が特定の傾向に偏ってしまう性質のことです。ログを集めるだけでは、モデルの判断理由の説明やバイアスの検出はできません。
図解
解くための考え方
この問題の核は、Bedrock上でLLMを安全に利用するための対策が、モデルの性能を測る仕組みではなく、入力の設計とアクセス権限をコントロールする仕組みであるという点です。農業協同組合の事務局が問い合わせへの回答文書の下書き作成にLLMを使う場面を考えると、まず意図しない出力を防ぐには、モデルに何を答えてほしいかを明確に伝えるプロンプト設計が有効です。次に、誰がモデルを呼び出せるかを制御するにはIAMロールとポリシーによる最小権限アクセスが欠かせません。この二つを組み合わせた対策が、LLMをセキュアに利用する方法として最も適切です。一方、モデル評価ジョブはモデルの出力品質を比較するための機能であり、Audit Managerはコンプライアンス監査のためのサービスであり、CloudWatch Logsはログを収集するサービスであって、いずれもこの場面で求められているアクセス制御や入力設計そのものを行う仕組みではありません。問題文に「安全に利用したい」「セキュリティ」というキーワードがあればIAMの最小権限アクセスとプロンプト設計を選び、「モデルの精度や性能を比較したい」というキーワードがあればモデル評価ジョブを選び、「コンプライアンスへの準拠状況を確認したい」というキーワードがあればAudit Managerを選ぶという判断基準を覚えておくと役立ちます。
参考資料
問題文：
ある地方の観光協会では、管内の宿泊施設や観光スポットの利用実績を記録したデータベースに数テラバイトのデータを蓄積しています。この協会は、窓口業務を担当する事務職員が入力した日本語の文章から自動的にSQLクエリを組み立てられるAIアプリケーションを構築したいと考えています。事務職員はITシステムの操作経験がほとんどありません。 この要件を満たすソリューションはどれでしょうか。
選択肢：
A. 生成事前学習済みトランスフォーマー（GPT）
B. 残差ニューラルネットワーク
C. サポートベクターマシン
D. WaveNet
正解：A
A. 生成事前学習済みトランスフォーマー（GPT）
正解 GPTは大量の文章データから学習した生成AI（新しい文章を作り出せるAIのこと）であり、人が書いた日本語の依頼内容を理解したうえで、SQLクエリのような構造化された文章に変換する処理を得意とします。事務職員がふだんの言葉で依頼を入力するだけでデータベースへの問い合わせ文を作成できるため、ITの知識がなくても使えるという要件に合致します。
B. 残差ニューラルネットワーク
不正解 残差ニューラルネットワークは画像分類や物体検出など画像認識向けに設計された深層学習モデルであり、日本語の文章からSQLクエリを新しく作り出す処理には向いていません。
C. サポートベクターマシン
不正解 サポートベクターマシンはデータをグループ分けしたり数値を予測したりする教師あり学習の手法であり、新しい文章を生成する仕組みを持たないためSQLクエリの自動生成には利用できません。
D. WaveNet
不正解 WaveNetはテキストを人間のような音声に変換する音声合成向けの生成モデルであり、テキストからSQLクエリという別の文章形式を作り出す用途には対応していません。
全体的な説明
問われている要件
- この問題は、目的に応じた生成AI・機械学習モデルの使い分けを問う問題です。
- 事務職員が入力した日本語の文章を、SQLクエリという構造化された文章に変換できるモデルを選ぶ必要があります。
前提知識
生成AIの基礎について
- GPT（Generative Pre-trained Transformer、生成事前学習済みトランスフォーマー）とは、大量の文章データから学習した生成AI（人間のように新しい文章を作り出せるAIのこと）の一種です。人の言葉による依頼を理解し、求められた形式の答えを新しく作り出します。文章の翻訳や要約に加えて、プログラムのコードやSQLクエリのような構造化された文章を作る作業にも活用できます。
画像・音声を扱う生成モデルについて
- 残差ニューラルネットワーク（ResNet、多層構造の中に「近道」の経路を組み込んだ深層学習モデル）とは、写真に写っているものが何かを判定する画像認識向けに開発されたモデルです。観光スポットの写真から建物の種類を自動判定するような場面で使われ、文章を新しく作る用途には向きません。
- WaveNetとは、文章を自然な話し声に変換する音声合成向けの生成モデルであり、Amazon Pollyのニューラルテキスト読み上げ機能の技術基盤としても利用されています。案内放送の原稿を自動音声で読み上げるような場面で使われます。
伝統的な機械学習モデルについて
- サポートベクターマシン（SVM、データを最もよく分ける境界線を見つける分類手法）とは、与えられたデータを複数のグループに分けたり数値を予測したりする教師あり学習（正解付きのデータから規則を学ぶ学習方法）の手法です。郵便物を宛先地域ごとに仕分けるように「これはAグループ、これはBグループ」と判定する用途に使われ、新しい文章を生み出す仕組みは持ちません。
図解
解くための考え方
この問題の核心は、テキストを別の形式のテキストに変換できる生成AIモデルを選べるかどうかです。観光協会の事務職員は専門的なデータベース操作の知識を持たないため、日本語の依頼文をSQLクエリという別の文章形式に変換してくれるモデルが必要になります。 まずサポートベクターマシンは分類や数値予測を行うモデルであり、新しい文章を作り出す仕組みを持たないため候補から外れます。次に残差ニューラルネットワークは画像認識のために設計されたモデルであり、写真や映像を扱う用途には適していても、テキストからテキストへの変換作業には使えません。同様にWaveNetは音声を生成するモデルであり、文章の読み上げには向いていてもSQLクエリの生成という要件には合致しません。 残るGPTは、人の言葉で書かれた依頼内容を理解し、要求された形式の文章を新しく作り出せる生成AIモデルであり、日本語の文章からSQLクエリを生成するという要件にちょうど当てはまります。 問題文に「自然言語の文章からSQLクエリのような別の文章形式を作りたい」というキーワードがあればGPTのような生成AI（大規模言語モデル）を選び、「画像に写っているものを認識したい」というキーワードがあれば残差ニューラルネットワークのような画像認識モデルを選び、「テキストを音声に変換したい」というキーワードがあればWaveNetのような音声合成モデルを選ぶという整理をしておくと、他の問題にも応用できます。
参考資料
問題文：
地方の電力会社のコールセンターでは、停電や料金に関する顧客からの問い合わせにオペレーターが電話で対応しています。この電力会社は、大規模言語モデル(LLM)を活用した質問応答チャットボットを導入し、オペレーターが顧客からの問い合わせに回答する際に行う操作(アクション)の回数を減らしたいと考えています。このLLMチャットボット導入の効果を測定するには、どのビジネス目標を使用すればよいですか。
選択肢：
A. ウェブサイトのエンゲージメント率
B. 平均通話時間
C. 企業の社会的責任(CSR)
D. 規制遵守(コンプライアンス)
正解：B
A. ウェブサイトのエンゲージメント率
不正解 ウェブサイトのエンゲージメント率はWebサイトの訪問者がどれだけサイト内で閲覧や操作を行ったかを示す指標であり、電話によるコールセンター対応の効率化を測定するものではありません。
B. 平均通話時間
正解 オペレーターが問い合わせ対応時に行う操作の回数が減れば、1件の電話対応にかかる時間も短くなると考えられます。平均通話時間は電話でのやり取りにかかる時間の平均を示す指標であり、この電力会社が目指す業務効率化の効果を直接的に測定できるため、評価指標として適切です。
C. 企業の社会的責任(CSR)
不正解 企業の社会的責任(CSR)は企業が社会や環境に対して果たす取り組みを示す考え方であり、チャットボット導入によるコールセンター業務の効率化の効果とは直接関係しません。
D. 規制遵守(コンプライアンス)
不正解 規制遵守(コンプライアンス)は法令や業界規則を守れているかどうかを示す指標であり、オペレーターの対応時間短縮という業務効率化の効果を測定するものではありません。
全体的な説明
問われている要件
- この問題は、AI導入の目的に合ったビジネス目標(KPI)を選ぶ力を問う問題です。
- コールセンターの業務効率化という目的と、それを測定する指標との結び付きが問われています。
前提知識
AI・機械学習の基礎用語について
- LLM(大規模言語モデル)とは、大量の文章データから言葉の使い方を学習し、質問に対して自然な文章で回答を生成できるAIモデルです。
- チャットボットとは、LLMなどのAIを使って、人からの質問にリアルタイムで自動応答する仕組みのことです。コールセンターのQ&A対応など、幅広い場面で活用されています。
AI導入の効果を測るビジネス指標について
- ビジネス目標(KPI)とは、AIを導入したことでどれだけ成果が出たかを数値で確認するための指標です。
- 平均通話時間は、1件の電話対応にかかる時間の平均を示す指標です。オペレーターの対応が効率化されれば、この時間は短くなる傾向にあります。
- ウェブサイトのエンゲージメント率、企業の社会的責任(CSR)、規制遵守(コンプライアンス)は、それぞれWebサイトの閲覧行動、社会貢献活動、法令順守の状況を示す指標であり、電話対応の効率化を直接測定するものではありません。
図解
解くための考え方
この問題の核心は、AI導入プロジェクトの目的と、それを測定するビジネス指標(KPI)を正しく結び付けることです。この電力会社が目指しているのは、オペレーターが問い合わせ対応時に行う操作の回数を減らすことであり、これは1件の電話対応にかかる時間の短縮に直結します。したがって、電話対応の所要時間を示す平均通話時間が、この施策の効果を最も直接的に測定できる指標となります。ウェブサイトのエンゲージメント率はWebサイトの閲覧行動を測る指標であり、今回のような電話対応の効率化とは結び付きません。企業の社会的責任(CSR)や規制遵守(コンプライアンス)も、社会貢献や法令順守を示す指標であり、業務効率化の効果測定には使えません。問題文に「対応時間を短縮したい」「対応にかかる手間を減らしたい」といったキーワードがあれば、平均通話時間のような業務効率を直接示す指標を選ぶという考え方を覚えておくとよいでしょう。
参考資料
問題文：
地方自治体が運営する公立図書館では、来館者アンケートの自由記述欄に書かれた感想文をもとに、利用者がサービスに対してどのような感情を抱いているかを分析する仕組みを構築しようとしています。図書館の広報を担当する職員は、集まった感想文から好意的な意見と改善を求める意見を自動的に判別し、今後のサービス改善に役立てたいと考えています。この要件を満たすAWSサービスはどれですか。（2つ選択）
選択肢：
A. Amazon Lex
B. Amazon Comprehend
C. Amazon Polly
D. Amazon Bedrock
E. Amazon Rekognition
正解：B、D
A. Amazon Lex
不正解 Amazon Lexは音声やテキストを使った会話型インターフェース、いわゆるチャットボットや音声アシスタントを構築するためのサービスであり、書かれた文章から感情を判定する機能はありません。
B. Amazon Comprehend
正解 Amazon Comprehendは、自然言語処理（NLP、人間が使う言葉をコンピューターに理解させ分析させる技術）を専門に行うサービスです。文章を渡すだけで好意的、否定的、中立、混在という感情を自動的に判定する機能を最初から備えているため、感想文の分析にそのまま活用できます。
C. Amazon Polly
不正解 Amazon Pollyは入力した文章を人の声のような自然な音声に変換する音声合成サービスであり、感想文に書かれた感情そのものを分析したり判定したりする機能は備えていません。
D. Amazon Bedrock
正解 Amazon Bedrockは、文章の生成や分類など幅広い作業をこなせる基盤モデル（FM、大量の文章を学習した汎用的なAIモデル）をAPI経由で呼び出せるサービスです。感想文を入力し、好意的か改善要望かを判定するよう指示するプロンプト（AIへの指示文）を与えることで、感情分析にも活用できます。
E. Amazon Rekognition
不正解 Amazon Rekognitionは画像や動画に写っている物体や人物、表情などを認識するサービスであり、書かれた文章そのものから感情を判定する機能はありません。
全体的な説明
問われている要件
- この問題は、文章から感情を判定するAWSサービスを選ぶ力を問う問題です。
- 対象は音声や画像ではなく書かれた文章である点がポイントです。
- 専用の感情分析機能と基盤モデル活用の両方を理解しているか問われます。
前提知識
AWSのAIサービスの使い分けについて
- Amazon Comprehendは、文章を分析して感情や重要な単語、人物名や地名などを自動的に抽出する自然言語処理（NLP）専門のサービスです。感情を判定する機能が最初から備わっているため、感想文やアンケートの分析に向いています。
- Amazon Lexは、音声やテキストを使った会話型インターフェース、いわゆるチャットボットや音声アシスタントを構築するためのサービスです。利用者の発話や入力から意図を読み取り会話を成立させることが目的で、文章の感情を判定する機能はありません。
- Amazon Pollyは、入力した文章を人の声のような音声に変換する音声合成サービスです。案内放送や読み上げ機能に向いていますが、感情を分析する機能はありません。
- Amazon Rekognitionは、画像や動画に写っている物体や人物、表情などを認識するコンピュータービジョン（画像や映像の内容をコンピューターに理解させる技術）のサービスです。写真の中の表情から感情を読み取ることはできますが、文章そのものを分析することはできません。
生成AIとAmazon Bedrockについて
- 基盤モデル（FM）は、大量の文章などを学習した汎用的なAIモデルであり、文章生成や分類、要約など幅広い作業をこなせます。
- プロンプトを工夫することで、基盤モデルに感情分析のようなさまざまな作業をさせることができます。
- Amazon Bedrockは、様々な会社の基盤モデルをAPI経由で呼び出せるフルマネージド（AWS側がサーバーの管理などを代行してくれること）サービスです。感想文を入力し、感情を判定するよう指示するプロンプトを与えることで、感情分析のようなタスクにも柔軟に対応できます。
図解
解くための考え方
この問題の核心は、書かれた文章から感情を判定するという要件に対して、あらかじめ感情分析機能を持つサービスと、指示文次第で同じ処理を実現できる基盤モデルのサービスを見分けることです。公立図書館の来館者アンケートの自由記述欄という文章データが題材になっているため、まず文章を扱えるサービスに絞り込みます。音声を音声に変換するAmazon Pollyや、画像・動画を扱うAmazon Rekognitionは対象外です。次に、会話を成立させることが目的のAmazon Lexも、感情を判定する機能ではないため除外できます。残るAmazon ComprehendとAmazon Bedrockのうち、Comprehendは感情分析機能をそのまま呼び出せる専用サービスであり、Bedrockはプロンプトで指示することで同じ結果を得られる基盤モデルのサービスであり、どちらも要件を満たします。問題文に「感想文から感情を判定したい」というキーワードがあればAmazon Comprehendを選び、文章に対して柔軟な指示で判定させたい場合はAmazon Bedrockを選ぶとよいです。
参考資料
問題文：
地域のプロサッカークラブの運営事務局で広報を担当するあなたは、新しく開設したファン交流サイトに投稿されるコメントを、大規模言語モデル(LLM)を使って自動でモデレーション(内容審査)する仕組みを導入しようとしています。このLLMによるモデレーション結果に、特定の集団や個人に対する偏った判断(バイアス)や差別が含まれていないかを評価したいと考えています。最も管理の手間が少ない方法でLLMの出力を評価するには、どのデータソースを使用すればよいですか。
選択肢：
A. ファンが投稿したコメント
B. モデレーションログ
C. コンテンツモデレーションガイドライン
D. ベンチマークデータセット
正解：D
A. ファンが投稿したコメント
不正解 実際にファンが投稿したコメントは日々増え続ける生データであり、そこから偏りを見つけ出すには自分たちで大量の内容を収集し、分類やラベル付けを行う手間が継続的にかかってしまいます。
B. モデレーションログ
不正解 モデレーションログはLLMが過去に下した判断結果の記録にすぎず、そこから偏りを見つけ出すには自分たちで分析の観点を設計し、継続的にログを集めて整理する手間がかかります。
C. コンテンツモデレーションガイドライン
不正解 コンテンツモデレーションガイドラインは審査の判断基準をまとめた文書であり、LLMが実際に出した判断結果そのものではないため、これだけでは偏りの有無を評価できません。
D. ベンチマークデータセット
正解 ベンチマークデータセットは、特定の集団や属性に対する偏りや差別の有無をあらかじめ想定して作られた、専門家によって用意済みのデータ集です。自社でデータを集めたりラベル付けしたりする手間をかけずにそのまま評価に使えるため、最も管理の手間が少ない方法といえます。
全体的な説明
問われている要件
- この問題は、LLMの出力を評価するためのデータソースの使い分けを問う問題です。
- 偏りの検出において、準備の手間が最も少ない方法を選べるかがポイントです。
前提知識
生成AIの評価に使うデータについて
- ベンチマークデータセット: モデルの性能や偏りを測定するために、あらかじめ専門家が用意した比較用のデータ集のことです。
- ファンが投稿したコメント: 利用者が実際に書き込んだ文章などの生データです。日々増え続けるため、集めて分類するだけでも継続的な手間がかかります。
- モデレーションログ: システムが過去に下した判断結果を記録したものです。そこから偏りを調べるには、自分たちで分析の観点を考えて読み解く作業が必要になります。
- コンテンツモデレーションガイドライン: 審査の判断基準をまとめた社内文書のことです。判断の物差しであって、実際の出力結果そのものではありません。
責任あるAIとバイアスについて
- モデレーション: 投稿や生成内容が不適切でないかを審査する処理のことです。
- バイアス(偏り): 特定の集団や個人に対してAIが不公平な判断をしてしまう性質のことです。
- 公平性の評価: モデルの出力があらゆる属性の人に対して偏りなく行われているかを確認する取り組みのことです。
評価を支援するAWSサービスについて
- Amazon Bedrockのモデル評価: あらかじめ用意された評価用データセットを使って、複数の基盤モデル(生成AIの土台となる大規模モデル)の精度や偏りなどを比較できる機能です。
- Amazon SageMaker Clarify: 機械学習モデルの学習データや予測結果に含まれる偏りを検出し、分かりやすいレポートにまとめてくれる機能です。
図解
解くための考え方
この問題の核心は、LLMの出力を評価する際にどのデータソースが最も準備の手間をかけずに使えるかを見極めることです。ファン交流サイトの運営担当者は、既に存在するファンの投稿やモデレーションログを使うこともできますが、これらは実際に集めたり分析したりする作業が発生し続けるため、手間がかかります。またコンテンツモデレーションガイドラインは判断の基準を示す文書であり、LLMの出力結果そのものを評価する材料にはなりません。一方でベンチマークデータセットは、偏りや差別を検出する目的であらかじめ専門家によって作られており、そのまま評価に使えるため、追加の準備作業がほとんど発生しません。このように、すでに完成した形ですぐ使えるデータかどうかに着目すると正解が絞り込めます。問題文に「最も管理の手間が少ない」「あらかじめ用意された」というキーワードがあれば、ベンチマークデータセットを選びます。また「偏りや差別の検出」というキーワードがあれば、責任あるAIの評価に関する選択肢を優先して検討します。
参考資料
問題文：
地方にある水族館の教育担当スタッフは、来館者が生き物について自然な言葉で質問すると、その質問に関連する画像を返信するチャットボットを新しく開発しました。この水族館は、チャットボットが不適切な画像や好ましくない画像を返さないようにしたいと考えています。 これらの要件を満たすソリューションはどれでしょうか。
選択肢：
A. モデレーションAPIを導入します。
B. 一般に公開されているデータセットを使用してモデルを再学習します。
C. モデルの検証を行います。
D. ユーザーからのフィードバックの統合を自動化します。
正解：A
A. モデレーションAPIを導入します。
正解 モデレーションAPIを導入すると、チャットボットが来館者に画像を返す直前に、その画像の内容を自動で確認し、不適切な要素が含まれていないかを判定できます。問題がある画像は表示される前にブロックできるため、要件を満たします。
B. 一般に公開されているデータセットを使用してモデルを再学習します。
不正解 モデルの再学習は、学習に使うデータを入れ替えてモデル自体の振る舞いを作り直す作業であり、返信のたびに個々の画像の内容を確認して不適切なものを除外する仕組みではないため、要件を満たしません。
C. モデルの検証を行います。
不正解 モデルの検証は、完成したモデルの精度や性能があらかじめ求める水準に達しているかを評価する作業であり、稼働後に個々の画像の内容をその場で確認して除外する仕組みではないため、要件を満たしません。
D. ユーザーからのフィードバックの統合を自動化します。
不正解 ユーザーフィードバックの統合は、画像が既に来館者に表示された後の感想や指摘をもとに改善へつなげる仕組みであり、不適切な画像が表示される前にそれを防ぐことはできないため、要件を満たしません。
全体的な説明
問われている要件
- この問題は、画像を返すチャットボットの出力から不適切なコンテンツを取り除く方法を問う問題です。
- 画像が来館者に届く前にその内容をその場で確認し、不適切なものを自動的にブロックできる仕組みが求められています。
前提知識
チャットボットと画像の出力について
- チャットボットとは、自然言語で入力された質問に対して自動で応答を返す仕組みです。文章だけでなく、質問の内容に関連する画像を返すものもあります。
- このような仕組みでは、返す画像の内容があらかじめ管理されていないと、意図しない不適切な画像がそのまま来館者に届いてしまう恐れがあります。
コンテンツモデレーション（Content Moderation、コンテンツ内容の確認）について
- コンテンツモデレーションとは、画像・文章・動画などの内容を自動的に確認し、不適切なものや有害なものを検出して除外する仕組みです。
- Amazon Rekognitionにはコンテンツモデレーション機能があり、画像や動画に含まれる暴力的、性的、不快な内容を機械学習によって自動的に検出できます。判定結果をもとに、利用者に届ける前に該当する画像をブロックできます。
- Amazon Bedrock Guardrailsも、生成AIの入力や出力に含まれる有害なテキストや画像コンテンツを検出し、フィルタリングする仕組みを提供しています。
モデルの再学習・検証・フィードバックとの違いについて
- モデルの再学習とは、学習に使うデータを変更してモデルの振る舞い自体を作り直す作業です。時間とコストがかかり、返信ごとの内容確認には使えません。
- モデルの検証とは、完成したモデルの精度や性能があらかじめ求める水準に達しているかを評価する作業であり、稼働中に個々の出力を確認する仕組みではありません。
- ユーザーフィードバックの統合とは、利用者から寄せられた感想や指摘をもとにサービスを改善していく仕組みであり、問題が起きた後に気づく事後対応にとどまります。
解くための考え方
この問題の核は、画像を利用者に届ける前に、その内容をその場で自動確認して不適切なものを排除できる仕組みはどれかを見極めることです。 水族館のチャットボットは来館者からの質問に対して生き物の画像を返しますが、返す前に内容を確認する仕組みがなければ、意図しない不適切な画像がそのまま表示されてしまいます。 モデルの再学習は学習データを入れ替えてモデルの振る舞いを作り直す作業であり、個々の返信を都度確認するものではありません。 モデルの検証は、公開前にモデルの精度や性能を評価する作業であり、稼働中の個々の出力を管理する仕組みではありません。 ユーザーフィードバックの統合は、画像が既に表示された後の事後的な改善にしか使えず、表示前に防ぐことはできません。 これに対してモデレーションAPIは、画像の内容を自動で判定し、不適切なものを表示前にブロックできるため、この要件に合致します。 問題文に「不適切な画像を返さないようにしたい」というキーワードがあればモデレーションAPIの導入を選びます。 問題文に「学習済みモデルの精度をあらかじめ評価したい」というキーワードがあればモデルの検証を選びます。 問題文に「利用者の声をもとにサービスを改善したい」というキーワードがあればユーザーフィードバックの統合を選びます。
参考資料
問題文：
複数の企業から特許出願の支援を請け負う地方の特許事務所が、Amazon Bedrockの基盤モデルを使ってチャットボットを構築し、大量の特許明細書データベースから質問への回答を検索できるようにしました。 事務所のスタッフが何度もプロンプトを工夫して試しましたが、特許明細書に含まれる複雑な専門用語が原因で、基盤モデルの回答精度が低いままです。 チャットボットの性能を改善するには、どうすればよいですか。
選択肢：
A. Few-shotプロンプティングを使用して、基盤モデルの回答方法を定義します。
B. ドメイン適応ファインチューニングを使用して、基盤モデルを複雑な専門用語に適応させます。
C. 基盤モデルの推論パラメータを変更します。
D. 特許明細書データから複雑な専門用語を取り除いてクリーニングします。
正解：B
A. Few-shotプロンプティングを使用して、基盤モデルの回答方法を定義します。
不正解 Few-shotプロンプティングはプロンプトの中に回答例を示して形式や方針を伝える手法であり、モデル自体が持たない専門用語の知識を補うものではありません。事務所は既にプロンプトの工夫を重ねており、この方法では改善が見込めません。
B. ドメイン適応ファインチューニングを使用して、基盤モデルを複雑な専門用語に適応させます。
正解 ドメイン適応ファインチューニングは、特定分野の文書データを使って基盤モデルに追加の学習をさせる手法です。特許明細書のような専門用語を含むデータで学習させることで、モデルがその分野特有の語彙や表現を理解できるようになり、プロンプトの工夫だけでは解決できなかった回答精度の低さを根本的に改善できます。
C. 基盤モデルの推論パラメータを変更します。
不正解 推論パラメータは生成される文章の多様性やランダム性、長さなどを調整するための設定値であり、temperatureやtop-pといった値を変更するものです。これらを変更しても、モデルが専門用語をどれだけ理解しているかという知識量そのものは変わりません。
D. 特許明細書データから複雑な専門用語を取り除いてクリーニングします。
不正解 特許明細書データから複雑な専門用語を取り除くと、データの量や質は変わりますが、質問に答えるために必要な情報自体が失われてしまいます。その結果、チャットボットは元の文書に基づいた適切な回答をますます返せなくなってしまいます。
全体的な説明
問われている要件
- この問題は、モデルの知識不足をどの手法で解決すべきかを問う問題です。
- プロンプトの工夫を既に何度も試した後でも改善しない、専門用語への対応力不足という状況に合う解決策を選ぶ必要があります。
前提知識
生成AIの基礎について
基盤モデル（Foundation Model、FM）とは、大量のデータで事前に学習された汎用的なAIモデルです。特定の分野に特化していないため、専門分野特有の用語や言い回しの理解が弱いことがあります。
プロンプトエンジニアリングとは、モデルへの指示文であるプロンプトの書き方を工夫して、望む回答を引き出す技術です。モデル自体が持つ知識を追加するものではありません。
Few-shotプロンプティングとは、プロンプトの中にいくつかの回答例を示すことで、モデルに望ましい回答の形式や方針を伝える手法です。
モデルのカスタマイズ手法について
ファインチューニングとは、基盤モデルに追加のデータで学習を行わせ、モデル自体のパラメータ（重み）を調整する手法です。
ドメイン適応ファインチューニングとは、特定の専門分野の文書データを使ってファインチューニングを行い、モデルにその分野特有の用語や知識を習得させる手法です。医療、法律、金融などの専門用語に対応させたい場合に使われます。
推論パラメータとは、モデルが回答を生成する際の文章の多様性や長さなどを調整する設定値です。temperatureやtop-pなどが含まれ、モデルが既に持つ知識量そのものを変えるものではありません。
データの取り扱いについて
学習・参照データのクリーニングとは、誤りや不要な情報を取り除いてデータの品質を高める作業です。ただし、回答に必要な情報まで取り除いてしまうと、正しい回答ができなくなります。
図解
解くための考え方
この問題の核は、プロンプトの工夫だけでは補えないモデル自体の知識不足を、どの手法で解決するかという点にあります。 特許事務所のスタッフは既に何度もプロンプトエンジニアリングを試みており、それでも専門用語への対応が改善しなかったという状況です。 つまり、プロンプトの書き方を変える手法は既に効果がなかったものとして除外して考える必要があります。 推論パラメータの変更は、生成される文章の多様性や長さを調整するだけで、モデルが専門用語をどれだけ知っているかには関係しません。 またデータから専門用語そのものを取り除いてしまうと、回答に必要な情報が失われ、かえって精度が落ちてしまいます。 残るのは、専門分野の文書データを使ってモデル自体に追加学習をさせる方法であり、これによってモデルが専門用語の意味や使われ方を学習できるようになります。 問題文に「プロンプトエンジニアリングを何度も試したが改善しない」「専門用語の理解が課題」というキーワードがあれば、ドメイン適応ファインチューニングを選ぶと覚えておくとよいです。
参考資料
問題文：
ある地域の非営利団体は、学生向け奨学金プログラムの応募書類をPDF形式で受け付けています。プログラムの認知度向上に伴い応募件数が増加しており、事務局スタッフによる手作業での確認だけでは対応しきれなくなることが見込まれています。この団体は、PDF形式の応募書類をプレーンテキスト形式に自動変換し、後続の処理に活用できる仕組みを必要としています。
この要件を満たすAWSサービスはどれですか。
選択肢：
A. Amazon Textract
B. Amazon Personalize
C. Amazon Lex
D. Amazon Transcribe
正解：A
A. Amazon Textract
正解 PDFなどの文書ファイルや画像からテキストやフォーム、表のデータを自動的に抽出できるサービスです。手書き文字の認識にも対応しており、大量のPDF書類をテキストデータ化して後続の処理に活用したいという今回の要件に合致します。
B. Amazon Personalize
不正解 Amazon Personalizeは利用者の行動履歴を基におすすめ情報を生成するサービスであり、PDF文書からテキストを抽出する機能は備えていません。
C. Amazon Lex
不正解 Amazon Lexは音声やテキストによる会話型のチャットボットや音声応答システムを構築するサービスであり、PDF文書をテキストに変換する機能はありません。
D. Amazon Transcribe
不正解 Amazon Transcribeは音声データをテキストに変換する音声認識サービスであり、処理対象がPDFなどの文書ではなく音声であるため、今回の要件には合致しません。
全体的な説明
問われている要件
- この問題はPDF形式の文書をテキストデータに変換するという要件に対応するAWSサービスを選ぶ問題です。
- 応募書類の件数増加という業務量の変化に対応するための自動化という観点も含まれます。
前提知識
AWSのAIサービスの使い分けについて
- Amazon Textract: 文書画像やPDFファイルからテキストや表、フォームのデータを自動的に抽出するサービスです。手書き文字の認識にも対応しており、光学式文字認識（OCR、画像内の文字をテキストデータに変換する技術）の仕組みを活用します。書類の内容をテキストデータ化して後続の処理に使いたい場合に利用します。
- Amazon Personalize: 利用者の行動履歴を基に、商品や記事などのおすすめ情報を生成するサービスです。ウェブサイトやアプリでの表示内容を利用者ごとに最適化したい場合に利用します。
- Amazon Lex: 音声やテキストによる自然な会話のやり取りを実現するチャットボットや音声応答システムを構築するサービスです。自然言語理解の技術を使用します。
- Amazon Transcribe: 音声データを自動的にテキストに変換する音声認識サービスです。会議や通話の録音内容を文字起こししたい場合に利用します。
図解
解くための考え方
この問題の核は、PDF形式の書類からテキストを抽出するという要件に合致するAWSサービスを選べるかという点です。奨学金の応募書類はPDF形式で提出されており、これをプレーンテキストに変換して後続の処理に利用したいという要件になっています。Amazon Personalizeはおすすめ情報を生成するサービスであり、文書からテキストを取り出す機能は持っていません。Amazon Lexは会話型のチャットボットや音声応答システムを構築するサービスであり、PDF文書の処理とは無関係です。Amazon Transcribeは音声データをテキストに変換するサービスであり、処理対象が音声である点でPDF文書の処理とは異なります。一方でAmazon Textractは、PDFや画像形式の文書からテキストやフォーム、表のデータを自動的に抽出できるサービスであり、この問題の要件に合致します。問題文に「PDFなどの文書からテキストを抽出したい」というキーワードがあればAmazon Textractを選びます。問題文に「音声をテキストに変換したい」とあればAmazon Transcribeを選びます。問題文に「おすすめ情報を生成したい」とあればAmazon Personalizeを選びます。
参考資料
問題文：
地域の観光協会で働く広報担当者が、観光スポットの紹介文を作成するために、Amazon Bedrock上でホストされているベースモデルに対してfew-shotプロンプティングを使用しています。プロンプトには10個の例文が含まれています。このモデルは1日に1回呼び出されており、良好な結果を出しています。協会はこの運用にかかる月額費用を削減したいと考えています。
この要件を満たすソリューションはどれですか。
選択肢：
A. モデルをファインチューニングによってカスタマイズする。
B. プロンプト内のトークン数を減らす。
C. プロンプト内のトークン数を増やす。
D. Provisioned Throughputを使用する。
正解：B
A. モデルをファインチューニングによってカスタマイズする。
不正解 ファインチューニングは独自のデータでモデルを追加学習させてカスタマイズする手法です。学習処理自体に別途費用がかかるうえ、1日1回のみの呼び出しでは投資に見合う効果が得られず、月額費用の削減にはつながりません。
B. プロンプト内のトークン数を減らす。
正解 Amazon Bedrockのオンデマンド利用では、呼び出しごとに入力と出力のトークン数に応じて料金が発生します。プロンプトに含める例文の数を絞るなどしてトークン数を減らせば、モデルの性能を維持したまま呼び出しごとの料金を下げられるため、1日1回の呼び出し頻度でも月額費用を確実に削減できます。
C. プロンプト内のトークン数を増やす。
不正解 プロンプト内のトークン数を増やすと、1回の呼び出しで処理される入力トークンの量が増えるため、料金はむしろ上昇します。月額費用を削減するという要件には反しています。
D. Provisioned Throughputを使用する。
不正解 Provisioned Throughputは、一定の処理能力を1か月や6か月単位の契約であらかじめ確保する方式です。1日1回程度の低い呼び出し頻度ではオンデマンド利用より割高になり、月額費用の削減にはつながりません。
全体的な説明
問われている要件
- この問題はAmazon Bedrockの料金構造とプロンプトの工夫による費用削減方法を問う問題です。
- 観光協会が行っているfew-shotプロンプティングにおいて、性能を維持したまま月額費用を下げる方法を問うています。
前提知識
生成AIの基礎用語について
- few-shotプロンプティング（少数の例を示すプロンプト設計）とは、模範となる入力と出力の例をいくつかプロンプトに含めることで、モデルに望ましい出力の形式を示す手法です。例の数が多いほどプロンプト全体は長くなります。
- トークン（Token、文章を分割した処理単位）とは、AIモデルが文章を処理する際の最小の単位です。Amazon Bedrockのオンデマンド利用では、1回の呼び出しごとに入力と出力のトークン数に応じて料金が発生します。
- ベースモデル（基盤モデル）とは、大量のデータであらかじめ学習された汎用のAIモデルのことです。追加の学習をしなくても、プロンプトの工夫だけでさまざまなタスクに対応できます。
Amazon Bedrockの料金体系について
- オンデマンドモードは、モデルを呼び出すたびに処理したトークンの量に応じて料金が発生する従量課金の方式です。呼び出しの頻度が低い場合や変動する場合に向いています。
- Provisioned Throughputとは、一定の処理能力をあらかじめ確保し、1か月や6か月といった契約期間の単位で料金を支払う方式です。安定して大量の呼び出しが続く場合にコスト面で有利になります。
モデルのカスタマイズ方法について
- ファインチューニング（追加データによるモデルの再学習）とは、独自の学習データを使ってベースモデルのパラメータ自体を調整し、特定のタスクに適応させる手法です。学習データの準備や学習処理そのものに別途費用がかかります。
- プロンプトエンジニアリングとは、モデルを再学習させずに、プロンプトの内容を工夫することで望ましい出力を得る手法です。few-shotプロンプティングもこの一種であり、プロンプトに含める例の数を調整することで、出力の質と料金のバランスを取ることができます。
図解
解くための考え方
この問題の核心は、呼び出し頻度が低いオンデマンド利用において、コスト増加の主な要因である入力プロンプトのトークン数をどう減らすかという点にあります。観光協会の広報担当者が使っているfew-shotプロンプティングでは、10個もの例文をプロンプトに含めているため、呼び出しのたびに大量の入力トークンが処理され、それがそのまま料金に反映されています。モデルはすでに良好な性能を発揮しているため、追加の学習によって挙動を変える必要はありません。ファインチューニングは学習処理そのものに別途費用がかかるうえ、呼び出し頻度が1日1回と少ないため、投資に見合うメリットが得られません。またProvisioned Throughputは大量かつ安定した呼び出しが続く場合に向いた契約形態であり、1日1回という低い頻度の利用ではオンデマンドより割高になります。したがって、プロンプトに含める例文の数を絞るなどしてトークン数そのものを減らすことが、性能を維持したまま最も直接的にコストを下げる方法です。問題文に「トークン数を減らす」というキーワードがあればプロンプトの簡潔化を選び、「呼び出し頻度が低い」というキーワードがあればオンデマンド利用の継続を選び、「モデルはすでに良好な性能」というキーワードがあれば追加学習ではなくプロンプトの調整を選ぶという判断が有効です。
参考資料
スポンサーリンク
以下スポンサーリンクです。
この記事がお役に立ちましたら、コーヒー1杯分（300円）の応援をいただけると嬉しいです。いただいた支援は、より良い記事作成のための時間確保や情報収集に活用させていただきます。