Udemy講師クーポン配布中。詳しくはこちら(AIP問題集追加しました)

【無料】AWS AIF-C01練習問題10問|図解解説付き|Udemy講師作成

AWS AIF無料問題集です。正解と解説を確認する際は右側のボタンを押下してください。

問題集の完全版は以下Udemyにて発売しているためお買い求めください。問題集への質問はUdemyのQA機能もしくはUdemyのメッセージにて承ります。Udemyの問題1から10問抜粋しております。

多くの方にご好評いただき、講師評価 4.5/5.0 を獲得できております。ありがとうございます。

特別価格: 通常2,600円1,500円

講師クーポン適用で42%OFF

AWS認定 AI Practitioner (AIF-C01) 模擬試験問題集

AWS認定 AI Practitioner (AIF-C01) 模擬試験問題集

この資格を活かしたキャリア情報

AIF資格のキャリア
AWS AIF-C01(AI Practitioner)合格後のキャリア:AI活用人材としての市場価値

AWS資格全体のキャリア活用法:
→ AWS資格は転職・キャリアアップでどう活きる?資格別市場価値と実体験

問題文:
ある金融機関は、融資の申し込みに対する返済遅延リスクを点数化する機械学習(ML)モデルを審査業務に導入しています。モデルを構築していない審査担当者にも判断の仕組みを説明できるよう、AI実務担当者は透明性と説明可能性の観点から報告書を作成します。 この報告書に含めるべき内容はどれでしょうか。

選択肢:
A. 部分依存プロット(PDP)のグラフを報告書に記載します。

B. モデルの精度(Accuracy)などの評価指標を報告書に記載します。

C. 学習時に設定したハイパーパラメータの一覧を報告書に記載します。

D. 学習に使ったデータから数件抜き出したサンプルを報告書に記載します。

正解:A

A. 部分依存プロット(PDP)のグラフを報告書に記載します。

正解 部分依存プロットは、他の入力項目を平均的な状態に固定したうえで1つの項目だけを動かし、予測スコアがどう変わるかを1枚のグラフで示します。年収が上がるとスコアがどちらへ動くのかといった入力と出力の対応が視覚的に読み取れるため、モデルの内部構造を知らない審査担当者にも判断の仕組みを説明できます。

B. モデルの精度(Accuracy)などの評価指標を報告書に記載します。

不正解 Accuracyなどの評価指標が示すのは、モデル全体としてどれだけ正しく予測できたかという集計結果です。数値が高いか低いかは分かっても、個々の申し込みに対してどの入力項目がスコアを押し上げ下げしたのかという内訳までは示されません。全体の当たり外れを一言で表す資料であり、判断の根拠を個別に追うための資料ではありません。

C. 学習時に設定したハイパーパラメータの一覧を報告書に記載します。

不正解 ハイパーパラメータの一覧が示すのは、学習を始める前に人が決めた設定値です。学習の挙動を左右する情報ではありますが、完成したモデルが個々の予測でどの入力項目に反応したのかは表れません。モデルをどう設定したかという事実だけでは、そのスコアを審査担当者に納得してもらう根拠にはなりません。

D. 学習に使ったデータから数件抜き出したサンプルを報告書に記載します。

不正解 データのサンプルが示すのは、モデルに何を与えたかという入力側の情報です。同じデータで学習しても、どの項目をどれだけ重視するかはモデルの構造や学習の結果によって変わるため、サンプルを見てもスコアがどう導かれたかまでは分かりません。データの内容や偏りを点検するための資料です。

全体的な説明

問われている要件

  • 融資の返済遅延リスクを点数化するMLモデルについて、透明性と説明可能性を示す報告書を作成する。
  • 報告書の読み手は、モデルを構築していない審査担当者である。
  • スコアがどのように導かれたのかを、モデルの内部構造を知らなくても追える形で示す。
  • 候補となる資料の中から、この目的に合うものを選ぶ。

前提知識

透明性と説明可能性について

  • 説明可能性(Explainability)とは、モデルが特定の予測に至った根拠を、人が理解できる形で示せることです。
  • 透明性(Transparency)とは、モデルの使い方や限界、判断の仕組みについて、関係者が利用を判断するのに必要な情報を得られる状態を指します。
  • 特徴量(Feature)とは、モデルが予測の手がかりとして使うデータの項目です。返済遅延リスクの予測であれば申込額、年収、勤続年数、過去の延滞回数などが該当します。

モデルの振る舞いを可視化する手法について

  • 部分依存プロット(PDP)は、他の特徴量を平均的な状態に固定して1つの特徴量だけを変化させ、予測値の平均がどう動くかを曲線で示す手法です。特徴量の値が増えると予測が単調に伸びるのか、ある値を境に頭打ちになるのかといった傾向が読み取れます。
  • SHAP値は、1件ごとの予測に対して各特徴量が基準値から予測をどれだけ押し上げ下げしたかを数値化する手法です。全体の傾向を示す部分依存プロットに対し、個別の予測を説明したい場合に使います。
  • Amazon SageMaker Clarifyは、学習済みモデルから部分依存プロットやSHAP値を算出して説明可能性レポートを出力する機能で、バイアス指標の算出にも対応します。同じ計算をSHAPライブラリで自前に組む構成も取れますが、レポート化までを引き受ける点がマネージド機能の利点です。
  • Amazon SageMaker Model Cardsは、モデルの用途、想定される利用範囲と想定外の用途、リスク評価、学習内容、評価結果を1か所に記録する機能です。可視化した結果とあわせて残すことで、透明性の要件を文書として満たせます。

開発の過程として残る記録について

  • 精度(Accuracy)は、全予測のうち正解した割合を表す1つの数値で、混同行列の対角成分を全体の件数で割って求めます。モデル全体の当たり外れを要約する指標です。
  • ハイパーパラメータは、学習率や決定木の深さのように、学習を始める前に人が指定する設定値です。学習の進み方を左右しますが、学習後にどの特徴量が効いたのかは表しません。
  • 学習データは、モデルに与えた入力側の記録です。同じデータを使っても、どの特徴量をどれだけ重視するかはアルゴリズムと学習結果によって変わります。

図解

アーキテクチャ図

解くための考え方

報告書の読み手は、モデルを実装した本人ではなく、融資の審査を担う担当者です。求められているのは実装を再現できることではなく、スコアがどのように導かれたのかを担当者が追えることです。 そこで判断軸は、その資料が「モデルを作る過程や成績を記録したもの」なのか「できあがったモデルの振る舞いを示したもの」なのかの一点に置きます。評価指標の一覧は全体成績の記録、学習データのサンプルは入力の記録、ハイパーパラメータの一覧は学習時の設定の記録であり、いずれも完成したモデルが個々の予測で何に反応したのかには答えません。これに対して部分依存プロットは、入力項目を動かしたときに予測がどう変わるかという対応関係そのものを示すため、モデルの振る舞いを説明する資料になります。 透明性・説明可能性が要件に挙がっているときは、評価指標・学習データ・ハイパーパラメータのような開発や成績の記録ではなく、部分依存プロットやSHAP値のように入力と出力の関係を可視化した成果物を選びます。

参考資料

目次

スポンサーリンク

以下スポンサーリンクです。

この記事がお役に立ちましたら、コーヒー1杯分(300円)の応援をいただけると嬉しいです。いただいた支援は、より良い記事作成のための時間確保や情報収集に活用させていただきます。

目次