【生成AIパスポート 無料問題】第2章 生成AI（ジェネレーティブAI） 6問｜解説つき

前提知識

ハルシネーションについて

• 事実に基づかない内容を、正しいことのようにもっともらしい文章で出してしまう現象です。実在しない書名を、自信ありげに答えてしまう例がこれにあたります。

ファインチューニングについて

• 学習を終えたモデルに追加のデータを与え、応答の癖を特定の用途へ寄せる作業です。社内の文体に寄せた文例を追加で学ばせる、といった使い方です。

アライメントについて

• モデルの応答を、人の意図や守るべき方針に沿わせる調整です。危険な頼み方を断るよう応答を整える、というのがその例です。

過学習について

• 学習用データに合わせすぎて、新しいデータではうまくいかなくなる状態です。学習用データでは正解率が高いのに、学習に使っていないデータでは正解率が下がる、という形で現れます。

判断のポイント

見分ける軸は、出力の中身が事実に基づいているかどうかを指す言葉か、それ以外の言葉かです。ファインチューニングとアライメントは、モデルに手を加える作業の名前です。過学習は、新しいデータで正解率が下がる状態の名前で、出力が事実かどうかは指しません。根拠のない内容を正しいことのように出す現象の名前が、ハルシネーションです。

前提知識

VAE（変分自己符号化器）について

• エンコーダで入力を潜在ベクトルに圧縮し、デコーダで元に近いデータを復元するように学習する生成モデルです。
• 潜在ベクトルを、ばらつきを持った分布として学習します。生成するときは、その分布からランダムに値を取り出し、デコーダに渡して新しいデータを作ります。

GAN（敵対的生成ネットワーク）について

• データを作る生成器と、本物か作られたものかを見分ける識別器の2つのネットワークで構成されます。
• 生成器はランダムな数値の並び（ノイズ）を受け取ってデータを作り、識別器に見分けられないように学習します。

自己回帰モデルについて

• それまでに出力した値をもとに、次の値を1つずつ予測してデータを作るモデルです。GPTモデルが文章を1語ずつ作るのは、この作り方です。

判断のポイント

見分ける軸は、その部品をVAEとGANの両方が持っているかどうかです。識別器はGANだけ、入力を圧縮するエンコーダはVAEだけが持つ部品です。ランダムな数値の並びから新しいデータを作るネットワークは、GANでは生成器、VAEではデコーダとして、両方が持っています。

前提知識

Transformerモデルについて

• 2017年の論文「Attention Is All You Need」で発表されたモデルです。リカレント層も畳み込みも使わず、Attentionの仕組みだけで組み立てられています。
• それ以前の翻訳モデルにも、RNNと組み合わせる形でAttention Mechanismが使われていました。Transformerの新しさは、RNNを外してAttentionだけにした点です。
• 自己注意力で単語どうしの関係を計算し、単語を並行して処理します。語順は位置エンコーディングで補います。

RNN（回帰型ニューラルネットワーク）について

• リカレント層で、前の時点の計算結果を次の時点に引き継ぎながら、シーケンスデータを1つずつ順に処理するモデルです。

LSTM（長・短期記憶）について

• RNNにゲートを加えたモデルです。情報を残すか忘れるかをゲートで調整し、長い系列でも前の情報を保ちやすくしています。

位置エンコーディングについて

• 各単語に、文の中で何番目かという情報を加える仕組みです。並行処理で失われる語順を補うために、Transformerが入力に加えています。

判断のポイント

見分ける軸は、その仕組みがTransformerで新しく採られたものか、それ以前から使われていたものかです。リカレント層による逐次処理とLSTMのゲートは、Transformerより前のモデルの仕組みです。Transformerは語順の情報を捨てておらず、位置エンコーディングで加えています。リカレント層を外し、Attentionだけで単語どうしの関係を計算する点が、Transformerが変えた点です。

前提知識

BERTモデルの事前学習について

• BERTモデルは、MLMとNSPの2つの学習課題で事前学習しています。
• MLMは隠した単語を当てる課題、NSPは2つの文が続いているかを判定する課題です。

RoBERTaについて

• BERTモデルと同じ構造のまま、事前学習の進め方を見直したモデルです。
• 見直した点は、より多くのデータで長く学習させること、NSPを取りやめること、より長い文のまとまりで学習させること、隠す単語の位置を学習のたびに変えることです。

ALBERT（a Lite BERT）について

• 層の間でパラメータを共有するなどして、BERTより軽くしたモデルです。NSPの代わりにSOPを取り入れています。

次トークン予測について

• それまでの単語の並びから次の単語を予測する学習課題です。GPTモデルは、この課題で事前学習しています。

判断のポイント

見分ける軸は、その課題がBERTの事前学習に含まれていたか、RoBERTaでも残ったかの2点です。BERTが使っていた課題はMLMとNSPの2つで、次トークン予測とSOPはBERTの課題ではありません。RoBERTaはMLMを残し、NSPを取りやめました。

前提知識

GPT-5について

• 2025年8月に公開されたモデルです。すばやく答えるモデルと、時間をかけて考えるモデルを1つのシステムにまとめています。
• 会話の種類、問題の難しさ、ツールが必要か、利用者の「よく考えて」といった指示をもとに、ルーターがどちらのモデルで答えるかを決めます。

GPT-o1について

• 2024年9月にプレビュー版が公開された、回答の前に内部で段階的に考える推論のモデルです。数学やプログラミングのような複雑な問題で正答率を高めました。

GPT-4.1について

• 2025年4月にAPI向けに公開されたモデルです。プログラミング、指示への従い方、長い文章の扱いを、GPT-4oより改善しました。

GPT-4oについて

• 2024年5月に公開された、文章・音声・画像を1つのモデルで扱うマルチモーダルのモデルです。ChatGPTでは2026年2月に提供を終え、APIでは提供が続いています。

判断のポイント

見分ける軸は、すばやく答えるモデルと考えるモデルを、1つの仕組みの中で自動で切り替えるかどうかです。GPT-o1は考えるモデルそのもの、GPT-4.1とGPT-4oは考える過程を挟まないモデルで、どれも単独のモデルです。2つのモデルとルーターをまとめたシステムとして公開されたのが、GPT-5です。

前提知識

Geminiについて

• Googleが開発した生成AIです。文章に加えて、画像や音声なども扱えます。
• 2023年に公開された対話型AIのBardが、2024年2月にGeminiへ名称を改めました。Geminiは、Googleの大規模言語モデルの名前でもあります。

Copilotについて

• Microsoftが提供する生成AIです。WordやExcelなどのアプリの中でも使えます。
• 2023年に提供が始まったBing Chatが、2023年11月にCopilotへ名称を改めました。

PaLM 2について

• Googleが2023年5月に発表した大規模言語モデルです。当時のBardの応答を作るモデルとして使われていました。

Claudeについて

• Anthropicが開発したテキスト生成AIです。2023年3月の公開時から、Claudeという名前で提供されています。

判断のポイント

見分ける軸は、Bardという元の名前と、提供元のGoogleを結び付けられるかです。CopilotはMicrosoftのBing Chatが改めた名称、ClaudeはAnthropicが公開時から使っている名称です。PaLM 2はGoogleのものですが、Bardの中で使われたモデルの名前です。Bardが改めた後のサービスの名称が、Geminiです。