生成AIパスポート 第2章「生成AI」の要点｜VAE・GAN・Transformer・ChatGPTの系譜

当ブログにはPRを含みます。

「VAEとGANは、どちらも画像を作る技術という説明までは読んだけれど、問題になると選択肢が選べない」「GPTとBERTの違いを聞かれると答えに詰まる」。第2章でつまずくのは、たいていこの2か所です。

第2章「生成AI（ジェネレーティブAI）」は、生成AIパスポート試験のなかで最も専門用語が多い章です。ボルツマンマシンから始まり、CNN、VAE、GAN、RNN、LSTM、Transformer、BERT、GPTと、モデルの名前が次々に出てきます。

ただし、問われ方を見ていくと、一貫して「そのモデルは、何を入力して何を出すのか」の1点に集まります。構造の詳細や数式ではありません。この記事では、生成モデルの系譜を時系列でつなぎ、各モデルを「入力と出力」で言い切れる形まで落とし込みます。

この記事でわかること

• 生成モデルの系譜を1本の線でつなぐ方法（ボルツマンマシン→VAE・GAN→Transformer）
• VAEとGANを「エンコーダ／デコーダ」「生成器／識別器」で確実に見分ける方法
• Transformerの自己注意力と位置エンコーディングが、なぜセットで必要なのか
• BERTとGPTの違い（双方向と単方向）、RoBERTaとALBERTの位置づけ
• GPT-1からGPT-5までの世代と、Sora・Operator・Codexなど周辺サービスの役割
• 第2章の形式に合わせた例題3問と解説

この記事は、生成AIパスポート試験の全範囲を章別にまとめたシリーズの第2章です。前の章では、機械学習とニューラルネットワークの基礎用語を扱いました。

▶ 生成AIパスポート 第1章「AI（人工知能）」の要点

第2章で問われるのは「モデルの役割分担」

第2章は3つの中項目に分かれています。出題の中心は、圧倒的に1つ目の「生成AIの誕生まで」です。

中項目ごとの出題のされ方

中項目	主な用語	問われ方
生成AIの誕生まで	ボルツマンマシン、自己回帰モデル、CNN、VAE、GAN、RNN、LSTM、Transformer、BERT、RoBERTa、ALBERT	モデルの説明を選ぶ／部品の名前を選ぶ
ChatGPT	GPT-1〜GPT-5、RLHF、アライメント、ファインチューニング、ハルシネーション、マルチモーダル、Code Interpreter、GPTs、Sora、Operator、Codex	世代と特徴の対応／機能名と説明の対応
その他の主要生成AI	Gemini、Claude、Copilot	提供企業と特徴の対応

「生成AIの誕生まで」だけで第2章の半分以上を占めます。覚える用語数は多いのですが、後述するとおり系譜の順番さえ頭に入れば、一気に整理できます。

第2章を解く軸は「入力と出力」と「いつ誰が」

第2章の問題は、次の2つの軸で切れます。

軸1：そのモデルは何を入力して何を出すのか。 VAEなら「入力を圧縮して、そこから作り直す」、GANなら「ノイズから作り、本物と見分けさせる」、RNNなら「前の時点の結果を引き継ぎながら順に処理する」。この一言が言えれば、説明文を選ぶ問題は確実に取れます。

軸2：いつ、どの企業が出したのか。 GPTとSoraとOperatorとCodexはOpenAI、BERTとGeminiはGoogle、ClaudeはAnthropic、CopilotはMicrosoft。この対応だけで、後半の問題がいくつか取れます。

逆に言えば、「自己注意力の計算式」や「VAEの損失関数」といった踏み込んだ理解は不要です。

生成モデルの系譜を1本の線でつなぐ

第2章の用語が覚えにくい最大の理由は、モデルがバラバラの知識として並んでいるからです。実際には、前のモデルの弱点を次のモデルが解消する、という流れでつながっています。

図：生成モデルの系譜。ボルツマンマシンから始まり、画像を扱うCNN系（VAE・GAN）と、順序のあるデータを扱うRNN系（LSTM）に分かれ、Transformerで合流します。Transformerから左にBERT系、右にGPT系が伸びる形で覚えると、章全体が1枚に収まります。

ボルツマンマシンと制約付きボルツマンマシン

ボルツマンマシンは、生成モデルの源流とされる初期の仕組みです。ノードどうしが互いにつながった構造を持ち、データの現れやすさの分布（どんなデータが出やすいか）を学びます。

制約付きボルツマンマシン（RBM）は、これを簡略化したものです。可視層と隠れ層の間にだけ結合を持たせ、同じ層の中ではノードどうしをつながないようにしました。つながりを減らしたことで学習の計算が進めやすくなった、というのが改良点です。

試験では、「同じ層の中ではノードどうしをつながず、学習の計算を進めやすくした」という説明がそのまま選択肢になります。「制約（Restricted）」という名前が、何を制約したのかを表しているわけです。

自己回帰モデル

自己回帰モデルは、すでに出力した部分をもとに、次に来るものを1つずつ予測して全体を作っていく手法です。「それまでに生成した値をもとに、次の値の確率を計算しながら順番にデータを作り出す」という説明で出てきます。

この考え方は後のGPTにそのまま引き継がれます。GPTが文章を作るときの進め方は「ここまでの文をもとに次の語を予測し、末尾に足すことを繰り返す」で、これが自己回帰そのものです。第3章でもテキスト生成AIの仕組みとして出てくるので、ここで押さえておくと後が楽になります。

CNN（畳み込みニューラルネットワーク）

CNNは、画像の特徴を取り出すのが得意なネットワークです。畳み込みという演算が中心にあります。

畳み込みとは、小さなフィルターを画像の上でずらしながら当て、近くの要素どうしのつながりを捉えて特徴を取り出す処理です。これを何層も重ねると、浅い層では線や角のような単純な特徴を、深い層ではそれらを組み合わせた複雑な特徴を取り出せるようになります。この層ごとの役割分担は、第1章で扱った「層を多く重ねると複雑な特徴を表せる」という話と同じ内容です。

VAE：圧縮して、作り直す

VAE（変分自己符号化器）は、データを圧縮してから作り直すことで、新しいデータを生成する手法です。部品が3つあり、それぞれ名前を問われます。

図：VAEの仕組み。エンコーダが入力を潜在ベクトルに圧縮し、デコーダがそこから元に近いデータを作り直します。潜在ベクトルにノイズを加えて少しずらすと、元のデータに似た「新しいデータ」が生まれます。

• エンコーダ：入力されたデータを、少ない数値の並びに圧縮する側
• 潜在ベクトル：エンコーダが入力を圧縮して表した、元のデータより少ない数の値の並び
• デコーダ：潜在ベクトルから、元に近いデータを復元する側

この3語は、それぞれ単独で「〜に該当するものを1つ選びなさい」という形で出題されます。「圧縮する側がエンコーダ、圧縮された結果が潜在ベクトル、復元する側がデコーダ」とまとめて覚えてください。

GAN：作る役と、見破る役

GAN（敵対的生成ネットワーク）は、2つのネットワークを競わせることでデータの質を高める手法です。こちらも部品が2つあり、名前を問われます。

図：GANの仕組み。生成器はランダムなノイズから偽物を作り、識別器は本物か偽物かを見分けます。識別器が賢くなるほど生成器はより精巧な偽物を作る必要があり、これを繰り返すうちに本物と区別できないデータが生まれます。

• 生成器（Generator）：ランダムなノイズを入力として受け取り、本物に似せたデータを作り出す
• 識別器（Discriminator）：渡されたデータが学習用の本物か、生成器が作ったものかを見分ける
• ノイズ：生成器が入力として受け取る、規則性のないランダムな数値の並び

「学習が進むにつれて生成器が作るデータの質が高まっていく理由は？」という出題もあります。答えは「識別器が見分ける力を高め、生成器はその識別器をだませるように学習することを繰り返すから」です。敵対的という名前が、この競争関係を表しています。

VAEとGANの見分け方はこうです。エンコーダ・デコーダ・潜在ベクトルが出てきたらVAE。生成器・識別器・ノイズが出てきたらGAN。 用語がきれいに分かれているので、1語でも拾えれば確定します。

RNNとLSTM：順番のあるデータを扱う

ここから、画像ではなく「順序に意味のあるデータ」の系統に入ります。

シーケンスデータとは、文章や株価の推移のように、順序に意味があるデータです。RNN系のモデルが扱うのはこれです。

RNN（回帰型ニューラルネットワーク）は、隠れ層に過去の情報を保持しながら、シーケンスデータを順番に処理していくモデルです。その中心にあるのがリカレント層で、前の時点の計算結果を次の時点に引き継ぎながら順に処理します。自分の出力を次の時点の入力として受け取る、という形です。

図：RNNは前の時点の結果を次へ引き継ぎますが、系列が長くなると古い情報が薄れていきます。LSTMはゲートという仕組みで「何を覚え、何を忘れ、何を出すか」を調整し、長い系列でも情報を保てるようにしました。

LSTM（長・短期記憶）は、RNNを改良し、内部の情報の流れを調整するゲートという仕組みを加えたモデルです。RNNは系列が長くなると古い情報を保てなくなるという弱点がありましたが、ゲートによって長い系列にも対応できるようにしました。

試験では「RNNを改良し、ゲートという仕組みを加えたモデル」という説明でLSTMが問われます。ゲート＝LSTM、と直結させて覚えてください。

Transformerが2つの系統を合流させた

2017年に登場したTransformerは、今の生成AIのほぼすべてが土台にしているモデルです。第2章の中でも最も出題頻度が高いので、構成要素を分けて押さえます。

自己注意力（Self-Attention）：どの語を重く見るか

Attention層は、入力の中のどの語を重く見るかを計算し、その重みに応じて情報をまとめる層です。その中核にある仕組みが自己注意力（Self-Attention）で、文の中の各単語が、同じ文のほかの単語とどれだけ関係が深いかを計算し、その度合いに応じて情報を取り込みます。

図：上が自己注意力。「それ」が文中のどの語を指すのかを、語どうしの関係の強さとして計算します。下が位置エンコーディング。単語を並行して処理するため、そのままでは語順が失われます。そこで各単語に「何番目か」の情報を足してから入力します。

RNNが単語を1つずつ順番に処理していたのに対し、Transformerは文の単語を並行して処理します。これによって学習が大幅に速くなり、大規模なモデルを作れるようになりました。これがLLM（大規模言語モデル）の時代を開いた変化です。

位置エンコーディング：並行処理の代償を埋める

並行処理には代償があります。単語を同時に処理すると、そのままでは語順を区別できません。「犬が猫を追う」と「猫が犬を追う」が同じに見えてしまいます。

そこで、単語の並び順の情報を入力に加える仕組みが位置エンコーディングです。各単語に「文の中で何番目か」という情報を足してからAttention層に渡します。

試験では、自己注意力と位置エンコーディングがセットで問われます。「Transformerモデルの説明として適切なものを2つ選びなさい」という複数選択で、この2つが正解になる形です。並行処理するから語順が失われる→だから位置の情報を足す、という因果で覚えると忘れません。

BERTとGPT：Transformerから分かれた2つの系統

Transformerから、性格の異なる2つの系統が生まれました。

図：左がBERT。ある語の意味をとらえるとき、前と後ろの両方の文脈を同時に使います（双方向）。右がGPT。前から後ろへ向かって次の語を予測していきます（単方向・自己回帰）。この違いが、得意な用途の違いにつながります。

BERTモデルは、2018年にGoogleが公表したモデルです。最大の特徴は、ある語の意味をとらえるときにその語より前と後ろの両方の文脈を同時に使うことです。双方向、と表現されます。

BERTの事前学習で使われた学習課題は2つあり、これは複数選択でそのまま問われます。

• MLM（Masked Language Model）：文の一部を隠して、そこに入る語を当てさせる課題
• NSP（Next Sentence Prediction）：2つの文が続きの関係にあるかどうかを判定させる課題

GPTモデルは、OpenAIの系統です。前から後ろへ向けて次の語を予測する自己回帰の形で、文章を書き足していく用途に向きます。

2つの違いは複数選択でよく問われます。BERTは文の意味を読み取る用途に向き、GPTは文章を書き足していく用途に向く、という対比で押さえてください。

RoBERTaとALBERT：BERTの派生2つ

BERTから派生したモデルが2つ、用語として挙がっています。名前が似ているので、改良の方向で分けます。

• RoBERTa：BERTと同じ構造を保ったまま、事前学習のやり方を見直すことで性能を高めたモデル。学習データを増やし、NSPを外すなどの調整を行いました
• ALBERT（a Lite BERT）：層の間でパラメータを共有するなどしてパラメータの数を減らし、BERTより軽くしたモデル。名前の Lite が軽量化を表しています

RoBERTaは学習のやり方を変えた、ALBERTは軽くした。 この一言で区別できます。

なお、「Transformerモデルをもとにした派生モデルを2つ選びなさい」という形で、GPTとRoBERTaが正解になる出題もあります。GPTもBERTもRoBERTaもALBERTも、すべてTransformerの子孫である、という全体の位置づけを押さえておいてください。

ChatGPTの世代と、周辺のサービス

ここからは、モデルの名前と世代の対応です。年号と特徴をセットで覚える暗記項目ですが、出題数が多いので落とせません。

ここで注意したいのは、仕組みの理解がそのままは効かないことです。Transformerや事前学習を説明できることと、GPT-4oとGPT-o1のどちらが何をできるようになった世代かを答えられることは、別の作業でした。筆者も、仕組みの側は以前に取ったAI系資格の下地がそのまま効いたのに、世代と固有名詞だけは覚え直しています。ここから先は仕組みの話ではなく、シラバスに並んでいる名前を、何をするものか一言で言えるところまで見ておく範囲だと考えてください。

GPTの世代ごとの「進んだ点」

図：GPT-1から最新世代までの流れと、周辺サービスの位置づけ。各世代で何ができるようになったかを1行で押さえれば、世代を問う問題は取れます。

世代	発表年	問われる特徴
GPT-1	2018年	大量の文章で事前学習を行ってから、用途ごとに調整するという進め方を示した
GPT-2	2019年	悪用される懸念から、学習済みモデルを一度に公開せず段階的に公開する方針をとった
GPT-3	2020年	パラメータの数を大幅に増やし、いくつかの例を示すだけで多くの作業をこなせることを示した
InstructGPT	—	RLHFを用いて、人間の指示に沿った応答をするよう調整したモデル
GPT-3.5	—	2022年11月に公開されたChatGPTの土台になった世代
GPT-4	2023年	画像を入力として受け取れるようになり、司法試験のような専門的な試験での正答率が大きく上がった
GPT-4o	2024年	文章に加えて音声や画像も1つのモデルでまとめて受け取り、応答の速さも改善された
GPT-o1	—	回答を出す前に、モデルの内部で段階的に考える（推論する）ことで、数学やプログラミングの正答率を高めた
GPT-o3 / GPT-o4	—	o1の系統を引き継いだ推論モデル
GPT-4.1 / GPT-5	—	指示への追従や長い文脈の扱いを改善した新しい世代

自然言語処理（NLP）は、人が使う言葉をコンピュータに扱わせる技術分野を指す言葉です。ChatGPTは、この自然言語処理の技術を応用して、OpenAIが2022年11月に公開した対話型のサービスです。公開時の土台がGPT-3.5だった、という対応は頻出です。

パラメータは、学習によって値が決まるモデル内部の数値で、モデルの規模を表すときに使われます。データセットは、モデルの学習や評価に使うために集められ、ひとまとめにされたデータです。この2語も単独で問われます。

RLHF・アライメント・ファインチューニングの区別

モデルの出力を調整する言葉が3つ出てきます。並べて整理します。

RLHF（Reinforcement Learning from Human Feedback）は、人間が示した評価や好みを反映させ、モデルの出力を望ましい方向に調整する学習手法です。具体的には、人間が複数の回答に順位を付け、その評価をまねる報酬モデルの点数が高くなるようにモデルを調整します。InstructGPTの学習に用いられました。

アライメント（Alignment）は、大規模言語モデルの出力を、人が望む意図や社会的に受け入れられる振る舞いに沿わせていく取り組み全体を指す言葉です。RLHFは、アライメントを実現するための手法の1つ、という関係です。

ファインチューニングは、大量のデータで学習を終えたモデルに、目的の用途に合わせたデータを追加で学習させ、その用途向けに振る舞いを寄せる手法です。モデルの重みを更新する点が特徴で、第3章で出てくるRAG（重みを変えずに外から資料を渡す）との対比で必ず問われます。

RLHFは手法、アライメントは目的、ファインチューニングは重みを変える追加学習。 この3つの関係で押さえてください。

ハルシネーションとマルチモーダル

ハルシネーション（Hallucination）は、事実ではない内容を、もっともらしい文章として出力してしまうことです。生成AIの代表的な弱点として、第3章や第5章にも繰り返し出てきます。

筆者は資格試験の教材を作る仕事で生成AIを使っていますが、この弱点には何度も遭遇しています。たとえばクラウドの権限設定について尋ねたとき、「拒否と許可が両方設定されていれば、結果的に許可になる」と説明されたことがありました。実際は逆で、拒否が最優先されます。ほかにも、サービスの仕様が変わったあとも古い仕様のまま答え続ける、ということが何度もありました。

怖いのは、こちらに知識があったから気づけただけだということです。知らない分野について同じことをされていたら、そのまま信じていたはずです。今は、事実関係については必ず根拠となる一次情報を示させ、そこに当たって確かめる手順を入れています。「もっともらしいから正しいとは限らない」は、試験で問われる定義であると同時に、使う側が持っておくべき前提でもあります。

マルチモーダルは、テキストだけでなく画像や音声など、複数の種類の情報を組み合わせて扱える性質です。GPT-4で画像入力に対応し、GPT-4oで音声・画像・テキストを1つのモデルでまとめて扱えるようになった、という流れと結びつきます。

ChatGPTの機能と、OpenAIの周辺サービス

機能名と役割の対応も問われます。混ざりやすいので表にします。

名前	役割
Code Interpreter	渡された表データやファイルに対して、プログラムをその場で書いて実行し、計算やグラフの作成まで行う
GPTs	あらかじめ指示や参考資料を登録しておき、特定の用途に絞った専用の対話相手を作って共有できる仕組み
Sora	作りたい場面を文章で伝えると、動画を作り出すサービス
Operator	Webブラウザの画面を見ながらクリックや文字入力を自分で行い、利用者の代わりに予約や買い物などの作業を進めるAIエージェント
Codex	自然言語の指示を受けて、コードの作成や修正、テストといったソフトウェア開発の作業を進めることに特化したサービス
Image Generation	作りたい絵の内容を文章で伝えると、その内容に沿った画像を出力する機能

「ChatGPTで提供されている機能の説明として適切なものを2つ選びなさい」という複数選択で、Code InterpreterとGPTsの説明文が正解になる出題もあります。Code Interpreter＝その場でプログラムを書いて実行、GPTs＝用途を絞った対話相手を作って共有、という形で覚えてください。

その他の主要生成AI：3つの企業名と対応

中項目「その他の主要生成AI」は、3つの対応を覚えるだけです。

• Gemini：Googleが提供。文章に加えて画像や音声もまとめて扱えるテキスト生成AI
• Claude：Anthropicが提供。長い文書の読み取りや要約に使われるテキスト生成AI
• Copilot：Microsoftが提供。WordやExcelなどの中に組み込まれ、その場の作業を助ける形の生成AI

問題文では企業名か特徴のどちらかが手がかりになります。「WordやExcelの操作を支援する形で組み込まれている」とあればCopilot、「Anthropicが開発した」とあればClaude、「Googleが開発した」とあればGemini、で確定します。

第2章の形式に合わせた例題3問

例題1：VAEとGANを部品名で切る

問題： ランダムな数値の並びを入力として受け取り、本物に似せたデータを作り出すネットワークと、渡されたデータが本物かどうかを見分けるネットワークを組み合わせた生成手法に該当するものを1つ選びなさい。

1. VAE（変分自己符号化器）
2. GAN（敵対的生成ネットワーク）
3. CNN（畳み込みニューラルネットワーク）
4. LSTM（長・短期記憶）

答え：2

「作り出すネットワーク（生成器）」と「見分けるネットワーク（識別器）」の組み合わせはGANです。VAEは、入力を潜在ベクトルに圧縮するエンコーダと、そこから復元するデコーダの組み合わせなので、部品の名前が違います。CNNは画像から特徴を取り出すネットワーク、LSTMはRNNにゲートを加えたモデルで、どちらも2つのネットワークを競わせる構造ではありません。

例題2：Transformerの2つの仕組みをつなげる

問題： Transformerモデルが単語を並行して処理することの結果として生じる問題と、その解決策の組み合わせとして、最も適切なものを1つ選びなさい。

1. 計算量が増えるため、ドロップアウトでノードを減らす
2. 語順が区別できなくなるため、位置エンコーディングで並び順の情報を加える
3. 古い情報が薄れるため、ゲートで情報の流れを調整する
4. 過学習が起きるため、正則化で重みに罰を与える

答え：2

並行処理の代償は語順の情報が失われることで、それを埋めるのが位置エンコーディングです。3のゲートはLSTMの仕組みで、RNNが長い系列で古い情報を保てない問題への対策なので、別のモデルの話です。1と4は第1章で扱った過学習対策で、Transformerの並行処理とは関係がありません。

例題3：調整の手法を見分ける

問題： 人間が複数の回答に順位を付け、その評価をまねる報酬モデルの点数が高くなるようにモデルを調整する手法に該当するものを1つ選びなさい。

1. ファインチューニング
2. 転移学習
3. RLHF
4. 位置エンコーディング

答え：3

人間の評価を報酬として使う学習手法はRLHFです。ファインチューニングも重みを更新する追加学習ですが、人間が順位を付けた評価を報酬モデル経由で使う、という点がRLHF特有です。転移学習は学習済みモデルを別の課題へ流用する手法、位置エンコーディングはTransformerで語順を伝える仕組みで、どちらも出力の調整とは別の話です。

よくある質問

Q. モデルの発表年まで覚える必要がありますか？

年そのものを直接問う出題は多くありませんが、「2020年に発表されたGPT-3の説明として最も適切なものは」のように、年が問題文に添えられる形はよく出ます。GPT-1が2018年、GPT-2が2019年、GPT-3が2020年、ChatGPTの公開が2022年11月、GPT-4が2023年、GPT-4oが2024年、という並びだけ押さえておけば十分です。

Q. VAEとGANのどちらが優れているのですか？

試験では優劣は問われません。VAEは圧縮と復元を通して作る、GANは競わせて作る、という作り方の違いだけが問われます。優劣を述べている選択肢が出てきたら、それは誤りの選択肢と考えてよいです。

Q. GPTとBERTはどちらも同じようなものに見えます。

用途が違います。BERTは「文の意味を読み取る」ための仕組みなので、検索や分類に使われます。GPTは「文章を書き足していく」ための仕組みなので、文章生成や対話に使われます。文脈の使い方（BERTは前と後ろ両方、GPTは前から後ろのみ）が、この用途の違いを生んでいます。

Q. 最新のモデル名は、試験までに増えませんか？

シラバスは毎年2月を基本に改訂されており、2026年2月適用のシラバスではGPT-5、Sora、Operator、Codex、Image Generationなどが新たに加わりました。受験する回のシラバスを公式サイトで確認し、新しく追加された用語だけを追えば足ります。モデルの入れ替わりが速い領域なので、古い教材だけで学習するのは避けてください。

まとめ

• 第2章は「生成AIの誕生まで」に出題が集中する。系譜を1本の線でつなぐと一気に整理できる
• VAEはエンコーダ・潜在ベクトル・デコーダ、GANは生成器・識別器・ノイズ。部品の名前で確実に切れる
• RNNはリカレント層で前の結果を引き継ぐ。LSTMはそこにゲートを加えて長い系列に対応した
• Transformerは並行処理で語順が失われるため、位置エンコーディングで並び順を補う。この因果でセットで覚える
• BERTは双方向で意味を読み取る、GPTは単方向で書き足す。RoBERTaは学習のやり方を変え、ALBERTは軽くした
• RLHFは手法、アライメントは目的、ファインチューニングは重みを変える追加学習、と役割で分ける
• 企業の対応はOpenAI（GPT・Sora・Operator・Codex）、Google（BERT・Gemini）、Anthropic（Claude）、Microsoft（Copilot）

次の章では、ここまでのモデルが実際のサービスとしてどう使われているか、そしてRAGやAIエージェントといった新しい潮流を扱います。

▶ 生成AIパスポート 第3章「現在の生成AIの動向」の要点｜RAG・AIエージェント・MCP・ディープフェイク

前の章はこちらです。

▶ 生成AIパスポート 第1章「AI（人工知能）」の要点

試験の概要や、5章全体の学習の進め方は親記事にまとめています。

▶ 生成AIパスポート試験の出題範囲を章別に学ぶ｜5章まとめと学習ロードマップ

最後までお読みいただきありがとうございました。