GPT、LoRA、SFT、DPO……ChatGPTの裏側にある技術を「読む」だけでなく「実際に動かして理解したい」と思い、2026年に出たばかりの書籍『作ってわかる大規模言語モデルの仕組み』（日経BP）に挑戦しました。
環境はRaspberry Pi 5にRTX 5060 Ti（VRAM 16GB）を接続したローカルGPUマシンです。結論から言うと、全9ノートブックがエラーなく動作しました。その中で特に「おっ」と思った場面を3つ紹介します。
■ 夏目漱石を学習させたGPTが明治っぽい文章を生成した
第3章では青空文庫の「吾輩は猫である」（32万文字）を使って、GPTをゼロから学習させます。パラメータ数はわずか13Mという小さなモデルです。
学習は5000ステップ、時間にして約15分で完了しました。Loss（誤差）の変化はこんな感じです。
ステップ0：Loss 8.07 ステップ1000：Loss 2.25 ステップ3000：Loss 0.37 ステップ5000：Loss 0.20
きれいに収束していきます。そして「吾輩は」というプロンプトを与えると、こんなテキストが出てきました。
--- 吾輩は「それで朗読会さ。せんだってトチメンボーを御馳走した時にね。その話しが出たよ。何でも第二回には知名の文士を招待して大会をやるつもりだから、先生にも是非御臨席を願いたいって。それから僕が今度も近松の世話物をやるつもりかいと聞くと… ---
単語の選び方や文体が明治時代の小説らしい雰囲気になっています。13Mパラメータの小さなモデルがこれだけ再現できるというのが驚きでした。
■ 全パラメータの0.64%だけ学習するLoRAの不思議
第4章ではLoRA（Low-Rank Adaptation）というファインチューニング手法を試します。
使ったモデルはrinna/japanese-gpt2-medium（336Mパラメータ）ですが、LoRAでは全パラメータのうち学習するのは2.16M、つまりたったの0.64%です。残りの99.36%は一切変更しません。
データは青空文庫5000サンプル、学習時間は約5分。それで「吾輩は猫である。名前はまだ無い。」というプロンプトに対してこんな文章が出てきます。
--- 猫と申します。私は先日、ある人から、ある本を貸してもらったのですが、そこに書いてあった事を読んだ時にとても気になったので質問します。一つ一つの事柄について、自分が理解していなくては話にならないのでしょうか？ ---
0.64%しか触っていないのに流暢な日本語が出てくる。「これがLoRAが流行っている理由か」と実感できる場面でした。
■ SFTのビフォーアフターが一番わかりやすかった
第5章のSFT（教師ありファインチューニング）は、AIの振る舞いがガラッと変わる様子が一番わかりやすかったです。
チューニング前のモデルに「What is the capital of Japan?」と聞くとこう返ってきます。
--- The Japanese government has a long history of using money to finance its own military. The first major example was in 1848 when it used $1,000 for an army unit... ---
全然答えていません。ところがSFTで指示応答データを1回学習させると、こう変わります。
--- The capital, Tokyo ---
たった1回のトレーニングで「質問に答える」という振る舞いが身につく。ChatGPTが普通に質問に答えてくれる裏側に、こういう工程があるんだと腑に落ちました。
■ 環境構築について
書籍はGoogle Colab前提で書かれているため、ローカルで動かすにはいくつか変更が必要でした。主な作業は以下の3点です。
・Google Driveマウント部分を削除してローカルパスに変更 ・chapter02のTransformerはVRAMに合わせてモデルを軽量化（embedding_dim 512→256、layer 6→3） ・chapter05はtrlのバージョン（0.9.6）に合わせてAPIを調整
RTX 5060 Ti（16GB）があれば、deepspeedなしで全章動かせます。
■ まとめ
この本はTransformerの実装から始まり、GPT学習、LoRA、SFT、DPOまでを段階的に手を動かしながら学べる構成になっています。「読んで理解する」と「動かして理解する」は全然違うと改めて感じました。
特にSFTのビフォーアフターとLoRAの0.64%という数字は、実際に動かさないと実感しにくいと思います。LLMの仕組みを体で理解したい方にはおすすめの一冊です。
書籍：作ってわかる大規模言語モデルの仕組み（日経BP、2026年） Amazon：https://www.amazon.co.jp/dp/4296205250/
