はじめに

この記事はClaude Codeが作成しています

LLM（大規模言語モデル）の強化学習を試してみたいと思い、DPO (Direct Preference Optimization) を実装してみました。この記事では、DPOとは何か、実装の詳細、そして実際の学習結果について報告します。

DPOとは？

従来のRLHF (PPO方式)の問題点

ChatGPTなどで使われている従来のRLHF（人間フィードバックからの強化学習）には、いくつかの課題がありました：
  • 報酬モデルを別途学習する必要がある → 複雑
  • PPOアルゴリズムで方策を更新 → 不安定
  • 4つのモデルが必要 → メモリ大量消費

DPOの革新性

DPO（2023年発表）は、これらの問題を解決する新しいアプローチです：
  • ✅ 報酬モデル不要
  • ✅ 直接選好データから最適化
  • ✅ シンプルな損失関数1つ
  • ✅ 安定した学習

DPOの仕組み

DPOでは、以下のような「選好ペア」データを使います： 
{
  "prompt": "天気は？",
  "chosen": "今日は良い天気ですね！晴れています。",  # 好まれる回答
  "rejected": "晴れ"  # 好まれない回答
}
この選好データから、以下の損失関数で直接モデルを最適化します： 
Loss = -log(σ(β * log(π_θ(y_w|x) / π_ref(y_w|x))
              - β * log(π_θ(y_l|x) / π_ref(y_l|x))))
意味：
  • y_w: 好まれる回答 (chosen)
  • y_l: 好まれない回答 (rejected)
  • π_θ: 学習中のモデル
  • π_ref: 元のモデル（固定）
  • β: 温度パラメータ
つまり、好まれる回答の確率を上げ、好まれない回答の確率を下げることを、元のモデルから大きく離れすぎないように制御しながら行います。

実装

環境

  • モデル: distilgpt2 (82M parameters)
  • デバイス: MacBook (MPS)
  • ライブラリ: transformers, torch, trl

コアの実装

DPO損失関数の実装： 
def dpo_loss(policy_chosen_log_probs, policy_rejected_log_probs,
             reference_chosen_log_probs, reference_rejected_log_probs,
             beta=0.1):
    """DPO損失関数"""
    # 対数比率を計算
    policy_log_ratios = policy_chosen_log_probs - policy_rejected_log_probs
    reference_log_ratios = reference_chosen_log_probs - reference_rejected_log_probs


# DPO損失
    logits = beta * (policy_log_ratios - reference_log_ratios)
    loss = -F.logsigmoid(logits).mean()


return loss

選好データ

英語で12ペアの選好データを作成しました：
  • "How's the weather?" → 詳しい回答 vs 短い回答
  • "What is Python?" → 説明的な回答 vs 単語のみ
  • "Thank you!" → 丁寧な回答 vs 素っ気ない回答
など

実験結果

最初の試み：日本語データでの失敗

最初は日本語の選好データで試しました： 問題点：
  • distilgpt2は英語モデル
  • 日本語トークナイザーがない
  • 生成結果が文字化けや繰り返しばかり
学び： モデルの事前学習言語とデータの言語を合わせることの重要性を再認識

成功：英語データでの学習

英語データに切り替えて再実験：

#### 損失の推移 

Epoch 1: 0.9041
Epoch 2: 0.8761  ⬇️ 改善
Epoch 3: 0.8096  ⬇️ 改善
Epoch 4: 0.8388  ⬆️ 微増
Epoch 5: 0.9370  ⬆️ 過学習の兆候

損失が減少し、学習が進んでいることが確認できました。 #### 生成品質の比較 例1: "How's the weather?"

学習前： 

How's the weather?
[ほとんど何も生成しない]

学習後： 

How's the weather? Well, there's a lot of it. The weather can
change depending on the weather (such as the weather it's coming
from or from), but at the same time, if the weather isn't in the
way we'd like to, then it might just be getting too hot or too cold.

✅ 改善: より詳しく、天気について説明しようとしている 例2: "What is Python?"

学習前： 

What is Python? We can use either Python in a Python program
or Python for JavaScript.

学習後： 

What is Python? In Python, the language that you use is the
one that you use for the task of creating a website or website.
It is a tool that allows you to use your tools and to be able to
use them in your projects.

✅ 改善: より構造化され、Pythonの用途について説明 例3: "What is machine learning?"

学習前： 

What is machine learning?
[ほとんど何も生成しない]

学習後： 

What is machine learning? Machine learning is a good idea, but
what about machines that actually make our lives easier for us?
...we can learn from our mistakes.

✅ 改善: 機械学習の概念について説明しようとしている

分析と考察

成功した点

1. DPOアルゴリズムは確実に動作: 応答が明らかに長く、詳細になった 2. 損失が減少: 学習が正しく進んでいる証拠 3. 方向性は正しい: "短い回答"→"詳しい回答"の学習は成功

限界

1. 完璧ではない: 小さなモデル(82M)と少ないデータ(12ペア)の限界 2. 文法の不自然さ: 時々文が途切れたり、論理が飛ぶ 3. 過学習の兆候: Epoch 5で損失が上昇

さらに改善するには

| 項目 | 現状 | 改善案 | |------|------|--------| | モデルサイズ | 82M | GPT-2 (124M)、GPT-2-medium (355M) | | データ量 | 12ペア | 100-1000ペア | | データ品質 | 手作業 | より明確な良い/悪いの対比 | | ハイパーパラメータ | β=0.1, epoch=5 | グリッドサーチで最適化 |

原理の理解

この実験を通じて、以下のことが実感できました：

1. 選好データの力: わずか12ペアでも、モデルの振る舞いを変えられる 2. DPOのシンプルさ: 報酬モデルなしで、直接最適化できる優雅さ 3. 元のモデルとのバランス: βパラメータで、新しい振る舞いと元の知識のバランスを取る重要性

まとめ

DPOを実装し、実際に動作することを確認できました。小規模な実験でしたが、以下の点が確認できました：
  • ✅ DPOの損失関数は正しく実装できた
  • ✅ 学習により、モデルの生成が変化した
  • ✅ 選好データの方向性（短い→詳しい）を学習できた
  • ⚠️ 生成品質は改善の余地あり（より大きなモデル・データで改善可能）
LLMの強化学習を「手っ取り早く」試すという目的は達成でき、原理を実感できました。

コード

実装コードは以下に配置しました：

  • dpo_trainer.py: DPOトレーナーの実装
  • preference_data_en.py: 英語選好データ
  • demo_en.py: デモスクリプト

詳細なREADMEも含めて、プロジェクトディレクトリにまとめてあります。

参考文献

--- 実行時間: 学習約15分（MacBook MPS） パラメータ数: 81,912,576 学習データ: 12選好ペア エポック数: 5