Question 1

torch.compile と DDP で保存した PyTorch チェックポイントを読み込む際に '_orig_mod.' プレフィックスが原因で missing keys が発生する問題の修正方法

Accepted Answer

すべての state-dict キーから、DDP と torch.compile の両方のラッパープレフィックスを繰り返し取り除きます。これらは任意の順序でネストされている可能性があるためです。単一の `module.` チェックを次のように置き換えます:

```python
def _strip_ddp_prefix(state_dict: dict) -> dict:
    out = {}
    for k, v in state_dict.items():
        while k.startswith("module.") or k.startswith("_orig_mod."):
            k = k.removeprefix("module.").removeprefix("_orig_mod.")
        out[k] = v
    return out
```

推論や評価を含む、すべてのチェックポイント読み込みパスでこの同じ関数を使用します:

```python
from src.post_training.utils import _strip_ddp_prefix

state = ck["model_state_dict"] if "model_state_dict" in ck else ck
state = _strip_ddp_prefix(state)
model.load_state_dict(
    {k: v for k, v in state.items() if k in model.state_dict()},
    strict=False,
)
```

新しいチェックポイントでは、キーが最初からクリーンな状態になるよう、ラップされていないモデルを保存します。また、ローダーは、ランダムに初期化された重みで誤って実行してしまうことを防ぐため、期待されるパラメータが欠落している場合をエラーとして扱う必要があります。この修正後、コンパイル済み/DDP チェックポイントは `missing: 0` キーで読み込まれるはずです。

Question 2

CPUのみのノートパソコンで、小規模なLLMをゼロから学習させるにはどうすればよいですか？

Accepted Answer

リポジトリの CPU フレンドリーな laptop/tiny プリセットを使用します。まず TinyStories データセットを準備して BPE トークナイザーを学習し、次に 369K パラメータのモデルを学習し、最後にテキストを生成します:

```bash
python scripts/prepare_tiny_data.py
python scripts/train_transformer.py --preset tiny --arch modern
python scripts/generate_text.py --model_path models/tiny.pt
```

`tiny` プリセットは CPU のみのマシン向けに設計されており、一般的なラップトップ CPU で約 5 分かかります。より大きな `student` および `small` プリセットも利用可能です。`python scripts/benchmark.py` を実行してお使いのハードウェアでの学習時間を確認し、ガイド付き学習パスについては `docs/student` を参照してください。

Question 3

A100 40GBでデフォルトの3Bパラメータのトランスフォーマーを学習する際にCUDA out of memoryを修正するにはどうすればよいですか？

Accepted Answer

OOM は想定どおりの動作です。デフォルトの設定では約 3B のパラメータ（`N_EMBED=2048`、`N_BLOCKS=64`）が使用され、オプティマイザの状態とアクティベーションを合わせると 40GB を超えるためです。PR #29 を含むバージョンに更新し、オプトインのメモリ最適化を有効にして学習を実行してください：

```bash
python scripts/train_transformer.py --amp --amp-dtype bf16 --grad-checkpointing --grad-accum 8
```

学習を開始する前に VRAM 使用量を見積もるには：

```bash
python scripts/train_transformer.py --report-memory
```

`--amp` は混合精度を有効にし、`--grad-checkpointing` は Transformer ブロックを再計算することでアクティベーションメモリを削減し、`--grad-accum 8` はより小さなマイクロバッチを使って大きなバッチをシミュレートします。これらの変更により、3B の設定が A100 40GB に収まるようになり、RTX 3090/4090/5090 クラスの GPU でも VRAM 使用量を削減できます。断片化が報告された場合は、以下も試してください：

```bash
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True python scripts/train_transformer.py --amp --amp-dtype bf16 --grad-checkpointing --grad-accum 8
```

Question 4

中断したLLMのトレーニングを最新のチェックポイントから再開するにはどうすればよいですか？

Accepted Answer

チェックポイントからの再開サポートは、`main` の `scripts/train_transformer.py` で利用可能です。トレーニング中は、`--checkpoint-every N` で定期的なチェックポイントを有効にし、`--keep-last K` を使って最新のチェックポイントのみを保持します。中断後は、`--resume latest` で最新のチェックポイントを読み込んで再開するか、`--resume /path/to/checkpoint.pt` で特定のチェックポイントを指定して再開します。復元されるチェックポイントには、モデルの重み、オプティマイザの状態、LRスケジューラの状態、損失履歴、および最後に完了したステップが含まれているため、トレーニングは次のステップから継続されます。例: `python scripts/train_transformer.py --checkpoint-every 1000 --keep-last 3 --resume latest`。チェックポイントは、一時ファイルと `os.replace` を使ってアトミックに書き込まれるため、保存中にプロセスがクラッシュした場合の破損リスクが低減されます。

Question 5

README.md 内で 404 を返す壊れた Google Drive リンクは、どう修正すればよいですか？

Accepted Answer

404 は、Google Drive のファイルが削除されたか、共有権限がプライベートになっていることを意味します。`README.md` から壊れたリンクを削除するか、Google Drive でリンク共有を有効にしてから有効な共有リンクに置き換えてください。報告されたケースでは、`https://drive.google.com/file/d/1Q_iklJ1RVGSb-Pdey8BHy3k8IF3UJv0z/view` を削除し、代わりに GitHub への参照を残すことが修正方法でした。変更をコミットしてください。例: `git add README.md && git commit -m "fix: remove broken resume Google Drive link"`

train-llm-from-scratch

概要

README プレビュー

FAQ (5)

同类型项目

freeCodeCamp

generative-ai-for-beginners

cs-self-learning

ai-agents-for-beginners