Question 1

Windows에서 train_agent.py를 실행할 때 모든 도구 호출이 "tool not found" 오류를 반환하는 이유는 무엇인가요?

Accepted Answer

근본 원인: `signal.SIGALRM`과 `signal.alarm()`은 POSIX 전용이며 Windows에는 존재하지 않습니다. `trainer/train_agent.py`에서 `execute_tool()`이 bare `except:` 블록 안에서 `signal.signal(signal.SIGALRM, ...)`을 호출하므로, 결과적으로 발생하는 `AttributeError`가 조용히 삼켜지고 함수는 `None`을 반환합니다. 그러면 `rollout_single`이 모든 도구 호출에 대해 그 `None`을 `{"error": "tool not found"}`로 변환합니다 — 크래시도, 경고도 없이. 이는 Agentic RL 학습까지 조용히 손상시킵니다: format reward는 여전히 점수가 매겨지지만, 모델이 실제 도구 결과를 전혀 보지 못하기 때문에 메인 ground-truth reward(가중치 2.5)에는 도달할 수 없게 됩니다.

수정 사항 (PR #847): `trainer/trainer_utils.py`에 AST 기반 `safe_math_eval()`이 포함된 버전으로 업데이트하세요. 이는 모델이 생성한 문자열에 대한 원시 `eval()`을 대체하고 시그널 기반 타임아웃을 완전히 제거합니다(AST 평가기는 무한 루프에 빠질 수 없으므로 `signal.alarm`이 불필요하며, 플랫폼 가드 없이도 크로스 플랫폼 문제가 사라집니다). 동일한 수정이 세 개의 `eval()` 호출 지점 모두에 적용됩니다: `trainer/train_agent.py`, `scripts/eval_toolcall.py`, `scripts/web_demo.py`.

이전 커밋에 머물러 있다면, 다음과 같은 최소한의 크로스 플랫폼 패치를 적용하세요:

```python
_HAS_ALARM = hasattr(signal, "SIGALRM")

def execute_tool(name, args):
    fn = MOCK_RESULTS.get(name)
    if not fn: return None
    try:
        if _HAS_ALARM:
            signal.signal(signal.SIGALRM, lambda *_: (_ for _ in ()).throw(TimeoutError()))
            signal.alarm(1)
        return fn(args)
    except Exception as e:
        print(f"[tool] {name} failed: {type(e).__name__}: {e}")
        return None
    finally:
        if _HAS_ALARM: signal.alarm(0)
```

핵심 규칙: bare `except:`를 절대 사용하지 마세요(이것이 AttributeError를 숨기고 실패를 조용하게 만들었습니다). 그리고 크로스 플랫폼 코드에서는 항상 `hasattr(signal, 'SIGALRM')`으로 `signal.SIGALRM`/`signal.alarm`을 가드하세요.

Question 2

24GB GPU (RTX 4090)에서 train_agent.py 또는 train_grpo.py 실행 시 CUDA Out of Memory (OOM) 오류를 해결하는 방법은?

Accepted Answer

실효 학습 배치 크기는 `batch_size × num_generations`이며(Agent RL: 2×4=8, GRPO: 2×6=12), 학습 시 Policy 모델, Reference 모델, 그리고 1.8B Reward Model을 동시에 로드하므로 24GB VRAM이 부족할 수 있습니다. 해결 방법:

1. `train_agent.py`의 경우, 배치 크기와 전체 길이를 줄이세요:
```
python train_agent.py --batch_size 1 --max_total_len 1536
```

2. `train_grpo.py`의 경우(`max_total_len` 옵션 없음), 배치 크기, 생성 수, 시퀀스 길이를 줄이세요:
```
python train_grpo.py --batch_size 1 --num_generations 4 --max_seq_len 512 --max_gen_len 768
```

3. PyTorch가 큰 'reserved but unallocated memory'를 보고하는 경우, 다음을 설정하여 메모리 단편화를 줄이세요:
```
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
```

Question 3

MiniMind에서 YaRN rope_scaling을 사용할 때 original_max_position_embeddings (2048)이 pretrain max_seq_len (340)과 다른 이유는 무엇인가요?

Accepted Answer

`original_max_position_embeddings`는 YaRN을 활성화하기 *전에* 체크포인트가 실제로 학습된 컨텍스트 길이를 가리켜야 하며, `train_pretrain.py`의 값이 아닙니다. MiniMind의 파이프라인은 다음과 같습니다: (1) max_seq_len=340에서 원본 RoPE로 Pretrain 수행 (YaRN 비활성화); (2) max_seq_len=2048에서 원본 RoPE로 Full SFT 수행 (YaRN 비활성화 — 릴리스된 `full_sft` 가중치는 빠른 미니 데이터셋 재현 스크립트에서 사용된 768이 아니라 2048 토큰으로 학습되었습니다); (3) YaRN을 활성화하여 2048 윈도우로부터 외삽하며 추론 (예: `python eval_llm.py --weight full_sft --inference_rope_scaling`). 따라서 `original_max_position_embeddings=2048`이 Full SFT 체크포인트와 일치합니다. RoPE 자체는 학습 가능한 파라미터가 없는 결정론적 위치 회전이며, 학습이 필요한 것은 위치 범위에 대한 모델 가중치의 적응인데, 이는 이미 2048 토큰 Full SFT 단계에서 이루어졌습니다. Full SFT를 건너뛰고 길이 340으로 학습된 Pretrain 전용 체크포인트에 YaRN을 직접 적용하는 경우에만 `original_max_position_embeddings=340`으로 설정해야 합니다.

minimind

개요

README 미리보기

FAQ (3)

同类型项目

freeCodeCamp

generative-ai-for-beginners

cs-self-learning

ai-agents-for-beginners