Question 1

Mac에서 airllm으로 llama 모델을 실행할 때 'ValueError: Cannot index mlx array using the given type' 오류를 해결하는 방법은 무엇인가요?

Accepted Answer

이 오류는 Apple Silicon에서 MLX 백엔드와 함께 airllm을 사용할 때 발생합니다. 모델이 MLX 배열을 기대하지만 입력 토큰 ID가 PyTorch 텐서로 제공되기 때문입니다. 해결하려면 입력 토큰을 변환하세요: `import mlx.core as mx; generation_output = model.generate(mx.array(input_tokens['input_ids']))` 대신 `input_tokens['input_ids'].cuda()`. 이렇게 하면 MLX의 임베딩 레이어와의 호환성이 보장됩니다. 이 문제는 M1 Pro의 macOS 14.5에서 airllm v2.9.1, Python 3.12.4, mlx 버전 14.1–16.1에서 보고되었습니다.

Question 2

AirLLM은 Llama3 70B를 네이티브로 지원하나요?

Accepted Answer

AirLLM은 이미 Llama3 70B를 기본적으로 지원합니다. Llama3에는 AirLLM의 기존 Llama 구현을 조정해야 하는 아키텍처 변경 사항이 없기 때문입니다. AirLLM으로 Llama3 70B를 실행하는 데 추가적인 기능 개발은 필요하지 않습니다.

Question 3

macOS에서 transformers/airllm으로 모델을 로드할 때 발생하는 "ModuleNotFoundError: Could not import module 'LlamaForCausalLM'" 오류를 해결하는 방법

Accepted Answer

이 오류는 오해의 소지가 있습니다 — 이는 Llama 모듈이 누락된 것이 아니라 손상된 `torchvision` 설치로 인해 가려진 임포트 실패입니다. 트레이스백에서 실제 오류는 `RuntimeError: operator torchvision::nms does not exist`이며, 이는 `torch`와 `torchvision` 버전이 바이너리 호환되지 않을 때 발생합니다(Python 3.13 / Apple Silicon에서 흔함). Transformers의 lazy loader가 `image_utils` → `torchvision`을 트리거하고, 크래시가 혼란스러운 ModuleNotFoundError로 나타납니다.

텍스트 전용 LLM(Qwen, Llama 등)의 해결 방법 — torchvision을 완전히 제거하세요:
```bash
uv pip uninstall torchvision
# 또는: pip uninstall -y torchvision
```
torchvision이 없으면 transformers는 vision 임포트 경로를 건너뛰고 `LlamaForCausalLM`이 정상적으로 로드됩니다.

vision 지원이 필요한 경우, 대신 서로 일치하는 버전을 다시 설치하세요:
```bash
uv pip install -U --force-reinstall torch torchvision
```
두 패키지가 동일한 릴리스 채널에서 설치되었는지 확인하세요(예: torch 2.5.x와 torchvision 0.20.x). `python -c "import torchvision; print(torchvision.__version__)"`로 확인할 수 있습니다.

macOS 사용자 참고: Apple Silicon에서는 CUDA를 사용할 수 없으므로 `.cuda()`를 `.to('mps')`로 교체하거나 CPU에서 실행하세요.

Question 4

macOS Apple Silicon에서 AirLLM 'Cannot index mlx array using the given type' 오류를 해결하는 방법은?

Accepted Answer

AirLLM의 MLX 백엔드(`AirLLMLlamaMlx.generate()`)는 `mlx.array` 인덱스만 받지만, `return_tensors="pt"`로 설정된 HuggingFace 토크나이저는 `torch.LongTensor`를 반환하므로 `mlx.nn.Embedding`에서 크래시가 발생합니다. 이는 `AutoModel`이 모든 것을 MLX 클래스를 통해 라우팅하기 때문에 macOS의 모든 아키텍처(Llama, Qwen, Mistral, Mixtral, GLM, Baichuan)에 영향을 미칩니다. 우회 방법 — generate()를 호출하기 전에 토큰 ID를 mlx 배열로 변환하세요:

```python
import mlx.core as mx
from airllm import AutoModel

model = AutoModel.from_pretrained("Qwen/Qwen2.5-7B-Instruct", compression=None)
tokens = model.tokenizer(["Hello world"], return_tensors="pt").input_ids
input_ids = mx.array(tokens.detach().cpu().numpy())  # torch -> numpy -> mlx
model.generate(input_ids, max_new_tokens=8)
```

또는 `return_tensors="np"`로 토크나이즈한 후 `mx.array(...)`로 감쌀 수도 있습니다. 영구적인 수정 사항(`generate()` 경계에서 torch/numpy/mlx 입력을 처리하는 내부 `_coerce_to_mlx_array()` 헬퍼)이 PR을 통해 제안되었으며, 병합될 때까지는 수동 변환이 필요합니다.

airllm

개요

README 미리보기

FAQ (4)

同类型项目

browser-use

puppeteer

manim

PaddleOCR