Question 1

Mac上でairllmを使ってllamaモデルを実行する際に'ValueError: Cannot index mlx array using the given type'を修正する方法は？

Accepted Answer

このエラーは、Apple Silicon上でMLXバックエンドと共にairllmを使用する際に発生します。モデルはMLX配列を期待しているのに、入力トークンIDがPyTorchテンソルとして提供されているためです。修正するには、入力トークンを変換します：`input_tokens['input_ids'].cuda()` の代わりに `import mlx.core as mx; generation_output = model.generate(mx.array(input_tokens['input_ids']))` とします。これにより、MLXの埋め込みレイヤーとの互換性が確保されます。この問題は、airllm v2.9.1、Python 3.12.4、mlxバージョン14.1～16.1、およびM1 Pro上のmacOS 14.5で報告されました。

Question 2

AirLLMはLlama3 70Bをネイティブにサポートしていますか？

Accepted Answer

AirLLMはすでにLlama3 70Bをネイティブにサポートしています。これは、Llama3にはAirLLMの既存のLlama実装に調整を必要とするアーキテクチャ上の変更がないためです。AirLLMでLlama3 70Bを実行するために、追加の機能開発は必要ありません。

Question 3

macOSでtransformers/airllmを使ってモデルを読み込む際に「ModuleNotFoundError: Could not import module 'LlamaForCausalLM'」というエラーを修正するにはどうすればよいですか？

Accepted Answer

このエラーは誤解を招くものです。Llamaモジュールが見つからないのではなく、破損した `torchvision` のインストールによって引き起こされる、隠蔽されたインポートエラーです。トレースバックにある実際のエラーは `RuntimeError: operator torchvision::nms does not exist` で、これは `torch` と `torchvision` のバージョンがバイナリレベルで非互換の場合に発生します（Python 3.13 / Apple Silicon でよく見られます）。Transformersの遅延ローダーが `image_utils` → `torchvision` をトリガーし、そのクラッシュが紛らわしいModuleNotFoundErrorとして表面化します。

テキストのみのLLM（Qwen、Llamaなど）での修正方法 — torchvisionを完全に削除します：
```bash
uv pip uninstall torchvision
# または: pip uninstall -y torchvision
```
torchvisionがなければ、transformersはビジョンのインポートパスをスキップし、`LlamaForCausalLM` は正常にロードされます。

ビジョンサポートが必要な場合は、代わりに一致するバージョンを再インストールしてください：
```bash
uv pip install -U --force-reinstall torch torchvision
```
両方のパッケージが同じリリースチャネルからインストールされていることを確認してください（例：torch 2.5.x には torchvision 0.20.x）。`python -c "import torchvision; print(torchvision.__version__)"` で確認できます。

macOSユーザーへの注意：Apple SiliconではCUDAが利用できないため、`.cuda()` を `.to('mps')` に置き換えるか、CPU上で実行してください。

Question 4

macOS Apple SiliconでAirLLMの「Cannot index mlx array using the given type」エラーを修正する方法

Accepted Answer

AirLLM の MLX バックエンド（`AirLLMLlamaMlx.generate()`）は `mlx.array` のインデックスしか受け付けませんが、`return_tensors="pt"` を指定した HuggingFace トークナイザーは `torch.LongTensor` を返すため、`mlx.nn.Embedding` がクラッシュします。`AutoModel` がすべてを MLX クラス経由でルーティングするため、macOS 上のすべてのアーキテクチャ（Llama、Qwen、Mistral、Mixtral、GLM、Baichuan）がこの影響を受けます。回避策 — generate() を呼び出す前にトークン ID を mlx 配列に変換します：

```python
import mlx.core as mx
from airllm import AutoModel

model = AutoModel.from_pretrained("Qwen/Qwen2.5-7B-Instruct", compression=None)
tokens = model.tokenizer(["Hello world"], return_tensors="pt").input_ids
input_ids = mx.array(tokens.detach().cpu().numpy())  # torch -> numpy -> mlx
model.generate(input_ids, max_new_tokens=8)
```

あるいは、`return_tensors="np"` でトークナイズし、`mx.array(...)` でラップすることもできます。恒久修正（`generate()` の境界で torch/numpy/mlx の入力を処理する内部ヘルパー `_coerce_to_mlx_array()`）が PR として提案されていますが、マージされるまでは手動での変換が必要です。

airllm

概要

README プレビュー

FAQ (4)

同类型项目

browser-use

puppeteer

manim

PaddleOCR