Question 1

crawl4ai v8.0.0 Docker で API hooks が 'ImportError: __import__ not found' で失敗するのはなぜですか？

Accepted Answer

これはv8.0.0における既知のリグレッションであり、過度に制限的な組み込み関数のホワイトリスト（PR #1712）が原因です。フックマネージャの内部コンパイルステップは `exec("import asyncio", namespace)` を実行し、これには `__import__` 組み込み関数が必要ですが、許可リストから削除されていました。ユーザーが提供するフックは、たとえ些細なものでも、このエラーを引き起こします。

**回避策:**
- **ダウングレード** v7.xへ（例：`unclecode/crawl4ai:v7.0.0`）
- **コンテナを制御している場合**、`hook_manager.py` を編集して以下のいずれかを実行します：
  1. `allowed_builtins` リストに `'__import__'` を追加する、または
  2. `exec("import asyncio")` / `exec("import json")` の行を直接代入に置き換える：
import asyncio, json
namespace['asyncio'] = asyncio
namespace['json'] = json

恒久的な修正については、issue #1878 を追跡してください。

Question 2

crawl4aiでNlpSentenceChunkingを使用する際に、なぜ文がランダムな順序で返されるのか？

Accepted Answer

これは`crawl4ai`の既知のバグで、`NlpSentenceChunking.chunk()`が`list(set(sens))`を使用しているため、Pythonの`set`は順序を保持しないため文がシャッフルされます。修正は`develop`ブランチにマージ済みで、次のリリースに含まれます。

**回避策**: `chunking_strategy.py`を手動で編集し、以下のように変更してください:
```python
return list(set(sens))  # バグ
```
を次のように:
```python
return sens
```

または修正ブランチから直接インストール:
```bash
pip install git+https://github.com/unclecode/crawl4ai.git@develop
```

この修正により文書の順序が保持され、意図的な重複文も維持されます。

Question 3

crawl4ai Docker Job Queue APIで「Deserialization of type LLMTableExtraction is not allowed」エラーを修正する方法

Accepted Answer

このバグは、`async_configs.py`内の逆シリアル化許可リストに`LLMTableExtraction`が含まれていなかったために発生しました。これはcrawl4ai v0.8.7以降で修正されています。解決するには、最新バージョンにアップグレードしてください：

docker pull ghcr.io/unclecode/crawl4ai:latest

pipを使用している場合は、`pip install crawl4ai>=0.8.7`で更新してください。修正を適用するには、Dockerコンテナを再起動してください。

Question 4

なぜcrawl4aiはsemaphore_countを無視して429 'Too Many Requests'エラーを引き起こすのですか？

Accepted Answer

`DeepCrawlStrategy`が`MemoryAdaptiveDispatcher`を作成する際に、`CrawlerRunConfig`の`semaphore_count`設定を無視し、デフォルトで20件の同時タスクを生成してレート制限を引き起こす既知のバグです。修正では`semaphore_count`を設定から読み取り、`max_session_permit`として渡すようになります。

**解決策: バージョン0.8.7以降にアップグレード:**

```bash
pip install --upgrade crawl4ai
```

**一時的な回避策が必要な場合**、ローカルインストール（0.8.7未満）に以下の変更を適用します:

`crawl4ai/async_webcrawler.py`の1032行目付近を編集:

```python
max_session_permit = max(1, int(getattr(primary_cfg, "semaphore_count", 5) or 5))
dispatcher = MemoryAdaptiveDispatcher(
    max_session_permit=max_session_permit,
    ...
)
```

または、パッチ適用済みブランチをインストール:

```bash
pip install git+https://github.com/hafezparast/crawl4ai.git@fix/maysam-dispatcher-semaphore-count-1927
```

修正後、設定内の`semaphore_count`が適切に同時実行数を制御し、429エラーを防止します。

Question 5

なぜ enable_stealth=True が crawl4ai 0.8.6 で navigator.webdriver を隠さないのですか？

Accepted Answer

crawl4ai 0.8.6では、`StealthAdapter`が`playwright-stealth` 2.xから`stealth_async`/`stealth_sync`を誤ってインポートしており、stealthが静かにスキップされる原因となっています。crawl4ai 0.8.7にアップグレードすると、アダプターが`Stealth`クラスを使用するように更新されます：

```bash
pip install --upgrade crawl4ai==0.8.7
```

すぐにアップグレードできない場合の一時的な回避策は、`playwright-stealth`を1.xシリーズにダウングレードすることです：
```bash
pip install 'playwright-stealth<2'
```
（他の依存関係と競合する可能性があることに注意してください。）

crawl4ai

概要

README プレビュー

FAQ (5)

同类型项目

puppeteer

PaddleOCR

prisma

daisyui