概要
Scraplingは、単一リクエストから大規模クローリングまで対応する適応型ウェブスクレイピングフレームワークです。そのパーサーはサイトの変化を学習し、ページ更新時に自動的に要素を再配置します。Cloudflare Turnstileなどのアンチスクレイピングシステムを内蔵で回避し、同時マルチセッションクローリングやプロキシローテーションをサポートしています。
README プレビュー
\n\n\n \n \n \n \n \n \n \n Effortless Web Scraping for the Modern Web\n\n\n\n \n \n العربيه | Español | Português (Brasil) | Français | Deutsch | 简体中文 | 日本語 | Русский | 한국어\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n\n\n\n Selection methods\n ·\n Fetchers\n ·\n Spiders\n ·\n Proxy Rotation\n ·\n CLI\n ·\n MCP\n\n\nScrapling is an adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl.\n\nIts parser learns from website changes and automatically relocates your elements when pages update. Its fetchers bypass anti-bot systems like Cloudflare Turnstile out of the box. And its spider framework lets you scale up to concurrent, multi-session crawls with pause/resume and automatic proxy rotation - all in a few lines of Python. One library, zero compromises.\n\nBlazing fast crawls with real-time stats and streaming. Built by Web Scrapers for Web Scrapers and regular users, there's something for everyone.\n\n```python\nfrom scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher\nStealthyFetcher.adaptive = True\np = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Fetch website under the radar!\nproducts = p.css('.product', auto_save=True) # Scrape data that survives website design changes!\nproducts = p.css('.product', adaptive=True) # Later, if the website structure changes, pass `adaptive=True` to find them!\n```\nOr scale up to full crawls\n```python\nfrom scrapling.spiders import Spider, Response\n\nclass MySpider(Spider):\n name = "demo"\n start_urls = ["https://example.com/"]\n\n async def parse(self, response: Response):\n for item in response.css('.product'):\nFAQ (2)
トラブル対応ClawHubのScrapling skillのページが空白または壊れているのはなぜですか？
トラブル対応
ClawHubのScrapling skillのページが空白または壊れているのはなぜですか？これは一時的な障害（openclaw/clawhub#2345）であり、解決されました。https://clawhub.ai/D4Vinci/scrapling-official のページは現在動作しています。それでも空のページが表示される場合は、フォールバックとして agent-skill GitHubディレクトリのzipファイルを使用してみてください：https://github.com/D4Vinci/Scrapling/tree/main/agent-skill
トラブル対応MCPサーバーセッション間でクッキーを永続化する方法は？
トラブル対応
MCPサーバーセッション間でクッキーを永続化する方法は？MCPサーバーは永続的なブラウザプロファイルをサポートしていません。回避策: StealthySession(user_data_dir='/path/to/profile') を使用してPython APIを直接利用してください。例: async with StealthySession(headless=True, user_data_dir='/path/to/profile') as session: page = await session.fetch(url)。その後、スクリプトをAIに渡します。これにより、呼び出し間でログイン状態が保持されます。