プロキシ
プロキシの種類やロケーション、Firecrawl がリクエストに対してプロキシを選択する方法について解説します。
Firecrawl は、複雑さが異なるウェブサイトのスクレイピングを支援するために、複数のプロキシタイプを提供しています。プロキシタイプは proxy パラメータで指定できます。
既定では、プロキシタイプやロケーションを指定しなくても、信頼性とアクセス性を確保するために、Firecrawl はすべてのリクエストをプロキシ経由でルーティングします。
Firecrawl は、指定または自動検出されたロケーションに基づいて最適なプロキシを自動的に選択します。これにより、スクレイピングのパフォーマンスと信頼性が向上します。ただし、現時点ではすべてのロケーションに対応しているわけではありません。利用可能なロケーションは次のとおりです:
| 国コード | 国名 | ベーシックプロキシ対応 | 拡張プロキシ対応 | | ---- | -------- | ----------- | -------- | | AE | アラブ首長国連邦 | あり | なし | | AU | オーストラリア | あり | なし | | BR | ブラジル | あり | なし | | CA | カナダ | あり | なし | | CN | 中国 | あり | なし | | DE | ドイツ | あり | なし | | DK | デンマーク | あり | なし | | EE | エストニア | あり | なし | | EG | エジプト | あり | なし | | ES | スペイン | あり | なし | | FR | フランス | あり | なし | | GB | 英国 | あり | なし | | GR | ギリシャ | あり | なし | | IL | イスラエル | あり | なし | | IN | インド | あり | なし | | IT | イタリア | あり | なし | | JP | 日本 | あり | なし | | NL | オランダ | あり | あり | | PT | ポルトガル | あり | なし | | QA | カタール | あり | なし | | TR | トルコ | あり | なし | | US | アメリカ合衆国 | あり | あり |
上記にないロケーションのプロキシが必要な場合は、こちらからご連絡のうえ、要件をお知らせください。
プロキシやロケーションを指定しない場合、Firecrawl は自動的に US のプロキシを使用します。
リクエストで location.country パラメータを設定すると、特定のプロキシロケーションを指定できます。たとえば、ドイツのプロキシを使う場合は location.country に DE を指定します。
詳細は APIリファレンスの location.country を参照してください。
from firecrawl import Firecrawl
firecrawl = Firecrawl(
# 開始にAPIキーは不要です — レート制限を引き上げるには追加してください:
# api_key="fc-YOUR-API-KEY",
)
doc = firecrawl.scrape('https://example.com',
formats=['markdown'],
location={
'country': 'US',
'languages': ['en']
}
)
print(doc)location は必要だと確信できる場合を除き、指定しないことを強く推奨します。Firecrawl は3種類のプロキシをサポートしています:
- basic: ほとんどのサイトをスクレイピングするためのプロキシ。高速で、通常は問題なく動作します。
- enhanced: プライバシーを維持しながら複雑なサイトをスクレイピングするための強化プロキシ。速度は遅くなりますが、特定のサイトではより信頼性があります。Enhanced Mode の詳細はこちら →
- auto: basic プロキシが失敗した場合、Firecrawl は自動的に強化プロキシでスクレイピングを再試行します。強化プロキシでの再試行が成功した場合、そのスクレイピングには5クレジットが請求されます。最初の basic での試行が成功した場合は、通常のコストのみが請求されます。
Note: クレジットコストや再試行戦略を含む強化プロキシの詳細な使用方法については、Enhanced Mode のドキュメントを参照してください。
Firecrawl API キーが必要な AI agent ですか? 自動オンボーディング手順については、firecrawl.dev/agent-onboarding/SKILL.mdを参照してください。