Firecrawl + Dify
Firecrawl + Dify の AI ワークフロー自動化向け公式プラグイン
Dify 公式プラグイン: marketplace.dify.ai/plugins/langgenius/firecrawl
Dify チーム提供の公式プラグイン • 44,000 件以上のインストール • Chatflow & Agent アプリ対応 • 無料で利用可能
Dify はオープンソースの LLM アプリ開発プラットフォームです。公式の Firecrawl プラグインにより、AI ワークフロー内でウェブのクロールとスクレイピングを直接実行できます。
Chatflow & Workflow Apps
Firecrawl ノードでデータ抽出のためのビジュアルパイプラインを構築
Agent Applications
AI エージェントに、必要に応じて最新のウェブデータをスクレイプする機能を付与
Firecrawl プラグインをインストール
Dify Plugin Marketplace にアクセスし、Firecrawl ツールをインストールします
Firecrawl の API キーを取得
Firecrawl API Keys にアクセスして、新しい API キーを作成します
Dify で認証
Plugins > Firecrawl > To Authorize に移動し、API キーを入力します
ワークフローに追加
Firecrawl ツールを Chatflow、Workflow、または Agent アプリケーションにドラッグ＆ドロップします
設定とテスト
パラメーターを設定し、ワークフローをテストします
ビジュアルパイプライン統合
- パイプラインに Firecrawl ノードを追加
- アクションを選択（Map、Crawl、Scrape）
- 入力変数を定義
- パイプラインを順次実行
フロー例:
User Input → Firecrawl (Scrape) → LLM Processing → Responseライブデータ対応のAIチャットボット
ライブなウェブサイトのコンテンツをスクレイプし参照するRAG搭載チャットボットを構築
コンテンツ分析エージェント
複数ソースをスクレイピング・分析してトピックを調査するエージェント
競合モニタリング
競合サイトを監視し、変更を通知する自動化ワークフロー
データエンリッチメントパイプライン
ウェブサイトからデータを抽出・整備し、構造化データベースに取り込む
| ツール | 説明 | 最適な用途 |
|---|---|---|
| Scrape | 単一ページのデータ抽出 | コンテンツの素早い取得 |
| Crawl | 複数ページの再帰的クロール | サイト全体の抽出 |
| Map | URL の発見とサイトマップ化 | SEO 分析、URL リスト作成 |
| Crawl Job | 非同期ジョブ管理 | 長時間実行タスク |
Agent Apps
- スクレイピングの実行タイミングはエージェントに委ねる
- 自然言語で指示を記述する
- LLMの設定でツール呼び出しを有効にする
- 大規模なスクレイプではトークン消費を監視する
Workflow Apps
- 大規模サイトでは Crawl の前に Map を使う
- 適切なクロール上限を設定する
- エラーハンドリング用ノードを追加する
- まずは小規模なデータセットでテストする
| 機能 | Dify | Make | Zapier | n8n |
|---|---|---|---|---|
| タイプ | LLMアプリプラットフォーム | ワークフロー自動化 | ワークフロー自動化 | ワークフロー自動化 |
| 最適 | AIエージェントとチャットボット | ビジュアルワークフロー | 手早い自動化 | 開発者主導の制御 |
| 料金 | オープンソース + クラウド | オペレーション数ベース | タスク単位 | 月額固定 |
| AIネイティブ | あり | 部分的 | 部分的 | 部分的 |
| セルフホスト | 可 | 不可 | 不可 | 可 |
プロのコツ: Dify は、エージェントが動的なウェブアクセスを必要とする AIネイティブアプリの構築に最適です。ライブデータを扱うチャットボット、リサーチアシスタント、AIツールにぴったりです。