Firecrawl + n8n

Webスクレイピングの自動化は、現代のビジネスに不可欠です。競合価格の監視、コンテンツの集約、リード獲得、リアルタイムデータでAIアプリを駆動する場合でも、Firecrawl と n8n の組み合わせなら、プログラミング知識なしで強力なソリューションを実現できます。

n8n とは？

n8n は、さまざまなツールやサービスを連携できるオープンソースのワークフロー自動化プラットフォームです。キャンバス上にノードをドラッグ＆ドロップして接続し、自動化フローを組み立てるビジュアルな開発環境と捉えてください。400以上の連携により、n8n はコードを書かずに高度な自動化を構築できます。

従来のウェブスクレイピングには多くの課題があります。サイト構造が変わるとカスタムスクリプトはすぐに壊れます。ボット対策で自動リクエストはブロックされがちです。JavaScript 依存のサイトは正しくレンダリングされません。インフラは常時メンテナンスが必要です。

Firecrawl はスクレイピングに伴う技術的な複雑さを引き受け、n8n は自動化の基盤を提供します。組み合わせることで、次のような本番運用に耐えるワークフローを構築できます。

• あらゆるウェブサイトから安定してデータを抽出
• 取得データをほかの業務ツールへ連携
• スケジュール実行やイベントトリガーに対応
• 単純なタスクから複雑なパイプラインまでスケール可能

このガイドでは、両プラットフォームのセットアップと、最初のスクレイピングワークフローをゼロから構築する手順を説明します。

Firecrawl はワークフロー向けに Web スクレイピング機能を提供します。アカウントを作成し、API 認証情報を取得しましょう。

1. ウェブブラウザで firecrawl.dev にアクセスする
2. 「Get Started」または「Sign Up」ボタンをクリックする
3. メールアドレスまたは GitHub でアカウントを作成する
4. 指示が表示されたら、メールを確認して認証する

サインイン後、Firecrawl を n8n に接続するには API キーが必要です:

1. Firecrawl のダッシュボードを開く
2. API Keys ページへ移動
3. 「Create New API Key」をクリック
4. キーにわかりやすい名前を付ける (例：「n8n Integration」)
5. 生成された API キーをコピーして安全な場所に保存する

Firecrawl はサインアップ時に無料クレジットを付与しており、ワークフローのテストや本チュートリアルの完了に十分です。

n8n にはクラウド版とセルフホスト版の 2 つのデプロイ方法があります。はじめての方には、クラウド版が最も手早く始められる方法です。

n8n Cloud (初心者におすすめ) ：

• インストール不要
• 無料プランあり
• マネージドなインフラ
• 自動アップデート

セルフホスト：

• データを完全にコントロール
• 自前のサーバーで実行
• Docker のインストールが必要
• 特定のセキュリティ要件がある上級ユーザー向け

ニーズに合ったオプションを選んでください。どちらの方法でも同じワークフローエディタのインターフェースにたどり着きます。

1. n8n.cloud にアクセス
2. 「Start Free」または「Sign Up」をクリック
3. メールアドレスまたは GitHub で登録
4. 本人確認 (認証) を完了
5. n8n のダッシュボードに移動します

無料プランには、ワークフローの構築とテストに必要なものが一通り揃っています。実行時間の拡張や高度な機能が必要になった場合は、後からアップグレードできます。

自社インフラ上で n8n を実行したい場合は、Docker を使って迅速にセットアップできます。

前提条件:

• コンピューターに Docker Desktop がインストールされていること
• コマンドライン／ターミナルの基本的な知識

インストール手順:

1. ターミナルまたはコマンドプロンプトを開く
2. ワークフロー データを永続化するための Docker ボリュームを作成します:

docker volume create n8n_data

このボリュームは、コンテナを再起動してもデータが保持されるよう、ワークフロー、クレデンシャル、実行履歴を保存します。

3. n8n の Docker コンテナを実行します:

docker run -it --rm --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n

4. n8n の起動を待ちます。サーバーが稼働していることを示す出力が表示されます
5. ブラウザで http://localhost:5678 にアクセスします
6. メールアドレスで登録して n8n アカウントを作成します

セルフホストの n8n インスタンスがローカルで稼働しました。インターフェースは n8n Cloud と同一なので、どちらのオプションでもこのガイドの残りを同様に進められます。

n8n に初めてログインすると、メインダッシュボードが表示されます。

主なインターフェース要素:

• Workflows: 保存したワークフローが表示されます
• Executions: ワークフロー実行の履歴
• Credentials: 保存済みの API キーと認証トークン
• Settings: アカウントとワークスペースの設定

「Create New Workflow」をクリックして、ワークフローエディタを開きます。

ワークフローエディタは自動化を構築する場所です。

重要な要素:

• キャンバス: ノードを配置して接続するメインエリア
• ノード追加ボタン (+) : クリックしてワークフローに新しいノードを追加
• ノードパネル: 「+」をクリックすると開き、利用可能なノードが一覧表示される
• ワークフローの実行: テストのためにワークフローを手動で実行
• 保存: ワークフローの設定を保存

Firecrawl ノードを追加して、最初のワークフローを作成しましょう。

n8n は Firecrawl をネイティブにサポートしています。ノードをインストールし、先ほど作成した API キーを使って Firecrawl アカウントに接続します。

1. 新しいワークフローのキャンバスで、中央の「+」ボタンをクリックします
2. 右側にノード選択パネルが開きます
3. 上部の検索ボックスに「Firecrawl」と入力します
4. 検索結果に Firecrawl ノードが表示されます

5. Firecrawl ノードの横にある「Install」をクリックします
6. インストールが完了するまで待ちます (数秒かかります)
7. インストール後、Firecrawl ノードをクリックしてキャンバスに追加します

Firecrawl ノードは、Firecrawl ロゴ付きのボックスとしてキャンバスに表示されます。このノードは、ワークフロー内の単一の Firecrawl オペレーションを表します。

Firecrawlノードを使用する前に、APIキーで認証する必要があります。

1. Firecrawlノードのボックスをクリックして、右側の設定パネルを開きます
2. 上部に「Credential to connect with」のドロップダウンが表示されます
3. 初めての場合は「Create New Credential」をクリックします

4. 資格情報の設定ウィンドウが開きます
5. この資格情報の名前を入力します (例：「My Firecrawl Account」)
6. 「API Key」フィールドにFirecrawlのAPIキーを貼り付けます
7. 画面下部の「Save」をクリックします

資格情報はn8nに保存されました。今後のFirecrawlノードではAPIキーを再入力する必要はありません。

Firecrawl ノードが正しく接続されているか確認します：

1. Firecrawl ノードを選択したまま、設定パネルを確認します
2. 「Resource」ドロップダウンで「Scrape a url and get its content」を選択します
3. 「URL」フィールドに次を入力します：https://firecrawl.dev
4. 他の設定はひとまずデフォルトのままにします
5. ノード右下の「Test step」ボタンをクリックします

すべてが正しく設定されていれば、ノード下部の出力パネルに example.com からスクレイプしたコンテンツが表示されます。

おめでとうございます！Firecrawl ノードは正常に接続され、動作しています。

最初のワークフローを構築する前に、通知を受け取るための Telegram ボットが必要です。Telegram の BotFather を使えば、無料かつ簡単にボットを作成できます。

1. スマートフォンまたはデスクトップでTelegramを開く
2. 「@BotFather」 (Telegramの公式ボット) を検索する
3. 「Start」をクリックしてBotFatherとのチャットを開始する
4. 新しいボットを作成するためにコマンド /newbot を送信する
5. BotFatherからボット名の入力を求められる (ユーザーに表示される名前)
6. 「My Firecrawl Bot」のような名前を入力する
7. 次にボットのユーザー名を選ぶ。末尾は必ず「bot」で終わる必要がある (例：「my_firecrawl_updates_bot」)
8. ユーザー名が利用可能であれば、BotFatherがボットを作成し、ボットトークンを含むメッセージを送信する

自分宛てにメッセージを送るには、Telegram のチャットIDが必要です：

1. Webブラウザを開き、次のURLにアクセスします (YOUR_BOT_TOKEN を実際のボットトークンに置き換えてください) :

   https://api.telegram.org/botYOUR_BOT_TOKEN/getUpdates

2. このブラウザタブは開いたままにしておく
3. Telegram でボットのユーザー名 (先ほど作成したもの) を検索する
4. 「Start」をクリックしてボットとのチャットを開始する
5. ボットに任意のメッセージを送る (例：「hello」)
6. ブラウザタブに戻ってページを更新する
7. JSON レスポンス内の "chat":{"id": フィールドを探す
8. "id": の横にある数値がチャットID (例：123456789)
9. 後で使えるようにこのチャットIDを保存しておく

これで、Telegram を n8n のワークフローに統合する準備が整いました。

ここでは、情報をあなたの Telegram に直接送信する3つの実用的なワークフローを構築します。これらの例では、Firecrawl のさまざまな操作と、それらを Telegram 通知に統合する方法を示します。

毎朝、Telegram に Firecrawl のプロダクトアップデート要約を配信します。

作成するもの:

• 毎日午前9時に Firecrawl のプロダクトアップデートブログをスクレイピング
• コンテンツの要約を AI で生成
• 要約を Telegram に送信

手順:

1. n8n で新しいワークフローを作成
2. Schedule Trigger ノードを追加:
   • キャンバス上の「+」ボタンをクリック
   • 「Schedule Trigger」を検索
   • 設定: 毎日 午前9:00

3. Firecrawl ノードを追加:
   • Schedule Trigger の横の「+」をクリック
   • 「Firecrawl」を検索して追加
   • Firecrawl の認証情報を選択
   • 設定:
     • Resource: URL をスクレイプしてコンテンツを取得
     • URL: https://www.firecrawl.dev/blog/category/product-updates
     • Formats: 「Summary」を選択

4. Telegram ノードを追加:

   • Firecrawl の横の「+」をクリック
   • 「Telegram」を検索
   • 「Send a text message」をクリックしてキャンバスに追加

5. Telegram の認証情報を設定:

   • Telegram ノードをクリックして設定を開く
   • 「Credential to connect with」ドロップダウンで「Create New Credential」をクリック
   • BotFather で取得したボットトークンを貼り付け
   • 「Save」をクリック

6. Telegram メッセージを設定:

   • Operation: Send Message

   • Chat ID: 自分のチャット ID を入力

   • Text: ひとまず「hello」のままにする

   • Firecrawl から要約を受け取りつつ、メッセージ送信をテストするため「Execute step」をクリック。

• Firecrawl の要約構造に合わせ、Firecrawl ノードの出力から summary フィールドをドラッグしてメッセージ本文に追加します。

7. ワークフローをテスト:
   • 「Execute Workflow」をクリック
   • Telegram で要約メッセージを確認

8. 「Active」スイッチを切り替えてワークフローを有効化

これで Telegram ボットが、毎朝午前9時に Firecrawl のプロダクトアップデート要約を送信します。

このワークフローでは、FirecrawlのSearch操作を使ってAIニュースを検索し、整形した結果をTelegramに送信します。

例 1 からの主な違い:

• スケジュールではなくManual Triggerを使用 (オンデマンド実行)
• Scrapeの代わりにSearch操作を使用
• 複数の結果を整形するためにCodeノードを追加

ワークフローの構築:

1. 新しいワークフローを作成し、Manual Triggerノードを追加

2. 次の設定でFirecrawlノードを追加:

   • Resource: 検索し、必要に応じて検索結果をスクレイプ
   • Query: ai news
   • Limit: 5

3. 検索結果を整形するためにCodeノードを追加:
   • 「Run Once for All Items」を選択
   • 次のコードを貼り付け:

const results = $input.all();
let message = "最新のAIニュース:\n\n";

results.forEach((item) => {
  const webData = item.json.data.web;
  webData.forEach((article, index) => {
    message += `${index + 1}. ${article.title}\n`;
    message += `${article.description}\n`;
    message += `${article.url}\n\n`;
  });
});

return [{ json: { message } }];

4. Telegram ノードを更新 (保存済みの認証情報を使用) :
   • Text: Code ノードの message フィールドをドラッグ

このワークフローは Example 2 に AI を追加し、OpenAI を使って最新の AI ニュースを Telegram に送信する前に賢く要約を生成します。

Example 2 からの主な変更点:

• OpenAI の認証情報の設定を追加
• Code と Telegram の間に AI Agent ノードを追加
• AI Agent がニュース記事を分析し、的確に要約
• Telegram は生のニュース一覧ではなく、AI 生成の要約を受け取る

ワークフローの変更点:

1. OpenAI API キーを取得:
   • platform.openai.com/api-keys にアクセス
   • サインインするかアカウントを作成
   • 「Create new secret key」をクリック
   • 名前を付ける (例: 「n8n Integration」)
   • すぐに API キーをコピー (後からは表示されません)

2. AI Agent ノードを追加して接続:
   • Code ノードの後で「+」をクリック
   • 「Basic LLM Chain」または「AI Agent」を検索
   • Code ノードの message フィールドを AI Agent の入力プロンプト欄にドラッグ
   • LLM プロバイダーとして OpenAI を選択

3. OpenAI の認証情報を追加:
   • OpenAI で「Create New Credential」をクリック
   • OpenAI API キーを貼り付け
   • モデルを選択: gpt-5-mini (コスト効率重視) または gpt-5 (高性能)
   • 「Save」をクリック

4. AI Agent にシステムプロンプトを追加:
   • AI Agent ノードで、次のシステムプロンプトを追加:

あなたはAIニュースアナリストです。提供されたAIニュース記事を分析し、最も重要な開発動向とトレンドを強調した簡潔で洞察力のある要約を作成してください。
関連するトピックをまとめ、これらの開発がなぜ重要なのかについて背景情報を提供してください。
要約は会話調で魅力的なものとし、3〜4段落程度にまとめてください。

5. Telegram ノードを更新してテスト:
   • Telegram ノードを更新:
     • Text: AI Agent の出力 (生成された要約) をドラッグ
     • Code ノードの message への旧マッピングを削除
   • 「Execute Workflow」をクリックしてテスト
   • AI がすべてのニュース記事を解析し、要約を作成
   • Telegram で AI 生成の要約を確認

いくつかワークフローを作成したところで、n8nで利用できるFirecrawlの各種オペレーションを見ていきましょう。各オペレーションは、特定のWebスクレイピングのユースケースに合わせて設計されています。

単一のウェブページからコンテンツを抽出し、さまざまなフォーマットで返します。

機能:

• 単一のURLをスクレイピング
• クリーンなMarkdown、HTML、またはAI生成の要約を返す
• スクリーンショットの取得やリンクの抽出に対応

適した用途:

• 記事の抽出
• 商品ページの監視
• ブログ記事のスクレイピング
• ページ要約の生成

使用例: 毎日のブログ要約 (上の例1のように)

Scrape の後に Interact を使うワークフローでは、永続 profile を Scrape ステップで設定します。Interact ステップで必要なのは、スクレイピングのレスポンスに含まれる scrapeId と、プロンプトまたはコードだけです。Interact のリクエストボディに profile を追加しないでください。Interact はスクレイピングジョブからプロファイルを引き継ぎます。

Cookie、localStorage、その他のブラウザ状態を保存するには、ワークフローの完了時に Interact セッションを停止してください。後続のワークフロー実行で既存のプロファイルを読み取るだけでよい場合は、Scrape ステップで saveChanges を false に設定してください。

インストール済みの Firecrawl n8n ノード のバージョンで Scrape オペレーションのプロファイル設定が表示されない場合は、最新の Firecrawl n8n ノード に更新してください。お使いの n8n のバージョンがその ノード のカスタム request または body options をサポートしている場合は、同じ profile オブジェクトをそこに渡すこともできます:

{
  "profile": {
    "name": "my-profile",
    "saveChanges": true
  }
}

ウェブ検索を実行し、必要に応じてコンテンツをスクレイピングした結果を返します。

機能:

• ウェブ、ニュース、画像の検索
• タイトル、説明、URLの返却
• 必要に応じて結果の全文をスクレイピング

適した用途:

• リサーチの自動化
• ニュースのモニタリング
• トレンドの発見
• 関連コンテンツの発見

使用例: AIニュースアグリゲーション (上記のExample 2のように)

ウェブサイト上の複数ページを再帰的に検出してスクレイピングします。

機能:

• リンクを自動追跡
• 複数ページを一度にスクレイピング
• パターンによるURLフィルタリング

適した用途:

• ドキュメントの一括抽出
• サイトアーカイブ
• 複数ページのデータ収集

コンテンツをスクレイピングせずに、サイトで見つかったすべての URL を返します。

機能:

• サイト内のすべてのリンクを検出
• クリーンな URL リストを返す
• 高速・軽量

最適な用途:

• URL のディスカバリー
• サイトマップ生成
• 大規模クロールの計画

カスタムプロンプトやスキーマに基づき、AIで構造化情報を抽出します。

機能:

• AIによるデータ抽出
• 指定した形式でデータを返す
• 複数ページに対応

適している用途:

• カスタムデータ抽出
• データベースの構築
• 構造化情報の収集

複数のURLを並行で効率的にスクレイピングします。

機能:

• 複数URLを一括処理
• ループより高効率
• 結果をまとめて返す

適した用途:

• URLリストの一括処理
• 大量データの収集
• 大規模なスクレイピングプロジェクト

自然言語プロンプトに基づいて、AI エージェントが自律的にウェブサイトを閲覧し、データを抽出します。

機能概要:

• 必要なデータの内容を説明するプロンプトを受け取る
• AI エージェントが自律的にページを移動しながら情報を抽出する
• Sync モード (結果が返るまで待機) と Async モード (すぐにジョブ ID を返却) が利用可能
• Async モード使用時は Get Agent Status を使って結果をポーリングする

適している用途:

• プロンプトに基づいて行う、複雑で複数ページにまたがるデータ収集
• 正確なページ構造が分からない状態での情報抽出
• 複数ページをまたいでナビゲーションが必要となるリサーチタスク

Sync と Async の違い:

• Agent (Sync) はジョブを開始し、1 ステップで結果が返ってくるため、ほとんどのユースケースで最もシンプルです。Max Wait Time パラメータは、タイムアウトするまでノードが結果をポーリングする時間を制御します (デフォルト: 300 秒、最大: 600 秒) 。Agent ジョブの所要時間がこれを超える場合、Firecrawl 側ではジョブが完了する可能性があっても、ノードはタイムアウト status を返します。10 分を超える可能性があるジョブについては、代わりに Async モードを使用してください。
• Agent (Async) はすぐにジョブ ID を返します。ジョブ完了後に結果を取得するために、Get Agent Status オペレーションを持つ 2 つ目の Firecrawl ノードを追加してください。

Agent 機能の詳細は、Agent documentation を参照してください。

コードで制御できる永続的なブラウザセッションを提供し、1 つのセッション内で複数ステップのブラウザ自動化を実行できます。

オペレーション:

• ブラウザセッションを作成 — 新しいブラウザセッションを開始し、sessionId を返します
• ブラウザコードを実行 — セッション内で JavaScript、Python、または bash コードを実行します (作成ステップの sessionId を使用)
• ブラウザセッションを一覧表示 — アクティブなセッションと破棄済みのセッションを一覧表示します
• ブラウザセッションを削除 — 不要になったセッションを破棄します

最適な用途:

• ページをまたいで状態を維持する必要がある、複数ステップのブラウザワークフロー
• ステップ数が事前にわからない動的なページナビゲーション
• 永続的なブラウザプロファイルを使用して、実行間で Cookie や localStorage を保持するワークフロー

n8n では、Firecrawl ノードの Browser リソースを選択すると、これらのオペレーションを利用できます。「ブラウザセッションを作成」ステップで取得した sessionId を、後続の各「ブラウザコードを実行」または「ブラウザセッションを削除」ステップに渡してください。動的なページリストを順に処理するには、n8n の Loop Over Items ノードを使用し、同じセッション内で各ページごとに「ブラウザコードを実行」を呼び出します。

ブラウザサンドボックス 機能の詳細については、ブラウザサンドボックス documentation を参照してください。

ゼロから構築する代わりに、あらかじめ用意されたテンプレートから始められます。n8nコミュニティは、コピーしてカスタマイズできる多数のFirecrawlワークフローを作成しています。

n8n コミュニティのテンプレートを使用するには:

1. ワークフローテンプレートのリンクをクリック
2. テンプレートページで「Import template to localhost:5678 self-hosted instance」ボタンをクリック
3. n8n インスタンスでワークフローが開きます
4. 各ノードの認証情報を設定
5. ユースケースに合わせて設定をカスタマイズ
6. ワークフローを有効化

信頼性が高く効率的なワークフローを構築するには、次のガイドラインに従ってください。

• スケジュールを有効にする前に、必ずワークフローを手動でテストする
• フロー全体をテストするには「Execute Workflow」ボタンを使う
• 各ノードで出力データを確認して正確性を検証する
• 過去の実行を確認して問題をデバッグするには「Executions」タブを使う

• 失敗を検知して処理するために Error Trigger ノードを追加する
• ワークフロー失敗時の通知を設定する
• 重要度の低いノードには「Continue On Fail」設定を使う
• ワークフローの実行を定期的に監視する

• 複数のURLにはループではなくBatch Scrapeを使う
• 対象サイトに過度な負荷をかけないよう、適切なレート制限を設定する
• 不要なリクエストを減らすため、可能な場合はデータをキャッシュする
• 高負荷なワークフローはオフピーク時間に実行するようスケジュールする

• ワークフロー設定で API キーを絶対に公開しない
• 認証情報は n8n のクレデンシャル機能で安全に保管する
• ワークフローを公開共有する際は注意する
• 対象サイトの利用規約および robots.txt を順守する

これで Firecrawl と n8n を使ってウェブスクレイピングの自動化を構築するための基礎は身につきました。ここからの学習の進め方は次のとおりです：

• リアルタイム処理のための Webhook 設定を学ぶ
• プロンプトとスキーマを使った AI ベースの抽出を試す
• 分岐ロジックを備えた複雑なマルチステップのワークフローを構築する

• Firecrawl Discord - Firecrawlの質問やウェブスクレイピングの議論に参加
• n8n Community Forum - ワークフロー自動化に関する質問はこちら
• ワークフローを共有して、コミュニティから学びましょう

1. このガイドの例示ワークフローを一通り実行する
2. コミュニティライブラリのテンプレートをカスタマイズする
3. 業務の実課題を解決するワークフローを構築する
4. Firecrawl の高度な操作を学ぶ
5. 他のユーザーのために自作テンプレートを公開する

• Firecrawl API ドキュメント
• n8n ドキュメント
• Webスクレイピングのベストプラクティス