SIEM 監査ログ

SIEM 監査ログは、直接のスクレイピング呼び出し、クロール、バッチスクレイプ、検索、抽出、agent run のいずれによるものでも、Firecrawl がお客様に代わって実行するすべてのスクレイピングについて、構造化されたアクティビティイベントを組織の SIEM にストリーミングします。セキュリティチームは、すでに使用しているツール内で、何が取得され、どの API キーで実行され、どのような結果になったかを完全な監査証跡として照会できます。

配信はサーバー側で帯域外に行われます。イベントはバッチ処理され、Firecrawl のインフラストラクチャから送信されるため、API リクエストを変更する必要はなく、送信先が低速または利用できない場合でもスクレイピングが遅延することはありません。

最初にサポートされる送信先は、Microsoft Sentinel (Azure Monitor Logs) です。イベントは、クライアント認証情報を使用する Microsoft Entra アプリケーションで認証され、イベントを Log Analytics ワークスペースにマッピングする Data Collection Endpoint (DCE) と Data Collection Rule (DCR) を介して、Logs Ingestion API に送信されます。

別の送信先が必要な場合は、アカウントチームにお問い合わせください。

Firecrawl がお客様に代わって取得する URL ごとに、1 つのイベントが記録されます。セットアップ時に作成する Data Collection Rule により、イベントは ASIM web session schema に正規化されてワークスペースにマッピングされるため、既存の Sentinel コンテンツ (分析ルール、ハンティングクエリ、ワークブック) を Firecrawl 固有の解析なしで各行に適用できます。

各行には次の情報が含まれます。

• 取得情報 — 対象の URL とドメイン、HTTP ステータス、開始時刻と終了時刻。
• 結果 — 成功、失敗、ブロック (セキュリティポリシーによって取得が拒否された) 、またはキャンセル。EventSeverity は、プロバイダーによって確認された脅威と、お客様独自のポリシールールによってブロックされた取得を区別します。
• 帰属情報 — 取得をトリガーした API キー (ID と表示名) と、その取得元のワークフロー (スクレイピング、クロール、バッチスクレイプ、検索、抽出、agent、または解析) 。
• ジョブのグループ化 — 1 回の API リクエスト内のすべての取得で共有されるリクエスト識別子。クエリでは、クロール全体を 1 つのジョブとして再構成できます。
• お客様の相関 ID — お客様のシステムがリクエストに付加したメタデータも行に記録されるため、イベントを独自のチケットまたはセッション識別子と対応付けられます。

脅威保護 が有効な場合、行には判断に関するコンテキストも含まれます。判断を行ったルール、参照した分類器、関連する脅威カテゴリ、さらに Zscaler によって分類された URL の場合はセキュリティアラートフラグです。エクスポートされるのはこれらの正規化されたフィールドのみであり、生の分類器レスポンスが Firecrawl の外部に送信されることはありません。

Entra アプリケーション、DCE、カスタムテーブルを含む DCR を作成し、Firecrawl をそれらに接続します。Team 管理者は、ダッシュボードの Enterprise Controls → SIEM で接続を設定します。このページでは、コピーして使えるコマンドとともに、Azure での各手順を案内します。

概要は次のとおりです。

1. クライアントシークレットを使用して Entra アプリケーションを作成します。Firecrawl はこの認証情報を使用して認証します。アプリには、DCR に対して Monitoring Metrics Publisher ロールのみを付与してください。
2. イベント用のカスタムテーブルを含む DCE と DCR を作成します。ダッシュボードには、テーブルスキーマとイベントを ASIM に正規化する変換が表示されます。DCE 取り込み URL、DCR の不変 ID、ストリーム名を控えておいてください。
3. ダッシュボードに詳細を入力します：テナント ID、クライアントID、クライアントシークレット、DCE URL、DCR の不変 ID、ストリーム名。
4. 保存します。 Firecrawl はテストイベントを送信して宛先を検証し、宛先が受け入れた場合にのみストリーミングを有効にします。テストイベントはいつでも再送信できます。

クライアントシークレットは書き込み専用です。保存時に暗号化され、以降表示されることはありません。いつでも新しいシークレットを入力して置き換えられます。後続の保存時にシークレットフィールドを空欄のままにすると、保存済みのシークレットが維持されます。

• 組織ごとにバッチ配信 — イベントは組織ごとにまとめてバッチで配信され、通常はスクレイピングの完了後数秒以内に届きます。
• バックオフによる再試行 — 一時的な配信先の障害は、待機時間を段階的に延ばしながら再試行されます。配信先で障害が発生しても監査証跡がすぐに失われることはなく、配信先が復旧すると配信が再開されます。
• リクエストパスには含まれない — 配信の問題によって API リクエストが遅延したり失敗したりすることはありません。再試行の上限を超えて配信先が利用不可の状態が続く場合、影響を受けるイベントはスクレイピングをブロックせずに破棄されます。配信の状態は dashboard で確認できます。
• 固定エグレス — 配信トラフィックは専用の固定 IP アドレスから送信されるため、収集エンドポイントの前段にあるネットワーク制御で Firecrawl を allowlist に追加できます。アドレスについては アカウントチーム にお問い合わせください。

• SIEM 監査ログを使用してもクレジットは消費されません。
• イベントにはリクエストのメタデータと結果が記録されます。スクレイピングしたページのコンテンツが SIEM に送信されることはありません。
• ゼロデータ保持を利用しているチームは SIEM 監査ログを使用できます。イベントには zero_data_retention: true のフラグが設定されます。