Cloudflare Workers
Cloudflare Workers で Firecrawl を使い、エッジで Web データを検索、スクレイピング、Interact します。
- Wrangler CLI (
npm install -g wrangler) - Firecrawl APIキー — 無料で取得する
npm create cloudflare@latest my-scraper
cd my-scraper
npm install firecrawlAPIキーをシークレットとして追加します:
wrangler secret put FIRECRAWL_API_KEYWebを検索し、ページ全体のコンテンツを含む結果を返すハンドラーを作成します。
src/index.ts を編集します:
import { Firecrawl } from "firecrawl";
export interface Env {
FIRECRAWL_API_KEY: string;
}
export default {
async fetch(request: Request, env: Env): Promise<Response> {
const firecrawl = new Firecrawl({ apiKey: env.FIRECRAWL_API_KEY });
const url = new URL(request.url);
if (request.method === "POST" && url.pathname === "/search") {
const { query } = (await request.json()) as { query: string };
const results = await firecrawl.search(query, { limit: 5 });
return Response.json(results);
}
return new Response("Not found", { status: 404 });
},
};任意のURLからクリーンなMarkdownを抽出するため、/scrape ルートを追加します。
if (request.method === "POST" && url.pathname === "/scrape") {
const { url: targetUrl } = (await request.json()) as { url: string };
const result = await firecrawl.scrape(targetUrl);
return Response.json(result);
}実行中のブラウザセッションを操作するための /interact ルートを追加します。ボタンをクリックしたり、フォームに入力したり、動的なコンテンツを抽出したりできます。
if (request.method === "POST" && url.pathname === "/interact") {
const result = await firecrawl.scrape("https://www.amazon.com", {
formats: ["markdown"],
});
const scrapeId = result.metadata?.scrapeId;
await firecrawl.interact(scrapeId, {
prompt: "Search for iPhone 16 Pro Max",
});
const response = await firecrawl.interact(scrapeId, {
prompt: "Click on the first result and tell me the price",
});
await firecrawl.stopInteraction(scrapeId);
return Response.json({ output: response.output });
}wrangler deploycurl -X POST https://my-scraper.<your-subdomain>.workers.dev/search \
-H "Content-Type: application/json" \
-d '{"query": "firecrawl web scraping"}'Was this page helpful?Suggest editsRaise issue