Rust

在 Rust 中开始使用 Firecrawl。使用官方 SDK 搜索、抓取网页数据并与之交互。

前置条件

Rust 1.70+，并已安装 Cargo
一个 Firecrawl API 密钥——免费获取

安装 crate

将 firecrawl 添加到 Cargo.toml 中：

[dependencies]
firecrawl = "2"
tokio = { version = "1", features = ["full"] }
serde_json = "1"

进行网页搜索

use firecrawl::{Client, SearchOptions};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let client = Client::new("fc-YOUR-API-KEY")?;

    let results = client.search(
        "firecrawl web scraping",
        SearchOptions { limit: Some(5), ..Default::default() },
    ).await?;

    if let Some(web) = results.data.web {
        for item in web {
            if let firecrawl::SearchResultOrDocument::WebResult(r) = item {
                println!("{} - {}", r.url, r.title.unwrap_or_default());
            }
        }
    }
    Ok(())
}

抓取网页

let doc = client.scrape("https://example.com", None).await?;
println!("{}", doc.markdown.unwrap_or_default());

与页面交互

先抓取网页以获取 scrapeId，然后使用交互 API 控制浏览器会话：

use firecrawl::{Client, ScrapeOptions, Format, ScrapeExecuteOptions};

let doc = client.scrape(
    "https://www.amazon.com",
    ScrapeOptions {
        formats: Some(vec![Format::Markdown]),
        ..Default::default()
    },
).await?;

let scrape_id = doc.metadata
    .as_ref()
    .and_then(|m| m.scrape_id.as_deref())
    .expect("scrapeId not found");

// 发送 prompt 与页面交互
let run = client.interact(
    scrape_id,
    ScrapeExecuteOptions {
        prompt: Some("Search for iPhone 16 Pro Max".to_string()),
        ..Default::default()
    },
).await?;

let run = client.interact(
    scrape_id,
    ScrapeExecuteOptions {
        prompt: Some("Click on the first result and tell me the price".to_string()),
        ..Default::default()
    },
).await?;

println!("{:?}", run.output);

// 关闭会话
client.stop_interaction(scrape_id).await?;

环境变量

设置 FIRECRAWL_API_KEY，不要直接传入 API 密钥：

export FIRECRAWL_API_KEY=fc-YOUR-API-KEY

let api_key = std::env::var("FIRECRAWL_API_KEY")?;
let client = Client::new(api_key)?;

后续步骤

Search 文档

进行网页搜索并获取完整页面内容

抓取文档

包含所有抓取选项，包括 formats、actions 和代理

交互文档

点击、填写表单并提取动态内容

Rust SDK 参考

完整的 SDK 参考，包含爬取、map、batch scrape 等功能