Monitoramento de páginas

O monitoramento de páginas acompanha URLs que você já conhece. Cada verificação faz scraping de cada URL no alvo, gera um diff em relação ao último snapshot retido e informa se a página está same, changed, new, removed ou error. É a escolha certa para páginas de preços, changelogs, páginas de documentação, anúncios de vagas, páginas de status ou qualquer URL conhecida em que uma pequena mudança faça diferença.

Esta página aborda o alvo scrape. Agendamento, objetivos e judging, rastreamento de mudanças, notificações e preços são compartilhados entre todos os tipos de monitoramento. Consulte a visão geral do monitoramento.

Crie um monitor com um alvo scrape que inclui uma ou mais URLs explícitas:

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # Endpoints de monitor requerem uma API key:
  api_key="fc-YOUR-API-KEY",
)

monitor = firecrawl.create_monitor(
    name="Hacker News AI monitor",
    schedule={"text": "every 30 minutes", "timezone": "UTC"},
    goal=(
        "Alert when a new Hacker News story related to AI enters the top 10. "
        "Ignore changes to stories that are not about AI. "
        "Do not alert on changes outside the top 10."
    ),
    targets=[
        {
            "type": "scrape",
            "urls": ["https://news.ycombinator.com"],
        }
    ],
    notification={
        "email": {
            "enabled": True,
            "recipients": ["[email protected]"],
            "includeDiffs": True,
        }
    },
)

print(monitor.id)

Você também pode criar monitores usando a CLI do Firecrawl:

firecrawl monitor create --name "Hacker News AI" \
  --schedule "every 30 minutes" \
  --goal "Alert when a new Hacker News story related to AI enters the top 10. Ignore changes to stories that are not about AI. Do not alert on changes outside the top 10." \
  --page https://news.ycombinator.com

Um alvo scrape exige type e um array urls com pelo menos uma URL. As opções de scraping são repassadas para os jobs de scraping correspondentes. Os scrapes acionados pelo monitor usam maxAge com valor padrão 0, então cada verificação executa um novo scraping, a menos que você defina explicitamente um maxAge diferente.

{
  "type": "scrape",
  "urls": ["https://example.com/pricing"],
  "scrapeOptions": {
    "formats": ["markdown"],
    "maxAge": 0
  }
}

Por padrão, um monitor de página faz o diff do markdown da página. Para alertar apenas quando um campo específico mudar, como um preço, uma manchete, um indicador de estoque ou os itens de uma lista, adicione o formato changeTracking a scrapeOptions do alvo. Consulte Rastreamento de mudanças para o modo JSON e o modo misto.

• Agendamentos: cron ou intervalo em linguagem natural, com mínimo de 5 minutos.
• Objetivos e avaliação: alerta apenas sobre mudanças relevantes.
• Notificações: entrega por webhook e email.
• Resultados das verificações: inspecione cada verificação e seus diffs por página.
• Preços: 1 crédito por URL por verificação, além da avaliação opcional.