Cerebro / Mercado

Pipeline de coleta: scraper Maps + sites + Jev

Cadeia de scripts grátis ou quase grátis que transforma buscas no Google Maps, sites, anúncios e vídeos em uma base classificada; o gargalo é coletar texto, não classificar.

mercadoEstudo (base inicial)exploratoriomercadopipelineferramenta2026-11-05

Conteúdo

Etapas (pasta /srv/estudo-agencias-ia/scripts):

  1. Maps — gosom/google-maps-scraper em Docker, grátis, no lugar do Apify. Flag de saída: -exit-on-inactivity 3m. 20 buscas ≈ 10 min ≈ 250 empresas.
  2. Empresas — maps_para_empresas.py tira as duplicadas.
  3. Sites — coletar_sites.py lê a home e até 3 páginas (serviços, preços, cases), 20 em paralelo.
  4. Classificação — classificar_jev.py faz 1 chamada ao Jev por empresa, com todas as perguntas juntas (perguntas.py). Modelo fixo jev-1.13.0.
  5. Revisão — campo crítico (tipo, nicho, cobrança, promessa) com confiança abaixo de 0,6 vai para o Claude. No piloto: 58 de 133.
  6. Resumo — analisar.py gera base.xlsx e resumo.json.

Anúncios e vídeos:

  • meta_ads.py lê a Biblioteca de Anúncios sem login (Playwright). Use só a 1ª página (~30) por termo: a paginação dá "Rate limit exceeded".
  • transcrever.py transcreve vídeos com faster-whisper local. Links de vídeo do fbcdn expiram em horas: transcreva logo.
  • YouTube: só busca "flat" do yt-dlp com pausa de 2 s; a página do vídeo bloqueia após 8 conexões.
  • Instagram, TikTok e Creative Center ficaram bloqueados sem login na VPS (17/10).

O Jev:

  • Modelo de decisão da TypeSafe AI. Não gera texto nem pesquisa.
  • Tipos de pergunta: sim/não, escolha (até 255 opções) e nota (2–10 níveis).
  • Preço: US$ 0,042 por milhão de tokens de entrada; saída grátis. ~700 tokens por empresa: 5 mil empresas custam menos de US$ 1.
  • Custos reais: piloto US$ 0,03; YouTube US$ 0,06.
  • Limite: não extrai texto livre (preço exato, frase da promessa). Use faixas ou o Claude na amostra.

Por que grátis: o Apify chegou a US$ 69,24 de US$ 70 no ciclo 23/09–22/10, e o Lucca pediu soluções grátis.

Relacionados

Fontes