Extração de dados
Dados públicos da web recolhidos numa folha de cálculo ou base de dados limpa, uma vez ou com periodicidade.
Principais características
- Revisão da fonte com eventuais restrições indicadas
- Script de scraping em Python ou Node.js
- Conjunto de dados limpo no formato que escolher
- Agendamento e alertas, em pacotes recorrentes
- Documentação para executar ou alterar o scraper
- Aqui não se paga nadaRecebe primeiro um orçamento por escrito. Sem pagamento, sem compromisso.
- Vendido e entregue pela GRADAXUm contrato e uma equipa, independentemente de quem faz o trabalho.
- Os seus dados ficam na UENada é movido para fora da união para ser processado.
Sobre este serviço
Preços, listagens de produtos, entradas de diretórios, concursos públicos e outras informações publicadas em sites, recolhidas por script em dados estruturados que pode usar. Verificamos primeiro o que é permitido, criamos um scraper que lida com paginação e alterações e entregamos CSV, Excel, Google Sheets ou base de dados limpos.
Permitido antes de possível
Quase qualquer site público pode, tecnicamente, ser extraído. Se deve ser é outra questão. Alguns sites proíbem o acesso automatizado nos seus termos, alguns publicam dados pessoais regulados pelo GDPR, e alguns estão atrás de inícios de sessão que não está autorizado a automatizar.
Analisamos cada fonte antes de escrever código: termos de utilização, regras do robots e se estão envolvidos dados pessoais. Recusamos fontes que proíbem claramente o scraping ou exigem acesso não autorizado, e sinalizamos dados pessoais para que possa verificar a sua base legal com um advogado. Não somos juristas e não damos pareceres jurídicos.
Scrapers break; plan for it
Os sites mudam o layout sem aviso. Um scraper que funcionava perfeitamente na semana passada devolve de repente campos vazios ou valores errados. Se ninguém notar, as decisões são tomadas com dados avariados.
Os nossos scrapers agendados verificam o seu próprio resultado. Se uma execução devolver muito menos registos do que o habitual, ou se campos obrigatórios vierem vazios, recebe um alerta em vez de uma folha de cálculo silenciosamente errada. O pacote maior inclui três meses de correções quando as fontes mudam.
Também fazemos scraping com respeito: taxas de pedidos limitadas, respeito pela carga do site e identificação quando apropriado. O scraping agressivo é bloqueado e pode prejudicar o site de que depende para os dados.
- Fontes analisadas quanto a termos e dados pessoais
- Taxas de pedido educadas
- Validação e alertas em cada execução agendada
- Saída limpa em CSV, Excel, Sheets ou base de dados
Especificações
- Categoria
- Automação e dados
- Preço
- € 290 a € 1.050
- Tamanhos
- Pequeno (Extração pontual), Médio (Extração de várias fontes), Grande (Scraper agendado)
- Prazo de execução
- 3 dias a 3 semanas
- Faturado
- Pagamento único
- O que recebe
- 5 itens, tudo incluído no preço
- O que precisamos de si
- Os sites e campos de que precisa, Exemplo de como os dados finais devem ficar, Com que frequência precisa de ser atualizado
- Comprado mais frequentemente por
- Comércio eletrónico, Estudo de mercado, Imobiliário, Compras
- Vendido e entregue por
- GRADAX, um contrato e uma só equipa
- Onde são tratados os seus dados
- União Europeia
O que recebe
Tudo o que está abaixo está incluído no preço. Nada aqui é um upgrade.
- Revisão da fonte com eventuais restrições indicadas
- Script de scraping em Python ou Node.js
- Conjunto de dados limpo no formato que escolher
- Agendamento e alertas, em pacotes recorrentes
- Documentação para executar ou alterar o scraper
O que muda
- Dados em colunas limpas com formatos consistentes
- Fontes verificadas quanto a termos, regras de robots e dados pessoais antes da recolha
- Execuções agendadas que o alertam quando um site muda e quebra o scraper
- Duplicados removidos e campos validados
Compare os tamanhos
O preço padrão para cada tamanho. Os extras têm preço ao lado, não escondidos atrás de uma chamada.
| Incluído | Extração pontual€ 2903 a 5 dias úteis | Extração de várias fontes€ 5001 a 2 semanas | Scraper agendado€ 1.0502 a 3 semanas |
|---|---|---|---|
| Um website | Incluído | Incluído | Incluído |
| Até 10.000 registos | Incluído | Incluído | Incluído |
| Saída em CSV ou Excel | Incluído | Incluído | Incluído |
| Limpeza básica | Incluído | Incluído | Incluído |
| Tudo no Extração pontual, até cinco sites | Não incluído | Incluído | Incluído |
| Até 100.000 registos | Não incluído | Incluído | Incluído |
| Campos correspondidos entre fontes | Não incluído | Incluído | Incluído |
| Saída para Google Sheets ou base de dados | Não incluído | Incluído | Incluído |
| Tudo o que está em Extração multi-fonte | Não incluído | Não incluído | Incluído |
| Execuções agendadas diárias ou semanais | Não incluído | Não incluído | Incluído |
| Alertas quando uma fonte muda | Não incluído | Não incluído | Incluído |
| Três meses de correções quando os sites mudam | Não incluído | Não incluído | Incluído |
| Adicionar ao orçamento |
Adicione o que precisa
Choose the size
Adicione o que precisa
O seu total€500
O preço padrão, mais tudo o que acrescentar. Confirmado por escrito antes de começar; nada é cobrado até aceitar.
Como funciona
Rever
Cada fonte verificada quanto a termos de utilização, regras de robots e dados pessoais.
Construir
Um scraper que lida com paginação, filtros e ritmos de pedidos educados.
Limpar
Campos normalizados, duplicados removidos, lacunas assinaladas.
Entregar
Dados entregues, ou agendados com alertas em caso de falha.
Perguntas
A recolha de dados web é legal?
Depende dos termos do site, dos dados e de como são usados, e não somos advogados. Recusamos fontes que proíbem o acesso automatizado ou exigem inícios de sessão para os quais não temos autorização, e sinalizamos dados pessoais para que possa verificar a sua base legal com um consultor jurídico.
Podem extrair dados de contacto pessoais?
Os dados pessoais são regulados pelo GDPR. Não criamos listas de dados de contacto de particulares. A informação empresarial publicada pelas empresas é outra questão, e discutimo-la caso a caso.
O que acontece quando o site muda?
Os scrapers deixam de funcionar quando os layouts mudam. Os pacotes agendados incluem alertas e três meses de correções; depois disso, a manutenção pode continuar mensalmente.
Pesquisas relacionadas
Trabalhos relacionados
Pagamento únicoLimpeza de dadosFolhas de cálculo desorganizadas e dados de CRM deduplicados, normalizados e prontos a usar.from € 290
Pagamento únicoEnriquecimento de dadosLacunas nos registos da sua empresa preenchidas a partir de fontes públicas: setor, dimensão, site, localização.from € 290
Pagamento únicocriação de listas de contactos B2BListas pesquisadas de empresas e decisores que correspondem ao seu cliente ideal, com fontes e emails verificados.from € 290
Pagamento únicoConsultoria em visualização de dadosGráficos e dashboards revistos e redesenhados para que as pessoas leiam a conclusão certa rapidamente.from € 290
Pagamento únicoAnálise financeiraOs seus dados de contabilidade e vendas transformados em relatórios claros sobre margem, tesouraria e tendências.from € 290
Pagamento únicoDesign e otimização de base de dadosUma estrutura de base de dados que mantém os dados corretos e as consultas rápidas, criada de raiz ou reparada no local.from € 290
Não encontra o seu tamanho?
Alguns trabalhos têm forma própria. Analisamos primeiro o âmbito e orçamentamos por escrito; a chamada de análise não tem custo.