Data-scraping
Offentlige webdata samlet i et rent regneark eller en database, én gang eller efter en plan.
Vigtige funktioner
- Gennemgang af kilden med eventuelle begrænsninger noteret
- Scraper-script i Python eller Node.js
- Renset datasæt i dit valgte format
- Tidsplan og alarmer, på tilbagevendende pakker
- Dokumentation til at køre eller ændre scraperen
- Der betales intet herDu får først et skriftligt tilbud. Ingen betaling, ingen binding.
- Solgt og leveret af GRADAXÉn kontrakt og ét team, uanset hvem der udfører arbejdet.
- Dine data forbliver i EUIntet flyttes uden for unionen for at blive behandlet.
Om denne ydelse
Priser, produktlister, katalogposter, offentlige udbud og andre oplysninger offentliggjort på hjemmesider, indsamlet med script til strukturerede data, du kan bruge. Vi tjekker først, hvad der er tilladt, bygger en scraper, der håndterer pagination og ændringer, og leverer rent CSV, Excel, Google Sheets eller databaseoutput.
Tilladt før muligt
Næsten enhver offentlig hjemmeside kan teknisk set scrapes. Om den bør, er et andet spørgsmål. Nogle sites forbyder automatiseret adgang i deres vilkår, nogle offentliggør personoplysninger, der er reguleret under GDPR, og nogle ligger bag logins, du ikke er autoriseret til at automatisere.
Vi gennemgår hver kilde, før vi skriver kode: vilkår for brug, robots-regler og om der er personoplysninger involveret. Vi afviser kilder, der klart forbyder scraping eller kræver uautoriseret adgang, og vi markerer personoplysninger, så du kan tjekke dit retsgrundlag med en juridisk rådgiver. Vi er ikke advokater og giver ikke juridiske vurderinger.
Scrapers break; plan for it
Hjemmesider ændrer deres layout uden varsel. En scraper, der fungerede perfekt i sidste uge, returnerer pludselig tomme felter eller forkerte værdier. Hvis ingen opdager det, træffes beslutninger på ødelagte data.
Vores planlagte scrapers tjekker deres eget output. Hvis en kørsel returnerer langt færre poster end normalt, eller påkrævede felter kommer tomme tilbage, får du en alarm i stedet for et lydløst forkert regneark. Den største pakke inkluderer tre måneders rettelser, når kilderne ændrer sig.
Vi scraper også høfligt: begrænsede anmodningsrater, respekt for sidens belastning og identifikation, hvor det er passende. Aggressiv scraping bliver blokeret og kan skade den side, du er afhængig af for data.
- Kilder gennemgået for vilkår og personoplysninger
- Høflige anmodningsrater
- Validering og alarmer ved hver planlagt kørsel
- Rent output i CSV, Excel, Sheets eller en database
Specifikationer
- Kategori
- Automatisering og data
- Pris
- 290 € til 1.050 €
- Størrelser
- Lille (Enkeltstående udtræk), Mellem (Uddrag fra flere kilder), Stor (Planlagt scraper)
- Leveringstid
- 3 dage til 3 uger
- Faktureret
- Engangsbeløb
- Hvad du får
- 5 elementer, alt inkluderet i prisen
- Det har vi brug for fra dig
- De websites og felter, du har brug for, Eksempel på, hvordan de endelige data skal se ud, Hvor ofte det skal opdateres
- Oftest købt af
- E-handel, Markedsundersøgelse, Ejendom, Indkøb
- Solgt og leveret af
- GRADAX, én kontrakt og ét team
- Hvor dine data behandles
- Den Europæiske Union
Hvad du får
Alt nedenfor er inkluderet i prisen. Intet her er en opgradering.
- Gennemgang af kilden med eventuelle begrænsninger noteret
- Scraper-script i Python eller Node.js
- Renset datasæt i dit valgte format
- Tidsplan og alarmer, på tilbagevendende pakker
- Dokumentation til at køre eller ændre scraperen
Hvad ændres
- Data i rene kolonner med ensartede formater
- Kilder kontrolleret for vilkår, robots-regler og personoplysninger før indsamling
- Planlagte kørsler, der advarer dig, når et site ændrer sig og ødelægger scraperen
- Dubletter fjernet og felter valideret
Sammenlign størrelserne
Standardprisen for hver størrelse. Ekstra er prissat ved siden af, ikke skjult bag et opkald.
| Inkluderet | Enkeltstående udtræk290 €3 til 5 arbejdsdage | Uddrag fra flere kilder500 €1 til 2 uger | Planlagt scraper1.050 €2 til 3 uger |
|---|---|---|---|
| Ét website | Inkluderet | Inkluderet | Inkluderet |
| Op til 10.000 poster | Inkluderet | Inkluderet | Inkluderet |
| CSV- eller Excel-output | Inkluderet | Inkluderet | Inkluderet |
| Grundlæggende oprydning | Inkluderet | Inkluderet | Inkluderet |
| Alt i Engangsudtræk, op til fem websites | Ikke inkluderet | Inkluderet | Inkluderet |
| Op til 100.000 poster | Ikke inkluderet | Inkluderet | Inkluderet |
| Felter matchet på tværs af kilder | Ikke inkluderet | Inkluderet | Inkluderet |
| Output til Google Sheets eller database | Ikke inkluderet | Inkluderet | Inkluderet |
| Alt i Multi-source extract | Ikke inkluderet | Ikke inkluderet | Inkluderet |
| Daglige eller ugentlige planlagte kørsler | Ikke inkluderet | Ikke inkluderet | Inkluderet |
| Advarsler når en kilde ændres | Ikke inkluderet | Ikke inkluderet | Inkluderet |
| Tre måneders rettelser, når siderne ændrer sig | Ikke inkluderet | Ikke inkluderet | Inkluderet |
| Tilføj til tilbud |
Tilføj det, du har brug for
Choose the size
Tilføj det, du har brug for
Din total€500
Standardprisen plus det, du tilføjer. Bekræftet skriftligt, før noget starter; der opkræves intet, før du accepterer det.
Sådan fungerer det
Gennemgang
Hver kilde tjekket for brugsvilkår, robots-regler og personoplysninger.
Byg
En scraper, der håndterer paginering, filtre og høflige anmodningsrater.
Ryd op
Felter normaliseret, dubletter fjernet, huller markeret.
Lever
Data overdraget, eller planlagt med alarmer ved fejl.
Spørgsmål
Er web scraping lovligt?
Det afhænger af sitets vilkår, dataene og hvordan de bruges, og vi er ikke jurister. Vi afviser kilder, der forbyder automatiseret adgang eller kræver logins, vi ikke er autoriseret til at bruge, og vi markerer personoplysninger, så du kan tjekke dit lovlige grundlag med en juridisk rådgiver.
Må I scrape personlige kontaktoplysninger?
Personoplysninger er reguleret under GDPR. Vi bygger ikke lister med privatpersoners kontaktoplysninger. Virksomhedsoplysninger offentliggjort af virksomheder er en anden sag, og vi drøfter det fra sag til sag.
Hvad sker der, når websitet ændrer sig?
Scrapere går i stykker, når layouts ændres. Planlagte pakker inkluderer alarmer og tre måneders rettelser; derefter kan vedligeholdelse fortsætte månedligt.
Relaterede søgninger
Relateret arbejde
EngangsbeløbDatarensningRodede regneark og CRM-data dedupliceret, standardiseret og klar til brug.from 290 €
EngangsbeløbDataberigelseHuller i dine virksomhedsdata udfyldt fra offentlige kilder: branche, størrelse, website, placering.from 290 €
Engangsbeløbopbygning af B2B-leadlisteResearchbaserede lister over virksomheder og beslutningstagere, der matcher din ideelle kunde, med kilder og verificerede e-mails.from 290 €
EngangsbeløbRådgivning om datavisualiseringDiagrammer og dashboards gennemgået og redesignet, så folk hurtigt læser den rigtige konklusion.from 290 €
EngangsbeløbFinansiel analyseDine regnskabs- og salgsdata omsat til klare rapporter om margin, likviditet og tendenser.from 290 €
EngangsbeløbDatabasedesign og optimeringEn databasestruktur, der holder data korrekte og forespørgsler hurtige, designet fra bunden eller repareret på stedet.from 290 €
Passer det ikke i en størrelse?
Noget arbejde har sin egen form. Vi afklarer omfanget først og giver et skriftligt tilbud; afklaringsopkaldet koster intet.