Dataskraping

Tillatt før mulig

Nesten enhver offentlig nettside kan teknisk sett skrapes. Om den bør det, er et annet spørsmål. Noen nettsteder forbyr automatisert tilgang i vilkårene sine, noen publiserer personopplysninger som er regulert under GDPR, og noen ligger bak innlogginger du ikke er autorisert til å automatisere.

Vi vurderer hver kilde før vi skriver kode: bruksvilkår, robots-regler og om personopplysninger er involvert. Vi avslår kilder som klart forbyr skraping eller krever uautorisert tilgang, og vi flagger personopplysninger slik at du kan sjekke ditt rettslige grunnlag med en jurist. Vi er ikke jurister og gir ikke juridiske vurderinger.

Scrapers break; plan for it

Nettsteder endrer oppsett uten varsel. En skraper som fungerte perfekt forrige uke, returnerer plutselig tomme felt eller feil verdier. Hvis ingen merker det, tas beslutninger på ødelagte data.

De planlagte skraperne våre sjekker sitt eget resultat. Hvis en kjøring returnerer langt færre poster enn vanlig, eller påkrevde felt kommer tomme tilbake, får du et varsel i stedet for et stille feil regneark. Den største pakken inkluderer tre måneders rettinger når kildene endres.

Vi skraper også høflig: begrensede forespørselsrater, respekt for nettstedets belastning og identifikasjon der det er hensiktsmessig. Aggressiv skraping blir blokkert og kan skade nettstedet du er avhengig av for data.

• Kilder gjennomgått for vilkår og personopplysninger
• Høflige forespørselsrater
• Validering og varsler ved hver planlagte kjøring
• Ren utdata i CSV, Excel, Sheets eller en database