Dataskrapning

Tillåtet före möjligt

Nästan vilken offentlig webbplats som helst kan tekniskt sett skrapas. Huruvida den bör det är en annan fråga. Vissa webbplatser förbjuder automatiserad åtkomst i sina villkor, vissa publicerar personuppgifter som regleras enligt GDPR, och vissa ligger bakom inloggningar du inte har behörighet att automatisera.

Vi granskar varje källa innan vi skriver kod: användarvillkor, robots-regler och om personuppgifter är inblandade. Vi avböjer källor som tydligt förbjuder scraping eller kräver obehörig åtkomst, och vi flaggar personuppgifter så att du kan kontrollera din rättsliga grund med en jurist. Vi är inte jurister och ger inga juridiska bedömningar.

Scrapers break; plan for it

Webbplatser ändrar sin layout utan förvarning. En skrapa som fungerade perfekt förra veckan returnerar plötsligt tomma fält eller fel värden. Om ingen märker det fattas beslut på trasig data.

Våra schemalagda skrapor kontrollerar sin egen utdata. Om en körning returnerar långt färre poster än vanligt, eller obligatoriska fält kommer tillbaka tomma, får du en varning i stället för ett tyst felaktigt kalkylblad. Det största paketet inkluderar tre månaders åtgärder när källor ändras.

Vi skrapar också artigt: begränsad förfrågningsfrekvens, hänsyn till sajtens belastning och identifiering där det är lämpligt. Aggressiv skrapning blockeras och kan skada sajten du är beroende av för data.

• Källor granskade för villkor och personuppgifter
• Artiga förfrågningsfrekvenser
• Validering och larm vid varje schemalagd körning
• Ren utdata i CSV, Excel, Sheets eller en databas