Data Scraping

Öffentliche Webdaten gesammelt in einer sauberen Tabelle oder Datenbank, einmalig oder nach Zeitplan.

Verkauft von GRADAXAutomatisierung & DatenDirekt kaufenGegründet 2014, in Europa entwickelt und betrieben

Wichtige Merkmale

Quellenprüfung mit vermerkten Einschränkungen
Scraper-Skript in Python oder Node.js
Bereinigter Datensatz im gewünschten Format
Zeitplan und Benachrichtigungen, bei wiederkehrenden Paketen
Dokumentation zum Betrieb oder Ändern des Scrapers

Hier wird nichts bezahltSie erhalten zuerst ein schriftliches Angebot. Keine Zahlung, keine Verpflichtung.
Verkauft und geliefert von GRADAXEin Vertrag und ein Team, egal wer die Arbeit macht.
Ihre Daten bleiben in der EUNichts wird außerhalb der Union zur Verarbeitung verlagert.

Über diesen Service

Preise, Produktlisten, Verzeichniseinträge, öffentliche Ausschreibungen und andere auf Websites veröffentlichte Informationen, per Skript in strukturierte Daten gesammelt, die Sie nutzen können. Wir prüfen zuerst, was erlaubt ist, bauen einen Scraper, der mit Paginierung und Änderungen zurechtkommt, und liefern saubere CSV-, Excel-, Google-Sheets- oder Datenbank-Ausgaben.

Erlaubt vor möglich

Nahezu jede öffentliche Website lässt sich technisch scrapen. Ob man es sollte, ist eine andere Frage. Manche Websites verbieten automatisierten Zugriff in ihren Bedingungen, manche veröffentlichen personenbezogene Daten, die unter die GDPR fallen, und manche liegen hinter Logins, die Sie nicht automatisieren dürfen.

Wir prüfen jede Quelle, bevor wir Code schreiben: Nutzungsbedingungen, Robots-Regeln und ob personenbezogene Daten betroffen sind. Wir lehnen Quellen ab, die Scraping eindeutig verbieten oder unbefugten Zugriff erfordern, und wir kennzeichnen personenbezogene Daten, damit Sie Ihre Rechtsgrundlage mit einem Rechtsberater prüfen können. Wir sind keine Anwälte und geben keine Rechtsauskünfte.

Scrapers break; plan for it

Websites ändern ihr Layout ohne Vorankündigung. Ein Scraper, der letzte Woche einwandfrei lief, liefert plötzlich leere Felder oder falsche Werte. Wenn es niemand merkt, werden Entscheidungen auf fehlerhaften Daten getroffen.

Unsere geplanten Scraper prüfen ihre eigene Ausgabe. Liefert ein Durchlauf deutlich weniger Datensätze als üblich oder kommen Pflichtfelder leer zurück, erhalten Sie eine Warnung statt einer stillschweigend falschen Tabelle. Das größte Paket enthält drei Monate Anpassungen, wenn sich Quellen ändern.

Wir scrapen auch höflich: begrenzte Anfrage-Raten, Rücksicht auf die Seitenlast und Identifikation, wo es angebracht ist. Aggressives Scraping wird blockiert und kann der Seite schaden, von der Sie Ihre Daten beziehen.

Quellen auf Nutzungsbedingungen und personenbezogene Daten geprüft
Höfliche Anfragequoten
Validierung und Warnungen bei jedem geplanten Lauf
Sauberer Export in CSV, Excel, Sheets oder eine Datenbank

Spezifikationen

Kategorie: Automatisierung & Daten
Preis: 290 € bis 1.050 €
Sizes: Klein (Einmalige Extraktion), Mittel (Extraktion aus mehreren Quellen), Groß (Geplanter Scraper)
Bearbeitungszeit: 3 Tage bis 3 Wochen
Billed: Einmalig
Was Sie erhalten: 5 Elemente, alle im Preis enthalten
Was wir von Ihnen brauchen: Die Websites und Felder, die Sie brauchen, Beispiel, wie die finalen Daten aussehen sollen, Wie oft Sie es aktualisieren müssen
Am häufigsten gekauft von: E-Commerce, Marktforschung, Immobilien, Procurement
Verkauft und geliefert von: GRADAX, ein Vertrag und ein Team
Wo Ihre Daten verarbeitet werden: Europäische Union

Was Sie erhalten

Alles unten ist im Preis enthalten. Nichts hier ist ein Upgrade.

Quellenprüfung mit vermerkten Einschränkungen
Scraper-Skript in Python oder Node.js
Bereinigter Datensatz im gewünschten Format
Zeitplan und Benachrichtigungen, bei wiederkehrenden Paketen
Dokumentation zum Betrieb oder Ändern des Scrapers

Was sich ändert

Daten in sauberen Spalten mit einheitlichen Formaten
Quellen vor der Erfassung auf Nutzungsbedingungen, robots-Regeln und personenbezogene Daten geprüft
Geplante Läufe, die Sie benachrichtigen, wenn eine Website sich ändert und den Scraper bricht
Duplikate entfernt und Felder validiert

Größen vergleichen

Der Standardpreis für jede Größe. Extras stehen daneben, nicht hinter einem Anruf versteckt.

Data Scraping: what each size includes
Enthalten	Einmalige Extraktion290 €3 bis 5 Werktage	Extraktion aus mehreren Quellen500 €1 bis 2 Wochen	Geplanter Scraper1.050 €2 bis 3 Wochen
Eine Website	Enthalten	Enthalten	Enthalten
Bis zu 10.000 Datensätze	Enthalten	Enthalten	Enthalten
CSV- oder Excel-Ausgabe	Enthalten	Enthalten	Enthalten
Basisbereinigung	Enthalten	Enthalten	Enthalten
Alles aus Einmalige Extraktion, bis zu fünf Websites	Nicht enthalten	Enthalten	Enthalten
Bis zu 100.000 Datensätze	Nicht enthalten	Enthalten	Enthalten
Felder über Quellen hinweg abgeglichen	Nicht enthalten	Enthalten	Enthalten
Ausgabe in Google Sheets oder Datenbank	Nicht enthalten	Enthalten	Enthalten
Alles aus Multi-Source-Extraktion	Nicht enthalten	Nicht enthalten	Enthalten
Tägliche oder wöchentliche geplante Läufe	Nicht enthalten	Nicht enthalten	Enthalten
Benachrichtigungen bei Quellenänderung	Nicht enthalten	Nicht enthalten	Enthalten
Drei Monate Korrekturen, wenn sich Websites ändern	Nicht enthalten	Nicht enthalten	Enthalten
Zum Angebot hinzufügen

Hinzufügen, was Sie brauchen

Choose the size

Hinzufügen, was Sie brauchen

Zusätzliche QuelleEine weitere Website in denselben Datensatz aufgenommen.+€90pro QuelleLaufende WartungScraper-Anpassungen bei Website-Änderungen, nach dem inkludierten Zeitraum.+€70pro MonatDatenbankbereitstellungDaten bei jedem Durchlauf in Ihre Datenbank oder Ihr Warehouse geladen.+€110

Ihr Gesamtpreis€500

Der Standardpreis plus alles, was Sie hinzufügen. Schriftlich bestätigt, bevor etwas beginnt; nichts wird berechnet, bis Sie es annehmen.

So läuft es

Prüfung
Jede Quelle auf Nutzungsbedingungen, Robots-Regeln und personenbezogene Daten geprüft.
Aufbau
Ein Scraper, der Paginierung, Filter und höfliche Anfrage-Raten beherrscht.
Bereinigen
Felder normalisiert, Duplikate entfernt, Lücken markiert.
Liefern
Daten übergeben oder geplant mit Benachrichtigung bei Ausfall.

Fragen

Ist Web Scraping legal?

Das hängt von den Bedingungen der Website, den Daten und ihrer Verwendung ab, und wir sind keine Anwälte. Wir lehnen Quellen ab, die automatisierten Zugriff verbieten oder Logins verlangen, für die wir nicht autorisiert sind, und wir kennzeichnen personenbezogene Daten, damit Sie Ihre Rechtsgrundlage mit einem Rechtsberater prüfen können.

Können Sie persönliche Kontaktdaten scrapen?

Personenbezogene Daten sind unter der DSGVO reguliert. Wir erstellen keine Listen mit Kontaktdaten von Privatpersonen. Von Unternehmen veröffentlichte Geschäftsinformationen sind etwas anderes, und wir besprechen das im Einzelfall.

Was passiert, wenn sich die Website ändert?

Scraper brechen, wenn sich Layouts ändern. Geplante Pakete enthalten Warnmeldungen und drei Monate Korrekturen; danach kann die Wartung monatlich fortgeführt werden.

Passt keine Größe?

Manche Arbeiten haben eine eigene Form. Wir prüfen den Umfang zuerst und erstellen das Angebot schriftlich; das Abstimmungsgespräch ist kostenlos.

Kostenlose Analyse buchen Mit Vertrieb sprechen

Data Scraping