Ťažba dát
Zbieranie verejných webových dát do čistej tabuľky alebo databázy, raz alebo v pravidelných intervaloch.
Kľúčové vlastnosti
- Preskúmanie zdroja s uvedením prípadných obmedzení
- Skript scraper v Python alebo Node.js
- Vyčistená dataset vo vašom zvolenom formáte
- Harmonogram a upozornenia, pri opakujúcich sa balíkoch
- Dokumentácia na spúšťanie alebo zmenu scrapera
- Tu nič neplatíteNajprv dostanete písomnú ponuku. Bez platby, bez záväzku.
- Predáva a dodáva GRADAXJeden zmluva a jeden tím, bez ohľadu na to, kto prácu vykoná.
- Vaše dáta zostávajú v EÚNič sa nepresúva mimo Úniu za účelom spracovania.
O tejto službe
Ceny, produkty, adresáre, verejné zákazky a iné informácie zverejnené na weboch, zbierané skriptom do štruktúrovaných dát, ktoré môžete použiť. Najprv skontrolujeme, čo je povolené, vytvoríme scraper, ktorý zvláda stránkovanie a zmeny, a dodáme čisté CSV, Excel, Google Sheets alebo výstup do databázy.
Povoliteľné pred možným
Takmer akákoľverejná webová stránka môže byť technicky scrapovaná. Otázka, či by mala, je iná. Niektoré stránky zakazujú automatizovaný prístup vo svojich podmienkach, niektoré zverejňujú osobné údaje regulované podľa GDPR a niektoré sú za prihlasovacími obrazovkami, ktoré nemáte oprávnenie automatizovať.
Pred písaním kódu skontrolujeme každý zdroj: podmienky použitia, pravidlá robots.txt a či sú zapojené osobné údaje. Zamietame zdroje, ktoré explicitne zakazujú scrapovanie alebo vyžadujú neoprávnený prístup, a označujeme osobné údaje, aby ste si mohli overiť svoj zákonný základ s právnikom. Nie sme advokáti a neposkytujeme právne názory.
Scrapers break; plan for it
Webové stránky menia svoje rozloženie bez upozornenia. Scraper, ktorý minulý týždeň fungoval dokonale, náhle vracia prázdne polia alebo nesprávne hodnoty. Ak si to nikto nevšimne, rozhodovania sa robia na chybných dátach.
Naše plánované scrapery kontrolujú vlastný výstup. Ak beh vráti oveľa menej záznamov než zvyčajne alebo požadované polia vrátia prázdne, dostanete upozornenie namiesto ticho chybného spreadsheetu. Najväčší balík zahŕňa tri mesiace opráv, keď sa zdroje zmenia.
Tiež scrapujeme slušne: obmedzené rýchlosti požiadaviek, rešpektovanie záťaže stránky a identifikácia, kde je to vhodné. Agresívne scrapovanie je blokované a môže poškodiť stránku, na ktorej závisíte pre dáta.
- Zdroje skontrolované podľa podmienok a osobných údajov
- Slušné rýchlosti požiadaviek
- Validácia a upozornenia pri každom plánovanom behu
- Čistý výstup v CSV, Excel, Sheets alebo databáze
Špecifikácia
- Kategória
- Automatizácia & Dáta
- Cena
- 290 € až 1 050 €
- Veľkosti
- Malý (Jednorazový extrakt), Stredný (Extrakt z viacerých zdrojov), Veľký (Plánovaný scraper)
- Doba dodania
- 3 dni až 3 týždne
- Fakturované
- Jednorazovo
- Čo dostanete
- 5 položiek, všetko v cene
- Čo potrebujeme od vás
- Weby a polia, ktoré potrebujete, Príklad toho, ako by mali konečné dáta vyzerať, Ako často potrebujete obnovu
- Najčastejšie kupované
- E-commerce, Trhový výskum, Nehnuteľnosti, Obstarávanie
- Predáva a dodáva
- GRADAX, jedna zmluva a jeden tím
- Kde sa spracúvajú vaše údaje
- Európska únia
Čo dostanete
Všetko nižšie je v cene. Nič tu nie je upgrade.
- Preskúmanie zdroja s uvedením prípadných obmedzení
- Skript scraper v Python alebo Node.js
- Vyčistená dataset vo vašom zvolenom formáte
- Harmonogram a upozornenia, pri opakujúcich sa balíkoch
- Dokumentácia na spúšťanie alebo zmenu scrapera
Čo sa mení
- Dáta v čistých stĺpcoch s konzistentnými formátmi
- Zdroje skontrolované podľa podmienok, pravidiel robots a osobných údajov pred zbieraním
- Plánované behy, ktoré vás upozornia, keď sa web zmení a scraper preruší
- Odstránené duplicity a overené polia
Porovnať veľkosti
Štandardná cena pre každú veľkosť. Extra položky sú ocenené vedľa nej, nie skryté za hovor.
| Zahrnuté | Jednorazový extrakt290 €3 až 5 pracovných dní | Extrakt z viacerých zdrojov500 €1 až 2 týždne | Plánovaný scraper1 050 €2 až 3 týždne |
|---|---|---|---|
| Jedna webová stránka | Zahrnuté | Zahrnuté | Zahrnuté |
| Až 10 000 záznamov | Zahrnuté | Zahrnuté | Zahrnuté |
| Výstup CSV alebo Excel | Zahrnuté | Zahrnuté | Zahrnuté |
| Základné čistenie | Zahrnuté | Zahrnuté | Zahrnuté |
| Všetko z Jednorazového extraktu, až päť webov | Nie je zahrnuté | Zahrnuté | Zahrnuté |
| Až 100 000 záznamov | Nie je zahrnuté | Zahrnuté | Zahrnuté |
| Polia zarovnané naprieč zdrojmi | Nie je zahrnuté | Zahrnuté | Zahrnuté |
| Výstup Google Sheets alebo databáza | Nie je zahrnuté | Zahrnuté | Zahrnuté |
| Všetko z Extraktu z viacerých zdrojov | Nie je zahrnuté | Nie je zahrnuté | Zahrnuté |
| Denné alebo týždenné plánované behy | Nie je zahrnuté | Nie je zahrnuté | Zahrnuté |
| Upozornenia pri zmene zdroja | Nie je zahrnuté | Nie je zahrnuté | Zahrnuté |
| Tri mesiace opráv, keď sa menia weby | Nie je zahrnuté | Nie je zahrnuté | Zahrnuté |
| Pridať do dopytu |
Pridať, čo potrebujete
Choose the size
Pridať, čo potrebujete
Vaše celkové€500
Štandardná cena plus to, čo si pridáte. Potvrdené písomne pred začiatkom; nič sa neúčtuje, kým to neprijmete.
Ako to funguje
Kontrola
Každý zdroj skontrolovaný podľa podmienok použitia, pravidiel robots a osobných údajov.
Výstavba
Scraper, ktorý zvláda stránkovanie, filtre a slušnú frekvenciu požiadaviek.
Vyčistiť
Polia normalizované, duplicity odstránené, medzery označené.
Dodávať
Dáta odovzdané alebo naplánované s upozorneniami pri zlyhaní.
Otázky
Je ťažba dát z webu legálna?
Záleží na podmienkach stránky, dátach a ich využití, pričom my nie sme právnici. Odmietame zdroje, ktoré zakazujú automatizovaný prístup alebo vyžadujú prihlásenie, ku ktorému nemáme oprávnenie, a označujeme osobné údaje, aby ste si mohli overiť svoj právny základ u právneho poradcu.
Môžete zbierať osobné kontaktné údaje?
Osobné údaje sú regulované nariadením GDPR. Nevytvárame zoznamy kontaktných údajov súkromných osôb. Inou vecou je obchodná informácia zverejňovaná spoločnosťami, o ktorej diskutujeme v jednotlivých prípadoch.
Čo sa stane, keď sa zmení webová stránka?
Scrapery sa pokazia, keď sa zmení rozloženie. Plánované balíky zahŕňajú upozornenia a tri mesiace opráv; potom môže údržba pokračovať mesačne.
Súvisiace vyhľadávania
Súvisiaca práca
JednorazovoČistenie dátNeusporiadané tabuľky a dáta z CRM: odstránené duplicity, normalizácia a pripravenosť na použitie.from 290 €
JednorazovoObohacovanie dátMedzery vo vašich záznamoch firmy vyplnené z verejných zdrojov: odvetvie, veľkosť, web, lokalita.from 290 €
Jednorazovobudovanie zoznamov B2B leadovPreskúmané zoznamy firiem a rozhodovacích osôb, ktoré zodpovedajú vášmu ideálnemu zákazníkovi, so zdrojmi a overenými e-mailmi.from 290 €
JednorazovoKonzultácie v oblasti vizualizácie dátGrafy a dashboardy skontrolované a preprojektované tak, aby ľudia rýchlo vyčítali správny záver.from 290 €
JednorazovoFinančná analytikaVaše údaje z účtovníctva a predaja premieňame na jasné reporty o marži, hotovosti a trendoch.from 290 €
JednorazovoNavrhovanie a optimalizácia databázŠtruktúra databázy, ktorá udržuje dáta správne a dotazy rýchle, navrhovaná pre nové systémy alebo opravená v existujúcich.from 290 €
Nepatrí do štandardnej veľkosti?
Niektoré práce majú vlastnú podobu. Najprv upresníme rozsah a ponúkneme ho písomne; konzultácia je zadarmo.