Skupljanje podataka
Javni web podaci prikupljeni u čist spreadsheet ili bazu podataka, jednokratno ili po rasporedu.
Ključne značajke
- Pregled izvora s bilješkama o bilo kakvim ograničenjima
- Scraper skripta u Pythonu ili Node.js-u
- Očišćen skup podataka u vašem odabranom formatu
- Raspored i alerti, na ponavljajućim paketima
- Dokumentacija za pokretanje ili mijenjanje scrapera
- Ovdje se ništa ne naplaćujePrvo dobivate pisanu ponudu. Bez plaćanja, bez obveze.
- Prodaje i isporučuje GRADAXJedan ugovor i jedan tim, bez obzira tko izvodi radove.
- Vaši podaci ostaju u EUNišta se ne prenosi izvan Unije radi obrade.
O ovoj usluzi
Cijene, popisi proizvoda, upisnici javnih natječaja i druga informacija objavljena na web stranicama, prikupljena skriptom u strukturirane podatke koje možete koristiti. Prvo provjeravamo što je dopušteno, gradimo scraper koji se nosi s paginacijom i promjenama te isporučujemo čiste CSV, Excel, Google Sheets ili bazu podataka.
Dozvoljeno prije mogućeg
Gotovo bilo koju javnu web stranicu tehnički se može skenirati (scrape). Je li to dopušteno, druga je pitanja. Neke stranice zabranjuju automatizirani pristup u svojim uvjetima, neke objavljuju osobne podatke koji su regulirani GDPR-om, a neke se nalaze iza prijave koju niste ovlašteni automatizirati.
Pregledavamo svaki izvor prije pisanja koda: uvjete korištenja, robots pravila i uključuju li se osobni podaci. Odbijamo izvore koji jasno zabranjuju scraping ili zahtijevaju neovlašteni pristup, i označavamo osobne podatke kako biste s pravnikom provjerili svoju zakonsku osnovu. Nismo odvjetnici i ne dajemo pravna mišljenja.
Scrapers break; plan for it
Web stranice mijenjaju svoj izgled bez najave. Skener koji je prošlog tjedna savršeno radio, iznenada vraća prazna polja ili pogrešne vrijednosti. Ako nitko ne primijeti, donose se odluke na temelju pokvarenih podataka.
Naši automatski skeneri provjeravaju vlastiti izlaz. Ako pokretanje vrati znatno manje zapisa nego obično ili ako tražena polja dođu prazna, dobivate upozorenje umjesto tiho pogrešnog spreadsheeta. Najveći paket uključuje tri mjeseca popravaka kada se izvori promijene.
Također skeniramo pristojno: ograničene stope zahtjeva, poštivanje opterećenja stranice i identifikacija gdje je prikladno. Agresivan scraping se blokira i može naškoditi stranici na koju se oslanjate za podatke.
- Izvori pregledani za uvjete i osobne podatke
- Pristojne stope zahtjeva
- Validacija i upozorenja na svakom automatskom pokretanju
- Čist izlaz u CSV-u, Excelu, Sheetsu ili bazi podataka
Specifikacije
- Kategorija
- Automatizacija & Podaci
- Cijena
- 290 € do 1.050 €
- Veličine
- Malo (Jednokratan ekstrakt), Srednje (Višestruki ekstrakt izvora), Veliko (Planirani scraper)
- Vrijeme izrade
- 3 dana do 3 tjedna
- Naplaćeno
- Jednokratno
- Što dobivate
- 5 stavki, sve uključeno u cijenu
- Što nam trebate dostaviti
- Web stranice i polja koja su vam potrebna, Primjer kako konačni podaci trebaju izgledati, Koliko često ih trebate osvježavati
- Najčešće kupuju
- E-commerce, Tržišno istraživanje, Nekretnine, Nabava
- Prodaje i isporučuje
- GRADAX, jedan ugovor i jedan tim
- Gdje se obrađuju vaši podaci
- Europska unija
Što dobivate
Sve što slijedi uključeno je u cijenu. Ništa ovdje nije nadogradnja.
- Pregled izvora s bilješkama o bilo kakvim ograničenjima
- Scraper skripta u Pythonu ili Node.js-u
- Očišćen skup podataka u vašem odabranom formatu
- Raspored i alerti, na ponavljajućim paketima
- Dokumentacija za pokretanje ili mijenjanje scrapera
Što se mijenja
- Podaci u čistim stupcima s dosljednim formatima
- Izvori provjereni za uvjete, robots pravila i osobne podatke prije prikupljanja
- Planirani pokreti koji vas alertiraju kada se web stranica promijeni i prekine scraper
- Duplikati uklonjeni i polja validirana
Usporedite pakete
Standardna cijena za svaku veličinu. Dodatne stavke cijene se uz nju, a ne kriju iza poziva.
| Uključeno | Jednokratan ekstrakt290 €3 do 5 radnih dana | Višestruki ekstrakt izvora500 €1 do 2 tjedna | Planirani scraper1.050 €2 do 3 tjedna |
|---|---|---|---|
| Jedna web stranica | Uključeno | Uključeno | Uključeno |
| Do 10.000 zapisa | Uključeno | Uključeno | Uključeno |
| CSV ili Excel izlaz | Uključeno | Uključeno | Uključeno |
| Osnovno čišćenje | Uključeno | Uključeno | Uključeno |
| Sve iz jednokratnog ekstrakta, do pet web stranica | Nije uključeno | Uključeno | Uključeno |
| Do 100.000 zapisa | Nije uključeno | Uključeno | Uključeno |
| Polja usklađena između izvora | Nije uključeno | Uključeno | Uključeno |
| Google Sheets ili izlaz baze podataka | Nije uključeno | Uključeno | Uključeno |
| Sve iz višestrukog ekstrakta izvora | Nije uključeno | Nije uključeno | Uključeno |
| Dnevni ili tjedni planirani pokreti | Nije uključeno | Nije uključeno | Uključeno |
| Alerti kada se izvor promijeni | Nije uključeno | Nije uključeno | Uključeno |
| Tri mjeseca popravaka kada se web stranice promijene | Nije uključeno | Nije uključeno | Uključeno |
| Dodaj u ponudu |
Dodajte što vam treba
Choose the size
Dodajte što vam treba
Vaš ukupni iznos€500
Standardna cijena, plus sve što dodate. Potvrđeno u pisanom obliku prije početka; ništa se ne naplaćuje dok ne prihvatite.
Kako funkcionira
Pregled
Svaki izvor provjeren za uvjete korištenja, robots pravila i osobne podatke.
Izgradnja
Scraper koji se nosi s paginacijom, filterima i pristojnim stopama zahtjeva.
Čišćenje
Polja normalizirana, duplikati uklonjeni, praznine označene.
Isporučite
Podaci predani ili planirani s alertima na neuspjeh.
Pitanja
Je li web scraping legalan?
Ovisi o uvjetima korištenja stranice, vrsti podataka i načinu njihove upotrebe, a mi nismo odvjetnici. Odbijamo izvore koji zabranjuju automatizirani pristup ili zahtijevaju prijavu na koju nemamo ovlasti, te označavamo osobne podatke kako biste s pravni savjetnik provjerili svoju zakonsku osnovu.
Možete li skenirati osobne kontaktne detalje?
Osobni podaci regulirani su Uredbom GDPR. Ne izrađujemo popise kontaktnih detalja privatnih osoba. Poslovne informacije koje objavljuju tvrtke predstavljaju drugačiju situaciju, a raspravljamo o njima slučaj po slučaj.
Što se događa kada se web stranica promijeni?
Scraperi se kvare kad se rasporedi promijene. Zakazani paketi uključuju upozorenja i tri mjeseca popravaka; nakon toga, održavanje se može nastaviti mjesečno.
Povezane pretrage
Povezani poslovi
JednokratnoČišćenje podatakaNeuređeni spreadsheetovi i CRM podaci: deduplicirani, standardizirani i spremni za upotrebu.from 290 €
JednokratnoBogatenje podatakaPraznine u zapisima vaše tvrtke popunjene iz javnih izvora: industrija, veličina, web stranica, lokacija.from 290 €
JednokratnoIzgradnja B2B liste potencijalnih klijenataIstražene liste tvrtki i donositelja odluka koje odgovaraju vašem idealnom kupcu, s izvorima i verificiranim email adresama.from 290 €
JednokratnoKonzultacije za vizualizaciju podatakaGrafikoni i nadzorne ploče pregledani i redesignirani kako bi ljudi brzo pročitali ispravan zaključak.from 290 €
JednokratnoFinancijska analitikaVaši računovodstveni i prodajni podaci pretvoreni u jasna izvješća o marži, novčanom toku i trendovima.from 290 €
JednokratnoDizajn i optimizacija baze podatakaStruktura baze podataka koja održava podatke točnima, a upite brzim, dizajnirana za nove sustave ili popravljena u postojećima.from 290 €
Ne odgovara standardnoj veličini?
Neki radovi imaju vlastiti opseg. Prvo procjenjujemo opseg i nudimo pisanu ponudu, a poziv za procjenu ne košta ništa.