Datankeruu
Julkinen verkkodata kerätty siistiksi taulukoksi tai tietokantaan kerran tai ajastetusti.
Keskeiset ominaisuudet
- Lähteen tarkastus mahdollisilla rajoituksilla merkitty
- Skräpperskripti Pythonilla tai Node.js:llä
- Siivottu datamäärä valitsemassasi muodossa
- Ajastus ja hälytykset, toistuvissa paketeissa
- Dokumentointi skräpperin suorittamiseen tai muuttamiseen
- Täältä ei hankita mitäänSaat ensin kirjallisen tarjouksen. Ei maksuja, ei sitoumuksia.
- Myyjä ja toimittaja: GRADAXYksi sopimus ja yksi tiimi, riippumatta siitä, kuka työn tekee.
- Datanasi pysyy EU:ssaMitään ei siirretä unionin ulkopuolelle prosessoitavaaksi.
Tietoja tästä palvelusta
Hinnat, tuoteluettelot, hakemistomerkit, julkiset hankinnat ja muu verkkosivuilla julkaistu tieto kerätään skriptillä strukturoituun dataan, jota voit käyttää. Tarkistamme ensin, mitä saa tehdä, rakennamme skräpperin, joka selviää sivustosta toiseen siirtymisestä ja muutoksista, ja toimitamme siistit CSV-, Excel-, Google Sheets- tai tietokantatulosteet.
Sallittu ennen mahdollista
Teknisesti lähes mikä tahansa julkinen verkkosivusto voidaan raapia. Onko se sallittua, on eri kysymys. Jotkut sivustot kieltävät automaattisen käytön ehtonsa mukaisesti, jotkut julkaisevat henkilödataa, jota säännellään GDPR:n alaisena, ja jotkut sijaitsevat kirjautumisrajoituksen takana, jota et ole valtuutettu automatisoimaan.
Tarkastelemme jokaista lähdettä ennen koodin kirjoittamista: käyttöehdot, robots-säännöt ja henkilötietojen osallisuus. Kieltäydymme lähteistä, jotka selvästi kieltävät raapimisen tai vaativat luvattoman pääsyn, ja merkitsemme henkilötiedot, jotta voit tarkistaa lainmukaisen perusteesi lakineuvojan kanssa. Emme ole lakimiehiä eivätkä anna juridisia lausunnoita.
Scrapers break; plan for it
Verkkosivustot muuttavat ulkoasuaan ilman ennakkoilmoitusta. Raaputin, joka toimi täydellisesti viime viikolla, palauttaa yhtäkkiä tyhjiä kenttiä tai virheellisiä arvoja. Jos kukaan ei huomaa sitä, päätöksiä tehdään viallisen datan perusteella.
Ajastetut raaputtimme tarkistavat oman tuotoksensa. Jos ajo palauttaa huomattavasti vähemmän tietueita kuin tavallisesti tai vaaditut kentät tulevat tyhjiksi, saat hälytyksen sen sijaan, että taulukko olisi hiljaa väärä. Laajimmassa paketissa on kolmen kuukaudin korjaukset, kun lähteet muuttuvat.
Raaputamme myös kohteliaasti: rajoitetut pyyntömäärät, kunnioitamme sivuston kuormitusta ja tunnistamme itsellemme tarvittaessa. Aggressiivinen raaputus estetään ja voi vahingoittaa sivustoa, josta riippumme datan saannissa.
- Lähteet tarkastettu ehtojen ja henkilötietojen osalta
- Kohteliaat pyyntöradat
- Validointi ja hälytykset jokaisella ajastetulla ajolla
- Siisti output CSV-, Excel-, Sheets- tai tietokantamuodossa
Tekniset tiedot
- Kategoria
- Automaatio & Data
- Hinta
- 290 € – 1 050 €
- Koot
- Pieni (Kertalyönti), Keski (Usean lähteen erottelu), Suuri (Ajastettu skräpperi)
- Toimitusaika
- 3 päivää – 3 viikkoa
- Laskutettu
- Kertamaksu
- Mitä saat
- 5 tuotetta, kaikki hinnassa
- Mitä tarvitsemme sinulta
- Verkkosivustot ja kentät, jotka tarvitset, Esimerkki lopullisen datan ulkonäöstä, Kuinka usein datan on päivitettävä
- Useimmiten ostaneet
- Verkkokauppa, Markkinatutkimus, Kiinteistöalan toimijat, Hankinta
- Myyjä ja toimittaja
- GRADAX, yksi sopimus ja yksi tiimi
- Missä tietosi käsitellään
- Euroopan unioni
Mitä saat
Kaikki alla oleva sisältyy hintaan. Täällä ei ole päivitysvaihtoehtoja.
- Lähteen tarkastus mahdollisilla rajoituksilla merkitty
- Skräpperskripti Pythonilla tai Node.js:llä
- Siivottu datamäärä valitsemassasi muodossa
- Ajastus ja hälytykset, toistuvissa paketeissa
- Dokumentointi skräpperin suorittamiseen tai muuttamiseen
Mitä muuttuu
- Dataa siisteissä sarakkeissa johdonmukaisilla muotoiluilla
- Lähteet tarkistettu ehtoja, robots-sääntöjä ja henkilötietoja ennen keruuta
- Ajastetut ajot, jotka hälyttävät sinua, kun sivusto muuttuu ja rikkoo skräpperin
- Duplikaatit poistettu ja kentät validoitu
Vertaa kokoja
Standardihinta jokaiselle koolle. Lisäosat hinnoitellaan sen vieressä, ei piilotettuna puhelun taakse.
| Sisällytetty | Kertalyönti290 €3–5 työpäivää | Usean lähteen erottelu500 €1–2 viikkoa | Ajastettu skräpperi1 050 €2–3 viikkoa |
|---|---|---|---|
| Yksi verkkosivusto | Sisällytetty | Sisällytetty | Sisällytetty |
| Enintään 10 000 tietuetta | Sisällytetty | Sisällytetty | Sisällytetty |
| CSV- tai Excel-tuloste | Sisällytetty | Sisällytetty | Sisällytetty |
| Perussiivous | Sisällytetty | Sisällytetty | Sisällytetty |
| Kaikki Kertalyönnissä, enintään viiteen verkkosivustoon | Ei sisälly | Sisällytetty | Sisällytetty |
| Enintään 100 000 tietuetta | Ei sisälly | Sisällytetty | Sisällytetty |
| Kentät yhdistetty lähteiden välillä | Ei sisälly | Sisällytetty | Sisällytetty |
| Google Sheets- tai tietokantatuloste | Ei sisälly | Sisällytetty | Sisällytetty |
| Kaikki Usean lähteen erottelussa | Ei sisälly | Ei sisälly | Sisällytetty |
| Päivittäiset tai viikoittaiset ajot | Ei sisälly | Ei sisälly | Sisällytetty |
| Hälytykset, kun lähde muuttuu | Ei sisälly | Ei sisälly | Sisällytetty |
| Kolmen kuukauden korjaukset, kun sivustot muuttuvat | Ei sisälly | Ei sisälly | Sisällytetty |
| Lisää tarjouslistaan |
Lisää tarvitsemasi
Choose the size
Lisää tarvitsemasi
Yhteensä€500
Vakiöhinta plus se, mitä lisäät. Vahvistetaan kirjallisesti ennen kuin mitään aloitetaan; mitään ei veloiteta ennen kuin hyväksyt sen.
Kuinka se toimii
Tarkastus
Jokainen lähde tarkistettu käyttöehtojen, robots-sääntöjen ja henkilötietojen suhteen.
Rakenna
Skräpperi, joka selviää sivustosta toiseen siirtymisestä, suodattimista ja kohteliaista pyyntönopeuksista.
Puhdistaa
Kentät normalisoitu, duplikaatit poistettu, aukot merkitty.
Toimita
Data toimitettu tai ajastettu hälytyksineen epäonnistumisten varalta.
Kysymykset
Onko verkkosivujen datankeruu laillista?
Se riippuu sivuston ehdoista, datasta ja sen käytöstä, emmekä ole lakimiehiä. Hylkäämme lähteet, jotka kieltävät automaattisen pääsyn tai vaativat kirjautumistietoja, joihin meillä ei ole oikeuksia, ja merkitsemme henkilötiedot, jotta voit tarkistaa lakisääteisen perusteesi neuvottelun kanssa.
Voimmeko kaivata henkilökohtaisia yhteystietoja?
Henkilötietoja säännellään GDPR:n mukaisesti. Emme rakenna yksityishenkilöiden yhteystietolistoja. Yritysten julkaisemat yritystiedot ovat eri asia, ja käsittelemme sen tapauskohtaisesti.
Mitä tapahtuu, kun verkkosivusto muuttuu?
Skraperit hajoavat, kun asettelut muuttuvat. Aikataulutetut paketit sisältävät hälytykset ja kolme kuukautta korjauksia; sen jälkeen ylläpito voi jatkua kuukausittain.
Aiheeseen liittyvät haut
Liittyvä työ
KertamaksuDatasta siivoaminenSotkuista taulukkolaskenta- ja CRM-dataa deduplioidaan, standardoidaan ja valmistellaan käyttöön.from 290 €
KertamaksuDatantäydennysYritystietojen aukot täytetty julkisista lähteistä: toimiala, koko, verkkosivusto, sijainti.from 290 €
KertamaksuB2B-potentiaalisten asiakkaiden listojen rakentaminenTutkitut yritysten ja päätöksentekijöiden listat, jotka vastaavat ihanteellista asiakasprofiiliasi, lähteineen ja vahvistettuine sähköposteineen.from 290 €
KertamaksuData-analytiikan konsultointiKaaviot ja hallintapaneelit tarkastettu ja uudelleensuunniteltu, jotta oikea johtopäätös näkyy nopeasti.from 290 €
KertamaksuTaloudellinen analytiikkaKirjanpidon ja myyntidata muunnettu selkeiksi raporteiksi marginaalista, käteisestä ja trendeistä.from 290 €
KertamaksuTietokantasuunnittelu ja optimointiTietorakenne, joka pitää tiedot oikeina ja kyselyt nopeina, suunniteltu uudeksi tai korjattu paikallaan.from 290 €
Eikö kokoa löydy?
Osa työstä on omanlaistaan. Tarkennamme sen ensin ja tarjoamme kirjallisesti, ja tarkennuspuhelu on ilmainen.