Duomenų raška
Vieši internetiniai duomenys surinkti į tvarkingą skaičiuoklę ar duomenų bazę, vieną kartą arba pagal grafiką.
Pagrindinės savybės
- Šaltinio peržiūra su užrašytomis bet kokiomis apribojimais
- Rašyklos skriptas Python arba Node.js kalba
- Išvalyti duomenų rinkinys pasirinktu formatu
- Grafikas ir pranešimai, pasirenkant paketus
- Dokumentacija rašyklos paleidimui ar keitimui
- Čia nieko neperkamaPirmiausia gausite rašytinį pasiūlymą. Mokėti nereikia, jokių įsipareigojimų.
- Parduoda ir teikia GRADAXViena sutartis ir viena komanda, nepriklausomai nuo to, kas atlieka darbą.
- Jūsų duomenys lieka ESNieko neperkeliami už Sąjungos ribų apdoroti.
Apie šią paslaugą
Kainos, produktų sąrašai, katalogų įrašai, viešieji tenderiai ir kita informacija, skelbiama svetainėse, renkami skripto pagalba į struktūruotus duomenis, kuriuos galite naudoti. Pirmiausia tikriname, ar tai leidžiama, kuriame rašyklę, kuri susidorotų su puslapiais ir pokyčiais, ir pristatome švarius CSV, Excel, „Google Sheets“ arba duomenų bazės rezultatus.
Leidžiama prieš galimą
Techniškai galima nuskenuoti beveik bet kurią viešą svetainę. Tačiau ar tai daryti reikėtų, yra kitas klausimas. Kai kurios svetainės savo naudojimo sąlygose draudžia automatizuotą prieigą, kai kurios skelbia asmeninius duomenis, kurie reglamentuojami pagal GDPR, o kai kurios slepiasi už prisijungimų, kurių negalima automatizuoti be leidimo.
Prieš rašydami kodą, nagrinėjame kiekvieną duomenų šaltinį: naudojimosi sąlygas, robots.txt taisykles ir tai, ar yra asmeninių duomenų. Atsisakome šaltinių, kurie aiškiai draudžia duomenų rinkimą arba reikalauja nepilnamečio prieigos, ir pažymime asmeninius duomenis, kad galėtumėte pasitarti su teisininku dėl teisėto pagrindo. Mes esame ne teisininkai ir neteikiame teisinių konsultacijų.
Scrapers break; plan for it
Svetainės keičia savo maketus be išankstinio įspėjimo. Skriptas, kuris praėjusią savaitę veikė puikiai, staiga grąžina tuščius laukus ar neteisingas reikšmes. Jei niekas to nepastebi, sprendimai priimami remiantis sugedusiais duomenimis.
Mūsų suplanuoti skriptai tikrina savo rezultatus. Jei paleidimas grąžina žymiai mažiau įrašų nei įprastai arba privalomi laukai lieka tušti, gaunate pranešimą vietoj tyliai klaidingo lapelio. Didžiausiame pakete įtraukti trys mėnesiai taisymų, kai šaltiniai pasikeičia.
Taip pat duomenis renkamės mandagiai: ribojame užklausų dažnį, gerbiame svetainės apkrovą ir tinkamai identifikuojamės. Agresyvus duomenų rinkimas sukelia blokavimą ir gali pakenkti svetainei, nuo kurios priklausote duomenims.
- Šaltiniai peržiūrėti dėl sąlygų ir asmeninių duomenų
- Mandagūs užklausų dažniai
- Validacija ir pranešimai kiekviename suplanuotame paleidime
- Švarūs duomenys CSV, Excel, Sheets arba duomenų bazėje
Specifikacijos
- Kategorija
- Automatizavimas ir duomenys
- Kaina
- Nuo 290 € iki 1 050 €
- Dydžiai
- Mažas (Vienkartinis ištraukimas), Vidutinis (Daugelio šaltinių ištraukimas), Didelis (Suplanuota rašyklą)
- Įgyvendinimo laikas
- Nuo 3 dienų iki 3 savaičių
- Sąskaitos faktūros
- Vienkartinis
- Ką jūs gaunate
- 5 elementai, visi įtraukti į kainą
- Ko mums reikia iš jūsų
- Svetainės ir laukai, kurių jums reikia, Pavyzdys, kaip galutiniai duomenys turi atrodyti, Kaip dažnai jų reikia atnaujinti
- Dažniausiai perkama
- E-komercija, Rinkos tyrimai, Nekilnojamas turtas, Pirkimai
- Parduoda ir teikia
- GRADAX, viena sutartis ir viena komanda
- Kur tvarkomi jūsų duomenys
- Europos Sąjunga
Ką jūs gaunate
Viskas, kas žemiau, įtraukta į kainą. Čia nieko nėra kaip papildomo mokėjimo už aukštesnį lygį.
- Šaltinio peržiūra su užrašytomis bet kokiomis apribojimais
- Rašyklos skriptas Python arba Node.js kalba
- Išvalyti duomenų rinkinys pasirinktu formatu
- Grafikas ir pranešimai, pasirenkant paketus
- Dokumentacija rašyklos paleidimui ar keitimui
Kas keičiasi
- Duomenys tvarkingose stulpeliuose su nuosekliomis formatavimo taisyklėmis
- Šaltiniai tikrinami dėl sąlygų, robots.txt taisyklių ir asmens duomenų prieš rinkimą
- Suplanuoti vykdymai, kurie jus informuoja, kai svetainė pasikeičia ir sugadina rašyklę
- Dublikatai pašalinti ir laukai patikrinti
Palyginti dydžius
Standartinė kaina kiekvienam dydžiui. Papildomi mokesčiai nurodomi šalia, o ne slepiami už skambučio.
| Įtraukta | Vienkartinis ištraukimas290 €Nuo 3 iki 5 darbo dienų | Daugelio šaltinių ištraukimas500 €1–2 savaitės | Suplanuota rašyklą1 050 €Nuo 2 iki 3 savaičių |
|---|---|---|---|
| Viena svetainė | Įtraukta | Įtraukta | Įtraukta |
| Iki 10 000 įrašų | Įtraukta | Įtraukta | Įtraukta |
| CSV arba Excel išvestis | Įtraukta | Įtraukta | Įtraukta |
| Bazinė valymo procedūra | Įtraukta | Įtraukta | Įtraukta |
| Viskas Vienkartinio ištraukimo rinkinyje, iki penkių svetainių | Neįtraukta | Įtraukta | Įtraukta |
| Iki 100 000 įrašų | Neįtraukta | Įtraukta | Įtraukta |
| Laukai suderinti tarp šaltinių | Neįtraukta | Įtraukta | Įtraukta |
| „Google Sheets“ arba duomenų bazės išvestis | Neįtraukta | Įtraukta | Įtraukta |
| Viskas Daurių šaltinių ištraukimo rinkinyje | Neįtraukta | Neįtraukta | Įtraukta |
| Dienos arba savaitės grafikai | Neįtraukta | Neįtraukta | Įtraukta |
| Pranešimai, kai šaltinis pasikeičia | Neįtraukta | Neįtraukta | Įtraukta |
| Trys mėnesiai taisymų, kai svetainės pasikeičia | Neįtraukta | Neįtraukta | Įtraukta |
| Pridėti į pasiūlymą |
Pridėti, ko reikia
Choose the size
Pridėti, ko reikia
Jūsų bendra suma€500
Standartinė kaina ir tai, ką pridėsite. Patvirtinama raštu prieš ką nors pradedant; nieko neskaičiuojama, kol nepriimsite.
Kaip tai veikia
Peržiūra
Kiekvienas šaltinis tikrinamas dėl naudojimosi sąlygų, robots.txt taisyklių ir asmens duomenų.
Statyba
Rašyklą, kuri tvarko puslapius, filtrus ir mandagius užklausų dažnius.
Valyti
Laukai normalizuoti, dublikatai pašalinti, spragos pažymėtos.
Pristatyti
Duomenys perduodami arba suplanuojami su pranešimais apie nesėkmes.
Klausimai
Ar svetainių raška legalu?
Priklauso nuo svetainės sąlygų, duomenų ir jų naudojimo būdo, o mes nesame teisininkai. Atsisakome šaltinių, kurie draudžia automatizuotą prieigą arba reikalauja prisijungimų, kurių neturime teisės naudoti, ir žymime asmens duomenis, kad galėtumėte pasitikslinti savo teisinį pagrindą su teisininku.
Ar galite rinkti asmeninius kontaktinius duomenis?
Asmens duomenys reglamentuojami pagal GDPR. Mes nekuriame privačių asmenų kontaktinių duomenų sąrašų. Įmonių skelbiami verslo duomenys yra kitas klausimas, ir jį nagrinėjame kiekvienu atveju atskirai.
Kas nutinka, kai svetainė pasikeičia?
Scraper'iai lūžta, kai pasikeičia išdėstymas. Suplanuotuose paketuose yra įspėjimai ir trys mėnesiai taisymų; po to priežiūrą galima tęsti kas mėnesį.
Susiję paieškos užklausos
Susiję darbai
VienkartinisDuomenų valymasNetvarkingi skaičiuoklės ir CRM duomenys, išvalyti nuo dublikatų, standartizuoti ir paruošti naudojimui.from 290 €
VienkartinisDuomenų praturtinimasJūsų įmonės įrašų spragos užpildomos iš viešų šaltinių: pramonės šaka, dydis, svetainė, vieta.from 290 €
VienkartinisB2B potencialių klientų sąrašų kūrimasIštirti įmonių ir sprendimų priėmėjų sąrašai, atitinkantys Jūsų idealų klientą, su šaltiniais ir patvirtintais el. pašto adresais.from 290 €
VienkartinisDuomenų vizualizacijos konsultacijosDiagramos ir skydeliai peržiūrimi ir pertvarkomi, kad žmonės greitai matytų teisingą išvadą.from 290 €
VienkartinisFinansinė analitikaJūsų apskaitos ir pardavimo duomenys paversti aiškiomis ataskaitomis apie maržą, pinigus ir tendencijas.from 290 €
VienkartinisDuomenų bazių dizainas ir optimizavimasDuomenų bazės struktūra, užtikrinanti duomenų tikslumą ir greitą užklausų vykdymą – kuriam nauja arba taisoma esama.from 290 €
Netinka dydis?
Kai kurie darbai turi savitą apimtį. Pirmiausia ją įvertiname ir pateikiame rašytinį pasiūlymą; įvertinimo skambutis nemokamas.