Adatkinyerés
Nyilvános webes adatok összegyűjtve egy tiszta táblázatba vagy adatbázisba, egyszeri vagy ütemezett módon.
Főbb jellemzők
- Forrás áttekintése, az esetleges korlátozások jelölésével
- Scraper szkript Pythonban vagy Node.js-ben
- Tisztított adathalmaz az Ön által választott formátumban
- Ütemezés és értesítések, ismétlődő csomagoknál
- Dokumentáció a scraper futtatásához vagy módosításához
- Itt nincs fizetésElőször írásos árajánlatot kap. Fizetés nincs, kötelezettség nincs.
- Értékesíti és szolgáltatja: GRADAXEgy szerződés és egy csapat, akárki végzi is a munkát.
- Az adatai az EU-ban maradnakSemmit nem visznek ki az unión kívülre feldolgozásra.
A szolgáltatásról
Árak, terméklisták, címtárbejegyzések, közbeszerzések és más weboldalakon közzétett információk, szkripttel strukturált adatokká gyűjtve, amelyeket használni tud. Először ellenőrizzük, mi engedélyezett, majd olyan scrapert építünk, amely kezeli a lapozást és a változásokat, és tiszta CSV, Excel, Google Sheets vagy adatbázis kimenetet adunk.
Megengedett a lehetséges előtt
Szinte bármely nyilvános weboldal technikailag letölthető. Az, hogy szabad-e, más kérdés. Egyes oldalak tiltják az automatikus hozzáférést a feltételeikben, mások személyes adatokat tesznek közzé, amelyek a GDPR hatálya alá tartoznak, megint mások olyan bejelentkezés mögött vannak, amelynek automatizálására Ön nem jogosult.
A kód megírása előtt minden forrást átvizsgálunk: használati feltételek, robots szabályok és hogy érint-e személyes adatot. Elutasítjuk azokat a forrásokat, amelyek egyértelműen tiltják a letöltést vagy jogosulatlan hozzáférést igényelnek, és jelezzük a személyes adatokat, hogy Ön jogi tanácsadóval ellenőrizhesse a jogalapját. Nem vagyunk ügyvédek, és nem adunk jogi véleményt.
Scrapers break; plan for it
A weboldalak figyelmeztetés nélkül változtatják az elrendezésüket. Egy múlt héten tökéletesen működő letöltő hirtelen üres mezőket vagy hibás értékeket ad vissza. Ha senki nem veszi észre, a döntések hibás adatok alapján születnek.
Az ütemezett letöltőink ellenőrzik a saját kimenetüket. Ha egy futás sokkal kevesebb rekordot ad vissza a szokásosnál, vagy a kötelező mezők üresen jönnek vissza, riasztást kap a csendesen hibás táblázat helyett. A legnagyobb csomag három hónap javítást tartalmaz, amikor a források megváltoznak.
Emellett udvariasan töltünk le: korlátozott kérési arányok, az oldal terhelésének tiszteletben tartása és azonosítás, ahol megfelelő. Az agresszív letöltést blokkolják, és kárára lehet annak az oldalnak, amelytől az adatai függenek.
- Források átvizsgálva a feltételek és a személyes adatok szempontjából
- Udvarias kérési arányok
- Érvényesítés és riasztások minden ütemezett futásnál
- Tiszta kimenet CSV-ben, Excelben, Sheetsben vagy adatbázisban
Műszaki adatok
- Kategória
- Automatizálás és adat
- Ár
- 290 EUR–1050 EUR
- Méretek
- Kicsi (Egyszeri kinyerés), Közepes (Többforrásos kinyerés), Nagy (Ütemezett scraper)
- Átfutási idő
- 3 naptól 3 hétig
- Számlázva
- Egyszeri
- Ami Önt illeti
- 5 tétel, mind az árban
- Mire van szükségünk Önöktől
- A weboldalak és mezők, amelyekre szüksége van, Példa arra, hogyan nézzen ki a végleges adat, Milyen gyakran kell frissíteni
- Leggyakrabban ők vásárolják
- E-kereskedelem, Piackutatás, Ingatlan, Beszerzés
- Értékesíti és teljesíti:
- GRADAX, egy szerződés és egy csapat
- Hol dolgozzuk fel az adatait
- Európai Unió
Ami Önt illeti
Minden lentebb az árban van. Itt semmi nem felár.
- Forrás áttekintése, az esetleges korlátozások jelölésével
- Scraper szkript Pythonban vagy Node.js-ben
- Tisztított adathalmaz az Ön által választott formátumban
- Ütemezés és értesítések, ismétlődő csomagoknál
- Dokumentáció a scraper futtatásához vagy módosításához
Mi változik
- Adatok tiszta oszlopokban, egységes formátumokkal
- Források ellenőrizve a feltételek, robots szabályok és személyes adatok szempontjából a gyűjtés előtt
- Ütemezett futások, amelyek értesítik, ha egy oldal megváltozik és eltöri a scrapert
- Duplikátumok eltávolítva és mezők validálva
Méretek összehasonlítása
Az egyes méretek standard ára. A kiegészítők ára mellette szerepel, nem egy hívás mögé rejtve.
| Tartalmazza | Egyszeri kinyerés290 EUR3–5 munkanap | Többforrásos kinyerés500 EUR1–2 hét | Ütemezett scraper1050 EUR2–3 hét |
|---|---|---|---|
| Egy weboldal | Tartalmazza | Tartalmazza | Tartalmazza |
| Akár 10 000 rekord | Tartalmazza | Tartalmazza | Tartalmazza |
| CSV vagy Excel kimenet | Tartalmazza | Tartalmazza | Tartalmazza |
| Alap tisztítás | Tartalmazza | Tartalmazza | Tartalmazza |
| Minden az Egyszeri kinyerésből, akár öt weboldalig | Nem tartalmazza | Tartalmazza | Tartalmazza |
| Akár 100 000 rekord | Nem tartalmazza | Tartalmazza | Tartalmazza |
| Mezők összehangolva a források között | Nem tartalmazza | Tartalmazza | Tartalmazza |
| Google Sheets vagy adatbázis kimenet | Nem tartalmazza | Tartalmazza | Tartalmazza |
| Minden a Többforrásos kinyerésből | Nem tartalmazza | Nem tartalmazza | Tartalmazza |
| Napi vagy heti ütemezett futások | Nem tartalmazza | Nem tartalmazza | Tartalmazza |
| Értesítések, ha egy forrás megváltozik | Nem tartalmazza | Nem tartalmazza | Tartalmazza |
| Három hónap javítás, ha az oldalak megváltoznak | Nem tartalmazza | Nem tartalmazza | Tartalmazza |
| Hozzáadás az ajánlatkéréshez |
Adja hozzá, amire szüksége van
Choose the size
Adja hozzá, amire szüksége van
Összesen€500
A standard ár, plusz amit hozzáad. Írásban megerősítve, mielőtt bármi elkezdődik; semmit nem számlázunk, amíg el nem fogadja.
Hogyan működik
Átvizsgálás
Minden forrás ellenőrizve a használati feltételek, robots szabályok és személyes adatok szempontjából.
Építés
Egy scraper, amely kezeli a lapozást, a szűrőket és a tisztességes kérési arányt.
Tisztítás
Mezők normalizálva, duplikátumok eltávolítva, hiányosságok jelölve.
Szállítás
Adatok átadva, vagy ütemezve, hiba esetén értesítéssel.
Kérdések
Legális a web scraping?
Ez az oldal feltételeitől, az adatoktól és azok felhasználásától függ, és mi nem vagyunk jogászok. Elutasítjuk azokat a forrásokat, amelyek tiltják az automatizált hozzáférést, vagy olyan bejelentkezést igényelnek, amelyre nincs felhatalmazásunk, a személyes adatokat pedig megjelöljük, hogy Ön jogi tanácsadóval ellenőrizhesse a jogszerű alapot.
Ki lehet nyerni személyes elérhetőségeket?
A személyes adatokat a GDPR szabályozza. Nem készítünk listákat magánszemélyek elérhetőségeiről. A cégek által közzétett üzleti információk más eset, ezeket egyedileg beszéljük meg.
Mi történik, ha megváltozik a weboldal?
A scraperek elromlanak, amikor az elrendezések változnak. Az ütemezett csomagok riasztásokat és három hónap javítást tartalmaznak; utána a karbantartás havi díjjal folytatható.
Kapcsolódó keresések
Kapcsolódó munkák
EgyszeriAdattisztításRendetlen táblázatok és CRM-adatok duplikátumoktól mentesítve, egységesítve és használatra készen.from 290 EUR
EgyszeriAdatgazdagításA cégnyilvántartásában lévő hiányosságok kitöltve nyilvános forrásokból: iparág, méret, weboldal, helyszín.from 290 EUR
EgyszeriB2B érdeklődőlista-építésKutatott cég- és döntéshozólisták, amelyek megfelelnek az ideális ügyfélprofiljának, forrásokkal és ellenőrzött e-mail-címekkel.from 290 EUR
EgyszeriAdatvizualizációs tanácsadásDiagramok és irányítópultok áttekintve és újratervezve, hogy az emberek gyorsan a helyes következtetést olvassák ki.from 290 EUR
EgyszeriPénzügyi elemzésA számviteli és értékesítési adataiból világos jelentések készülnek az árrésről, a cash flow-ról és a trendekről.from 290 EUR
EgyszeriAdatbázis-tervezés és optimalizálásOlyan adatbázis-struktúra, amely helyesen tartja az adatokat és gyorsan szolgálja ki a lekérdezéseket, újonnan tervezve vagy helyben javítva.from 290 EUR
Egyik csomag sem illik?
Egyes munkák egyedi jellegűek. Először felmérjük a hatókört, és írásban árajánlatot adunk; a felmérő hívás ingyenes.