KUNDI
    Obsežen zajem podatkov

    Javni splet, dostavljen kot čisti podatki.

    Načrtujemo, poganjamo in vzdržujemo cevovode, ki zajemajo strukturirane podatke s tisočev spletnih mest – in delujejo naprej, ko se ta spremenijo, omejijo promet ali se branijo.

    Pridobi ponudboPogovorimo se
    Obseg
    Tisoči virov, milijoni strani
    Dostava
    API · S3 · BigQuery · Webhooki
    Okvir
    Le javno dostopni podatki
    Pregled

    Strgalnik je enostaven. Strgalnik, ki deluje tudi naslednji mesec, ni.

    Skripta, ki prenese stran, je delo za eno popoldne. Cevovod, ki zbira s stotin spreminjajočih se strani, odgovorno premaga zaščito pred boti, opazi spremembo postavitve in vsako jutro v vaše skladišče dostavi pravilne zapise brez podvajanj – to je infrastruktura.

    Tako ga tudi gradimo: porazdeljeni delavci, opazljive vrste, preverjanje sheme za vsak zapis in opozorila, ko kakovost podatkov pade. Vi dobite podatke, mi skrbimo za vzdrževanje.

    01 — Zmogljivosti

    Obsežen zajem podatkov

    • Porazdeljeno pajkanje

      Vodoravno skalirani delavci z vljudnim razporejanjem, ponovitvami in omejitvami sočasnosti na domeno.

    • Flote brezglavih brskalnikov

      Pravo izrisovanje za strani z veliko JavaScripta, z doslednimi in realističnimi profili odjemalcev.

    • Odpornost dostopa

      Nabori posrednikov, upravljanje sej in prilagodljivo upočasnjevanje ob omejitvah in zaščiti pred boti.

    • Izluščenje in normalizacija

      Razčlenjevalniki s preverjanjem sheme, ujemanjem entitet in odstranjevanjem dvojnikov med viri.

    • Zaznavanje sprememb

      Nadzor postavitve in kakovosti podatkov, ki napake ujame, preden pridejo v vaša poročila.

    • Dostava in API-ji

      Podatki, poslani v vaše skladišče, vedro ali webhook – ali na voljo prek dokumentiranega API-ja.

    02 — Proces

    Od seznama virov do dnevnega toka

    Vi določite, katere podatke potrebujete. Mi poskrbimo za pot do njih.

    1. 01

      Obseg

      Dogovor o virih, poljih, svežini in pravni podlagi za vsak vir.

    2. 02

      Pilot

      Vzorčni nabor iz reprezentativnih virov za potrditev strukture in kakovosti.

    3. 03

      Skaliranje

      Uvedba na vse vire z vzpostavljenim nadzorom in pragovi kakovosti.

    4. 04

      Vzdrževanje

      Sprotni popravki ob spremembah strani, s SLA za svežino in popolnost.

    03 — Primeri uporabe

    Kaj zbirajo naše stranke

    • 01

      Cene in ponudba

      Cene konkurence, zaloge in spremembe katalogov pri trgovcih in na tržnicah.

    • 02

      Tržni podatki in potencialne stranke

      Podatki o podjetjih, zaposlitvah in oglasih iz javnih imenikov in portalov.

    • 03

      Učni podatki za UI

      Urejeni korpusi besedil in medijev brez dvojnikov, z izvorom za vsak zapis.

    • 04

      Spremljanje in skladnost

      Sledenje javnim objavam, pogojem, ocenam in omembam blagovne znamke skozi čas.

    04 — Vprašanja

    Pogosta vprašanja

    Je zajem spletnih podatkov zakonit?

    Zbiranje javno dostopnih podatkov je v EU in ZDA praviloma zakonito, odvisno pa je od vira, podatkov in načina uporabe. Vsak vir pregledamo, osebnim podatkom se izognemo, razen če imate zakonito podlago, in spoštujemo omejitve dostopa.

    Kaj se zgodi, ko se stran spremeni?

    Nadzor v nekaj urah označi manjkajoča polja ali spremenjeno postavitev. Popravki so del pogodbe o vzdrževanju, ne nov projekt.

    Ga lahko poganjamo sami?

    Da. Celoten cevovod vam lahko predamo kot kodo v vašem oblačnem računu, z dokumentacijo in prehodnim obdobjem.

    Druge specializirane storitve

    Povejte nam, katere podatke bi radi imeli.

    Pošljite seznam virov in polj. Vrnemo se z oceno izvedljivosti, vzorcem in ponudbo.

    Pridobi ponudboKontaktirajte nas