PROJEKT

Veebisaitide kraapimine struktureeritud kontaktandmete kogumiseks

Kohandatud tarkvaraarendus, Veebisaidiandmete kraapimine, Kontaktandmete väljavõte, Korduvkasutatava kraapija arendus, Andmete puhastamine ja valideerimine, CSV- ja Exceli eksport, JSON-eksport, CRM-i jaoks valmis andmed

  • Valdkond: Turu-uuringud
  • Horvaatia Asukoht: Horvaatia
  • Tarneaeg: 10 nädalat
  • Tehnoloogiad: Python, JavaScript / TypeScript (Node.js)
3 kuud

See klient kulutab aega kontakt- ja ettevõtteandmete kogumisele ettevõtete veebisaitidelt, avalikest andmebaasidest ja veebikataloogidest. Tarkvara on kohandatud veebisaitide kraapimise lahendus, mis kasutab allikate URL-e ja valitud välju. See eraldab kontaktikirjed, puhastab ja valideerib need ning tagastab turu-uuringute meeskonnale korrastatud failid. Korduvkasutatav väljavõte vähendab korduva andmekogumise sõltuvust käsitsi sisestamisest.

Kokkuvõte

Probleem

Klient kulutab aega kontaktandmete käsitsi kogumisele ja kontrollimisele.

Lahendus

Lahendusest sai korduvkasutatav kraapija määratud veebisaidiandmete väljavõtmiseks, puhastamiseks, valideerimiseks ja korrastamiseks.

Tulemus

Tarkvara aitab vähendada käsitsi kogumist ja ümbertegemist turu-uuringute andmetöös.

Kliendi lugu

Klient on Horvaatiast pärit turu-uuringute ettevõte. See kogub ettevõtete veebisaitidelt, avalikest andmebaasidest ja veebikataloogidest ettevõtete nimesid, e-posti aadresse ja telefoninumbreid.

Andmete hulka kuuluvad ka füüsilised aadressid ja muud ettevõtte andmed.

Meeskond valmistab kontaktandmeid ette turuanalüüsiks, äriarenduseks, telefonimüügiks ja CRM-i importimiseks. Käsitsi kogumine, korduvad kontrollid ja duplikaatkirjed võtavad aega ning põhjustavad ümbertegemist.

Soov oli lihtne: eraldada määratud allikatest valitud kontaktiväljad, käivitada kogumine vajadusel uuesti ja edastada puhtad struktureeritud failid.

Lahendus kujundati allika seadistuse ekraani, käivituse jälgimise vaate, andmete puhastamise ala ja ekspordiseadete ümber. Kirjeid sai enne kasutamist üle vaadata.

Klient soovis

  1. Kontaktiväljade eraldamist veebisaitidelt, andmebaasidest, kataloogidest ja veebiallikatest
  2. Korduvkasutatava kraapija käivitamist ning selle lähtekoodi või märkmiku saamist
  3. Väljavõetud kirjete puhastamist, valideerimist, korrastamist ja duplikaatide eemaldamist
  4. Struktureeritud andmete eksporti CSV-, Exceli-, JSON- või kategoriseeritud töövihikutena

Miks valmis tarkvara ei sobinud

Valmis andmeväljavõtte tööriistad katavad osa ülesandest, kuid nende kirjeldused ei määratle koos kliendi täpseid välju, puhastusreegleid ja väljundfaile. Vaja oli kohandatud lahendust, mis ühendaks ühes protsessis korduva kraapimise, valideerimise, duplikaatide eemaldamise, korrastatud töövihikud ja korduvkasutatava koodi.

Projekti ülevaade

Lahendus kavandati kliendi tegelike allikate, väljade ja reeglite põhjal. Esimesel ekraanil määratakse enne käivitamist veebiaadressid, kontaktiväljad ja korduva väljavõtte seaded.

Ühest või mitmest allikast kogumise haldamiseks loodi väljavõtte jälgimise vaade. See kuvab ühes kohas käivituse oleku, allikate URL-id, väljavõetud kirjed ning laadimise või juurdepääsuga seotud märkused.

Seejärel läbivad kirjed puhastamise ja ülevaatuse. Duplikaatide vasted, valideerimise olek, kontaktiväljad ja kategooriad jäävad nähtavaks, et andmehaldur saaks koostada ühtse kontaktloendi.

Viimane ekraan kavandati praktiliseks andmete edastamiseks. See ekspordib korrastatud kirjed CSV-, Exceli- või JSON-vormingus ning säilitab failiga seotud seadistusjuhised või protsessimärkmed.

Kraapija kasutab korduvkasutatavat koodi ja seda saab kohandada kliendi reeglite järgi. Dokumentatsioon ja koolitusmaterjalid toetavad süsteemi iseseisvat kasutamist.

Rakendatud põhifunktsioonid

  • Veebisaitide ja allikate loendi seadistus
  • Valitud kontaktiväljade väljavõte
  • Korduvkasutatav ja taaskäivitatav kraapimine
  • Väljavõtte käivituse jälgimine
  • E-posti aadresside ja telefoninumbrite kogumine
  • Kirjete valideerimine ja puhastamine
  • Duplikaatide tuvastamine ja eemaldamine
  • Kontaktandmete kategoriseerimine
  • CSV-, Exceli- ja JSON-eksport

Lisada saab

+ Korduvad Exceli andmebaasi uuendused + E-posti ja domeeni kontroll + Võtmesõnapõhine kategoriseerimine + Kuupäevapõhine kategoriseerimine + Lähtekoodi ülevaade + Täiendavad kraapimismeetodid

Kes saavad seda lahendust veel kasutada

Neil ettevõtetel on sarnane ülesanne ning sama lahendust saab kohandada nende allikate, väljade ja edastusreeglitega.

Äriteenuste ettevõte

Ülesanne See kogub avalikelt veebisaitidelt ja kataloogidest ettevõtete ning kontaktandmeid.
Kuidas lahendus aitab Lahendus eraldab valitud väljad, eemaldab duplikaatkirjed ja valmistab failid ette CRM-i importimiseks või äriarenduseks.
Ettevõtlusteenused

Professionaalsete teenuste ettevõte

Ülesanne See koostab ettevõtete veebisaitide ja veebiallikate põhjal kontaktloendeid.
Kuidas lahendus aitab Lahendus kogub e-posti aadressid, telefoninumbrid ja ettevõtteandmed struktureeritud failidesse.
Professionaalsed teenused

Tehnoloogiapinu

Python

Kraapimine ja brauseri automatiseerimine

Python toetab veebi roomamist, lehtede parsimist ja brauseripõhist väljavõtet.

JavaScript / TypeScript (Node.js)

Struktureeritud failide töötlemine

JavaScript ja TypeScript toetavad struktureeritud failide töötlemist.

Scrapy

Veebisaitide roomamine ja kraapimine

Scrapy (veebisaitide roomamise ja kraapimise raamistik) kogub kirjeid määratud allikatest.

BeautifulSoup

HTML-lehtede parsimine

BeautifulSoup (veebilehtedelt teabe lugemise teek) parsib lehe sisu ja leiab määratud väljad.

selenium

Brauseripõhine väljavõte

selenium (veebibrauserit juhtiv tööriist) toetab väljavõtet, kui laadimiskäitumine nõuab brauserit.

csv-parse

CSV lugemine ja parsimine

csv-parse (Node.js-i teek CSV-failide lugemiseks) loeb struktureeritud CSV-andmeid.

maatwebsite/excel

Exceli ja CSV eksport

maatwebsite/excel (Laravel-i pakett Exceli- ja CSV-failidele) toetab korrastatud tabelite edastamist.

jsonify

JSON-andmete käsitlemine

jsonify (JavaScripti teek JSON-iga töötamiseks) toetab JSON-kirjeid globaalseid objekte muutmata.

CSV, Excel, JSON

Struktureeritud andmete edastamine

Need vormingud sisaldavad korrastatud kontaktkirjeid analüüsiks, CRM-i importimiseks ja muudeks ärilisteks kasutusteks.

Integratsioonid

CRM systems

Lahendus ekspordib korrastatud kontaktkirjed CRM-i importimiseks sobivates vormingutes.

Excel

Lahendus ekspordib kategoriseeritud kontaktandmed ja korrastatud töövihikud Exceli-failidena.

CSV files

Lahendus loeb ja kirjutab komadega eraldatud kontaktkirjeid struktureeritud andmevahetuseks.

JSON files

Lahendus edastab struktureeritud kirjed JSON-vormingus süsteemidele, mis seda vormingut kasutavad.

Email verification service

E-posti kontrollteenus saab enne edastamist kontrollida e-posti aadresse ja domeene.

Tulemus

Määrake enne kogumist täpsed allikad ja väljad

Esimene ekraan hoiab väljavõtte päringu täpsena. Veebisaidi URL-id, allikate loendid ja valitud kontaktiväljad määravad, mida kraapija kogub.

Kuidas see töötab

  1. Tarkvara salvestab määratud veebisaidid ja allikate loendid.
  2. Tarkvara säilitab valitud väljad, näiteks e-posti aadressi, telefoninumbri ja postiaadressi.
  3. Tarkvara salvestab korduva väljavõtte seaded korduvateks käivitusteks.
  • E-posti aadressid ja telefoninumbrid on saadaval eraldi kontaktiväljadena.
  • Valitud väljade hulka saab lisada füüsilised aadressid ja ettevõtteandmed.
Allika ja väljade seadistus

Allika ja väljade seadistus

Selle ekraani funktsioonid
Veebisaidiandmete kraapimine E-posti aadresside kraapimine Telefoninumbrite väljavõte Füüsiliste aadresside väljavõte

Vaadake väljavõtte edenemist ja kogutud kirjeid

Väljavõtte jälgimise vaade koondab allikate URL-id, käivituse oleku ja väljavõetud kirjed. Juurdepääsuhoiatused ja laadimismärkused muudavad allika käitumise kogumise ajal nähtavaks.

Meeskond näeb enne puhastamisetappi selgelt ühest või mitmest veebisaidist tagastatud kirjeid.

Kuidas see töötab

  1. Scrapy (veebisaitide roomamise ja kraapimise raamistik) kogub andmeid loetletud allikatest.
  2. BeautifulSoup (veebilehti parsiv teek) loeb veebisaidi sisu ja eraldab määratud väljad.
  3. Tarkvara kuvab käivituse oleku, allikate URL-id, väljavõetud andmed ning laadimise või juurdepääsu märkused.
  • Väljavõte toetab mitut lehte ja veebisaiti.
  • Kraapija saab korduvkasutatavate reeglitega uuesti käivitada.
Märkus: Kogumisreeglid peavad arvestama veebisaidi käitumise, platvormi tingimuste, privaatsusseaduste, GDPR-i ja muude kohaldatavate nõuetega.
Väljavõtte käivituse jälgimine

Väljavõtte käivituse jälgimine

Selle ekraani funktsioonid
Veebisaidiandmete kraapimine Andmete väljavõte

Valmistage ette puhtamad kontaktikirjed

Puhastamise ekraan annab andmehaldurile ühe koha ülevaatamiseks: valideerimise olek, duplikaatide vasted ja kategooriad. Kontaktikirjed jäävad enne eksporti korrastatuks.

Duplikaadinäidikud aitavad eristada korduvaid kirjeid kasutatavast kontaktloendist, kategooriad aga valmistavad andmed ette analüüsiks või kontaktivõtuks.

Kuidas see töötab

  1. Tarkvara kuvab kontaktitabelis e-posti aadressid, telefoninumbrid ja postiaadressid.
  2. Tarkvara võrdleb kirjeid ning kuvab duplikaatide vasted ja valideerimise oleku.
  3. Tarkvara rakendab korrastatud kontaktkirjetele kategooriaid.
  • Kirjeid saab kategoriseerida kuupäevade või võtmesõnade järgi.
  • Andmete deduplitseerimise teenus võib toetada duplikaatide ennetamist.
Kirjete puhastamine ja duplikaatide eemaldamine

Kirjete puhastamine ja duplikaatide eemaldamine

Selle ekraani funktsioonid
Kontaktandmete korrastamine Duplikaatide ennetamine Andmete deduplitseerimise teenus Suurte andmekogumite puhastamine Andmete kategoriseerimine Kontaktandmete väljavõte

Edastage andmed meeskonna kasutatavas vormingus

Ekspordi ekraan muudab ülevaadatud kirjed praktiliseks üleandmiseks analüüsi või CRM-i impordi jaoks. CSV, Excel ja JSON jätavad edastusvormingu paindlikuks, muutmata lähtevälju.

Seadistusjuhised ja protsessimärkmed jäävad edastusseadetega seotuks ning aitavad meeskonnal mõista, kuidas väljavõte töötab.

Kuidas see töötab

  1. Tarkvara valmistab korrastatud kontaktikirjed ette CSV-, Exceli- või JSON-väljundiks.
  2. Tarkvara loob valitud vormingu failikokkuvõtte.
  3. Tarkvara lisab lingid seadistusjuhistele või protsessimärkmetele.
  • CSV-failid toetavad struktureeritud andmevahetust.
  • Exceli-failid toetavad kategoriseeritud töövihikuid.
  • JSON-failid toetavad süsteemidevahelist andmekasutust.
Ekspordi ja edastamise seaded

Ekspordi ja edastamise seaded

Selle ekraani funktsioonid
Ettevõtete kontaktloendite eksport Exceli eksporditööriist CSV-andmete haldamine

Mida lahendus pakub

Selle lahenduse abil saab turu-uuringute ettevõte:

  • Koguda määratud veebiallikatest valitud kontakt- ja ettevõttevälju
  • Käivitada korduva andmekogumise jaoks väljavõtte reegleid uuesti
  • Kontrollida enne edastamist valideerimise olekut ja duplikaatide vasteid
  • Korrastada kirjeid kategooriate, näiteks kuupäevade või võtmesõnade järgi
  • Eksportida puhtaid kontaktandmeid analüüsi ja CRM-i impordi jaoks
  • Säilitada korduvkasutatavat koodi, seadistusjuhiseid ja protsessimärkmeid

Kas valmis süsteemid saaksid ülesandega hakkama?

Enne lahenduse kavandamist võrreldi ülesannet valmis toodetega nende endi kirjelduste põhjal.

Mida klient vajab Veebikraapimise API-d Zyte, Scrapfly, ScrapingBee Veebikraapimise tööriistad Octoparse, Oxylabs Andmeväljavõtte tarkvara Data Extraction Kohandatud lahendus
Kontaktiväljade eraldamine allikatest osaliselt
Kraapija uuesti käivitamine lähtekoodiga — osaliselt osaliselt
Kirjete puhastamine ja duplikaatide eemaldamine — osaliselt
Struktureeritud kontaktfailide eksport
Sobivus kliendi enda reeglitega: etapid, rollid, aruanded — — —
Kõik etapid ühes kohas — — —
Programmide vahel puuduvad käsitsi tehtavad etapid osaliselt — osaliselt

Toodete ja nende kategooria avalike kirjelduste põhjal.

Valmistooted katavad veebile juurdepääsu, roomamise, väljavõtte ja failide edastamise, samas kui üldine andmeväljavõtte tarkvara katab laiema andmete hankimise.

Valmistootest piisab, kui ülesanne vajab ainult üht neist osadest. See klient vajas oma tarkvara, sest nõutud väljad, puhastusreeglid, kategooriad, korduvkasutatav kood ja ekspordid pidid ühes kohas koos toimima.

Tooted kirjeldavad automatiseeritud kogumist, kuid kliendi ülevaatuse, valideerimise, deduplitseerimise ja edastamise reeglid nõuavad endiselt kohandatud protsessi.

Lõpptulemus

Lõpptulemusena loodi lahendus, mis eemaldab käsitsi töö avalikest veebiallikatest puhaste kontaktfailideni jõudmise teelt.

KKK

Kas mõtlete sarnase süsteemi loomisele? Lugege allolevaid vastuseid, et näha, kuidas kraapimine, struktureeritud ekspordid ja kohandatud reeglid koos toimivad.

Vajad midagi sarnast? Räägime
Või sirvige rohkem projekte