PROJEKT

Veebikaape tarkvara puhasteks ja ekspordiks valmis andmeteks

Kohandatud tarkvaraarendus, Veebikaape, Andmete ekstraktsioon, Andmete puhastamine, Duplikaatide eemaldamine, Andmete valideerimine, Andmebaasiintegratsioon, Ekspordi automatiseerimine

  • Valdkond: Äriteenused
  • Luksemburg Asukoht: Luksemburg
  • Tarneaeg: 16 nädalat
  • Tehnoloogiad: Python, PHP
4+ kuud

Klient kulutab aega veebisaitidelt, andmebaasidest ja API-dest kirjete kogumisele, enne kui andmed on analüüsiks või importimiseks valmis. Veebikaape tarkvara võtab vastu lehti, lõpp-punkte ja faile, eraldab valitud väljad ning puhastab ja valideerib need. Tulemuseks on ühtsed andmed arvutustabelite, SQL-andmebaaside või rakenduste jaoks. See annab andmetöötlusettevõttele korratava viisi eri allikatest pärit kirjete ettevalmistamiseks, vähendades käsitööd ja ümbertegemist.

Kokkuvõte

Probleem

Klient kulutab palju aega eri allikatest pärit kirjete käsitsi kogumisele ja ettevalmistamisele.

Lahendus

Lahendusest sai korratav veebiandmete kogumise ja puhastamise töövoog ekstraktsiooni, valideerimise ja ekspordi jaoks.

Tulemus

Tarkvara eesmärk on vähendada käsitsi ettevalmistamise aega ja vigu enne andmete jõudmist sihtkohta.

Kliendi lugu

Klient on Luksemburgist pärit andmetöötlusettevõte. See koondab veebisaitidelt, andmebaasidest ja API-dest pärit kirjeid edasiseks kasutamiseks.

Käsitsi kogumine ja ettevalmistamine võtab aega, sest allikatel on erinev struktuur ja vorming. Ebaühtlased väljad tekitavad enne eksporti või importi lisatööd.

Soov oli lihtne: luua korratavad Pythoni, käsurea, märkmiku või rakendusepõhised töövood. Need pidid andmeid eraldama, puhastama ja valideerima enne nende saatmist nõutud sihtkohta.

Lahendus kujundati allika seadistamise, puhastamise ja valideerimise tööruumi ning struktureeritud ekspordi ümber. Väljade, skeemide ja sihtkohtade reeglid jäid nähtavaks, et kliendimeeskond saaks kasutada oma standardeid.

Klient soovis

  1. Käitada korratavaid Pythoni, käsurea, märkmiku või rakenduse töövooge.
  2. Eksportida puhastatud tulemused CSV-, Exceli-, Parquet-, JSON-, Sheetsi-, teksti- või SQL-vormingus.
  3. Puhastada, normaliseerida, teisendada, eemaldada duplikaate, filtreerida, sortida ja koondada andmeid.
  4. Pakkuda logisid, veaaruandeid, dokumentatsiooni, seadistusjuhiseid, koodi ja sõltuvusi.

Miks valmislahendus ei sobinud

Valmistooted katavad ülesande eri osi: veebist kogumist, hallatud ekstraktsiooni, andmete integreerimist või seadistatavaid kaapereegleid. Kirjelduses olid eraldi välja toodud allikast ekstraktsiooni, puhastamise ja valideerimise võimalused ning sihtkoha kaardistamine ja aruandlus. Seetõttu vajas kliendi täielik töövoog oma kombinatsiooni.

Projekti ülevaade

Lahendus kavandati kolme etapina: allikate ja ekstraktsiooni seadistamine, puhastamine ja valideerimine ning struktureeritud eksport. Nii jääb allikakirje teekond sihtkohani selgeks.

Esimene ekraan koondab veebisaidid, andmebaasid ja API-d ühte seadistusse. Samuti saab lisada faile ning määrata iga käituse väljad ja sihtkoha struktuuri.

Erinevate allikavormingute käsitlemiseks loodi ekstraktsiooni ja ettevalmistuse Python-põhised töövood. HTML-i parsimine, andmebaaside kasutamine, arvutustabelite lugemine ja dokumentide teisendamine toetavad määratud allikaid.

Puhastamise tööruum kuvab töötlemata ja puhastatud väärtusi, duplikaadirühmi ning valideerimise tulemusi. Puhastus- ja duplikaatide eemaldamise reeglid loovad ühtse struktuuri.

Ekspordivaade seob veerud ja skeemid CSV-, Exceli- või andmebaasi sihtkohtadega. Töötlemiskokkuvõtted ja käituslogid hoiavad iga käituse oleku nähtavana.

Lisatud olid dokumentatsioon, seadistusjuhised ja lähtekood. Sõltuvuste teave ja töölogid aitavad kliendimeeskonnal töövooge hallata ning oma andmereeglitele kohandada.

Tarnitud põhifunktsioonid

  • Valitud lehtede ja väljade veebikaape
  • Ekstraktsioon andmebaasidest, API-dest, failidest ja dokumentidest
  • Korratavad Pythoni ja rakenduse töövood
  • Puhastamine, normaliseerimine ja teisendamine
  • Duplikaatide tuvastamine ja kirjete ühendamine
  • Skeemide ja väljade valideerimine
  • Vahelejäetud kirjete ja vigade aruandlus
  • CSV-, Exceli-, Parquet-, JSON-, teksti-, Sheetsi- ja SQL-eksport

Lisatavad funktsioonid

+ Lehekülgede kaupa töötlemine + Dünaamiliste lehtede ja JavaScripti tugi + Päringumäärade piirangute käsitlemine + CAPTCHA käsitlemine + Täiendavad sihtkoha ühendused + Töötlemise dokumentatsioon ja seadistustugi

Kes saavad seda lahendust veel kasutada

Sarnase andmete ettevalmistamise vajadusega ettevõtted saavad kohandada sama lahenduse oma allikate, reeglite ja sihtkohtade järgi.

Uurimis- ja analüüsimeeskond

Ülesanne See valmistab veebisaitidelt, API-dest, failidest ja andmebaasidest pärit eri allikatest pärinevad kirjed ette analüüsiks ja aruandluseks.
Kuidas lahendus aitab Lahendus eraldab valitud väljad, valideerib need, eemaldab duplikaadid ja ekspordib ühtse andmestiku.
Professionaalsed teenused

Dokumenditöötlusettevõte

Ülesanne See töötleb PDF-ide, aruannete, arvete, vormide ja skannitud dokumentide partiisid.
Kuidas lahendus aitab Lahendus eraldab dokumentidest andmed, rakendab puhastus- ja valideerimisreegleid ning registreerib vahelejäetud või ebaõnnestunud üksused.
Ettevõtlusteenused

Andmeoperatsioonide meeskond

Ülesanne See impordib eraldatud kirjed arvutustabelitesse, SQL-andmebaasidesse või rakendustesse.
Kuidas lahendus aitab Lahendus seob puhastatud veerud nõutud sihtkohaga ja säilitab iga käituse töötlemiskokkuvõtte.
Ettevõtlusteenused

Tehnoloogiakomplekt

Python

Ekstraktsiooni- ja puhastamise töövood

Python käitab korratavaid töövooge, mis eraldavad, puhastavad, normaliseerivad, valideerivad ja koondavad kirjeid.

PHP

Arvutustabelite import ja eksport

PHP toetab arvutustabelite ja CSV-de töötlemist, kui töövoog kasutab PHP-põhiseid tööriistu.

JavaScript / TypeScript (Node.js)

Veebi- ja arvutustabelite töötlemine

Node.js toetab rakendusepõhistes töövoogudes HTML-i parsimist, arvutustabelite käsitlemist ja andmebaasiühendusi.

SQLAlchemy

Andmebaaside abstraktsioon

SQLAlchemy (teek, mis ühendab rakendused ühise liidese kaudu andmebaasidega) toetab andmebaasidele juurdepääsu ja sihtkohtade käsitlemist.

PyMySQL

Juurdepääs MySQL-i andmebaasile

PyMySQL (Pythoni draiver MySQL-i ja MariaDB jaoks) ühendab töövoo MySQL-i kirjetega.

firecrawl-anydoc

Dokumentide teisendamine

firecrawl-anydoc (teek, mis teisendab dokumendid ja arvutustabelid Markdowniks) toetab dokumendisisu ekstraktsiooni.

openpyxl

XLSX-i lugemine ja kirjutamine

openpyxl (Pythoni teek Exceli töövihikute jaoks) loeb ja kirjutab XLSX-faile.

cheerio

HTML-i parsimine ja kaapimine

cheerio (teek HTML-i parsimiseks ja muutmiseks) eraldab veebilehtedelt valitud sisu.

CSV, XLSX, JSON, Parquet

Struktureeritud failiväljundid

Need vormingud edastavad puhastatud kirjed failidesse, arvutustabelitesse, rakendustesse ja analüüsitööriistadesse.

Integratsioonid

PostgreSQL, MySQL, and SQLite

Töövoog loeb andmebaasikirjeid ja kirjutab puhastatud andmed SQL-sihtkohtadesse.

Google Sheets

Puhastatud kirjed kaardistatakse Google Sheetsi struktuuri.

Excel

Süsteem loeb arvutustabelite allikaid ja ekspordib kaardistatud kirjed Exceli failidena.

Websites and APIs

Kaaper võtab vastu lehti ja API vastuseid ning eraldab neist valitud väljad.

Tulemus

Allikad ja väljad on määratletud ühes kohas

Allika seadistamise ekraan annab andmetöötlusettevõttele selge alguspunkti veebikaape ja andmete ekstraktsiooni jaoks. See koondab allika üksikasjad, nõutud väljad ja HTML-i selektorid.

Korratavad käitused kasutavad korduvtööde puhul samu ekstraktsioonireegleid, samal ajal kui allikatüüp hõlmab veebisaite, andmebaase ja API-sid.

Kuidas see töötab

  1. Allika seadistus loeb URL-id, lõpp-punktid, andmebaasi üksikasjad, failiteed, valitud väljad ja sihitud HTML-elemendid.
  2. Ekstraktsiooni töövoog parsib allika sisu ja valmistab nõutud väljad ette.
  3. Süsteem rakendab käitusele valitud sihtkoha vormingu või andmebaasi sihtmärgi.
  • Veebisaidi välju saab valida HTML-elemendi selektoritega.
  • Andmebaasi-, API- ja failiallikad kasutavad asjakohaseid ühenduse või failitee üksikasju.
Nõuanne: Esimest toimivat versiooni saab kontrollida tüüpiliste kliendifailidega, enne kui ülejäänud reegleid täpsustatakse.
Allikate ja ekstraktsiooni seadistamine

Allikate ja ekstraktsiooni seadistamine

Selle ekraani funktsioonid
Veebisaidi andmete kaapimine Tekstiandmete hankimine Andmete eraldamine HTML-ist

Puhastusreeglid muudavad kirjed ühtseks

Puhastamise tööruum kuvab töötlemata ja puhastatud väärtusi kõrvuti valideerimisolekuga. Duplikaadirühmad ja vahelejäetud kirjete põhjused lihtsustavad erandite kontrollimist enne eksporti.

Tulemuseks on analüüsiks, importimiseks või päringuteks ettevalmistatud ühtne struktuur, mitte töötlemata allikakirjete kogum.

Kuidas see töötab

  1. Puhastamise töövoog normaliseerib, teisendab, filtreerib, sordib ja koondab välja väärtusi.
  2. Duplikaatide eemaldamise moodul tuvastab duplikaadirühmad ja valmistab ühendatud kirjed ette.
  3. Valideerimismoodul kontrollib kirjeid skeemide, mallide, väljaloendite või eeldatud vormingute järgi.
  • Valideerimisolek kuvatakse iga kirje või välja kohta.
  • Vahelejäetud kirjed ja töötlemisvead jäävad tööruumis nähtavaks.
Puhastamise ja valideerimise tööruum

Puhastamise ja valideerimise tööruum

Selle ekraani funktsioonid
Andmete eraldamine Pythoniga Andmete duplikaatide eemaldamine Andmete reaalajas valideerimine Eraldatud väljade valideerimine Vahelejäetud kirjete logimine

Puhastatud kirjed jõuavad nõutud sihtkohta

Ekspordivaade ühendab puhastatud andmed kliendi nõutud sihtkoha struktuuriga. See kaardistab veerud failidesse, arvutustabelitesse või andmebaasidesse.

töötlemiskokkuvõte ja käituslogi kuvavad ekspordi töödeldud, vahelejäetud ja vigaste kirjete arvu.

Kuidas see töötab

  1. Ekspordimoodul kaardistab puhastatud veerud valitud väljundvormingu või sihtkoha skeemiga.
  2. Süsteem kirjutab kirjed CSV-, Exceli-, Parquet-, JSON-, lihtteksti-, Google Sheetsi-, SQL- või andmebaasikirjetena.
  3. Käituslogi salvestab töötlemiskokkuvõtte, vahelejäetud üksused ja vead.
  • SQL-sihtkohad hõlmavad PostgreSQL-i, MySQL-i ja SQLite-i kirjeid.
  • Arvutustabelite sihtkohad võivad kasutada Exceli või Google Sheetsi struktuure.
Märkus: Dokumentatsioon, seadistusjuhised, lähtekood ja sõltuvuste teave toetavad kliendimeeskonna jätkuvat haldust.
Struktureeritud eksport ja sihtkoha vaade

Struktureeritud eksport ja sihtkoha vaade

Selle ekraani funktsioonid
Eraldatud andmete korraldamine Exceli eksporditööriist Andmete salvestamine SQL-andmebaasi Exceli andmebaasi automaatne uuendamine Uute kirjete lisamine MySQL-i

Mida lahendus pakub

Selle lahendusega saab andmetöötlusettevõte:

  • Käitada korduvate allikate jaoks korratavaid ekstraktsiooni töövooge
  • Kaapida valitud veebisaidivälju ning eraldada kirjeid failidest, API-dest ja andmebaasidest
  • Puhastada, normaliseerida, teisendada, koondada ja eemaldada kirjete duplikaate
  • Valideerida andmeid enne nende jõudmist sihtkohta
  • Eksportida ühtseid kirjeid failidesse, arvutustabelitesse, SQL-andmebaasidesse või rakendustesse
  • Kontrollida vahelejäetud kirjeid, vigu ja töötlemiskokkuvõtteid

Kas valmistooted oleksid töö ära teinud?

Enne disaini võrreldi ülesannet valmistoodetega nende endi kirjelduste põhjal.

Mida klient vajab Andmete ekstraktsiooni tarkvara Data Extraction Veebikaape platvormid Oxylabs, Zyte, Scrapfly Andmete integratsiooni platvormid Dataddo, Improvado Kohandatud lahendus
Korratavate ekstraktsiooni töövoogude käitamine
Eksport nõutud andmevormingutes —
Allikaandmete puhastamine ja duplikaatide eemaldamine — — —
Logide, koodi ja dokumentatsiooni pakkumine — — —
Sobivus kliendi enda reeglitega: etapid, rollid, aruanded — — —
Kõik etapid ühes kohas — — —
Programmide vahel pole käsitsi samme osaliselt osaliselt osaliselt

Toodete ja nende kategooria avalike kirjelduste põhjal.

Valmistooted katavad andmete ekstraktsiooni, veebist kogumise ja andmete liigutamise ning ühest valmistootest piisab, kui vaja on ainult üht neist osadest.

Selle kliendi puhul pidid nõutud allikad, puhastusreeglid, valideerimine, aruanded ja sihtkohad toimima ühes kohas koos.

Toodete kirjeldused ei pakkunud kliendi enda reeglite ja allikast sihtkohta ettevalmistamise täielikku kombinatsiooni.

Lõpptulemus

Lõpptulemusena loodi lahendus, mille eesmärk on vähendada käsitööd eri allikatest pärit kirjete ning puhaste failide või andmebaaside vahel.

KKK

Kas mõtlete sarnase süsteemi loomisele? Lugege allolevaid vastuseid, et näha, kuidas kohandatud ekstraktsiooni ja andmete puhastamise töövoog sobitub teie allikate ja sihtkohtadega.

Vajad midagi sarnast? Räägime
Või sirvige rohkem projekte