Esettanulmány: Intelligens hírkereső alkalmazás

A projekt

Ügyfelünk adatalapú információ átadással, tanácsadási szolgáltatások nyújtásával foglalkozik. A magyarországi leányvállalat célul tűzte ki a jogszabályok változásairól szóló nyilvános információk (cikkek) folyamatos monitorozását, illetve az ezekben fellelhető információk felhasználható adattá alakítását.

A probléma

A jogszabályok szövegéből természetesen kinyerhető egy csomó technikai adat, amelyeket lehetséges tárolhatóvá és kereshetővé tenni. Csakhogy egy jogszabályváltozás lehetséges hatásait ezekből az adatokból nem lehet kinyerni - ehhez a jogszabályokat értelmező cikkek szövegének elemzése szükséges.

Nyilvánvalóan értékes szolgáltatás lenne a partnercég ügyfelei számára, hogy ha a jogszabályokkal kapcsolatos információkat folyamatosan friss szakmai kommentárokkal látná el.

Az összes ilyen szakcikk napi szintű felkutatása, a releváns információk kinyerése és rögzítése jelentős feladatot jelentene a szakértők számára. Ennek a folyamatnak a teljes vagy részleges automatizálása jelentős üzleti értéket tudna teremteni a cég ügyfelei számára.

A megoldás

Első lépésként egy intelligens hírkeresőre volt szükség.

Ez a rendszer teljesen automatizáltan gyűjti össze az online cikkeket, kinyeri a szükséges adatokat, továbbá Természetes Nyelvfeldolgozás (NLP) segítségével a cikkeket minőségi és a változásokhoz kötődő relevanciájuk szerint rangsorolja.

1. Adatgyűjtés és keresés futtatása

Összegyűjtjük a módosítással érintett jogszabályokat, majd az ezekből meghatározott keresési kifejezések segítségével összegyűjtjük a találatokhoz tartozó linkeket.

2. Web-Crawling

Az általunk fejlesztett ún. scraping eszköz egyesével megnyitja az említett linkeket, kinyeri a weboldalt felépítő elemekhez (DOM-okhoz) tartozó információkat. Általában egy DOM-elem tartalmaz valami szöveget/képet, stílusleírókat (háttérszín, szöveg típusa) valamint az oldalon való elhelyezkedést.

3. Cikk / Nem cikk szerinti osztályozás

A gyűjtött adatokat az általunk létrehozott gépi tanulás modell osztályozza aszerint, hogy azok cikkek vagy sem.

4. Adatkinyerés

A cikkekből egy másik, szintén általunk létrehozott gépi tanulás modell kinyeri a címet, a publikálás időpontját, a tartalmat, valamint a szerzőt, ha az jelölve van.

5. Ranking

Az adatkinyerést követően a rendszer a cikkek tartalmát összeveti a jogszabály megváltozott szövegével. Minél jobban hasonlít, annál magasabb prioritást kap. Az algoritmus figyelembe veszi a cikk dátumát, hosszát, és fehér-, illetve fekete listákkal is összeveti a webcímet.

Módszerek, eszközök és technológiák:

Python, Google Search API, PostgreSQL adatbázis, a modellekhez a Tensorflow és LightGBM keretrendszereket vettük igénybe.

Eredmények:

A szoftver automatikusan összegyűjti és csokorba szedve, fontosság és relevancia szerint osztályozva mellékeli a weben megjelenő írásokat, amelyek az adott jogszabály változásairól szólnak, így kényelmessé téve az információk követését.