HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatok (12) adatújságírás (16) adatvizualizáció (16) AI (7) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (45) bing (14) CEU (6) clustering (6) conTEXT (7) dashboard (6) data science (8) deep learning (14) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (30) Facebook (9) facebook (8) gépi tanulás (10) Google (23) google (57) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (35) könyvajánló (20) korpusznyelvészet (13) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (6) lda (10) LDA (9) live (13) magyar kereső (9) marketing (8) meetup (39) mesterséges intelligencia (9) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (27) nyelvtechnológia (70) open data (11) open knowledge (7) Pennebaker (6) politikai blogok (22) Precognox (42) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (6) szemantikus keresés (17) szemantikus kereső (9) szentimentelemzés (32) szövegbányászat (14) tartalomelemzés (53) tartalomjegyzék (6) tematikus kereső (19) twitter (15) Twitter (18) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Így készítünk statikus riportokat

2017.10.09. 11:30 Szerző: zoltanvarju Címkék: ingatlan prezentáció infografika adatvizualizáció Python Luigi QGIS Facets Inkscape Nodebox Sozi

Régóta dolgozunk azon, hogy adatelemzési projektjeink végén ügyfeleink számára nem csak szakmailag pontos és használható, hanem vizuálisan is elfogadható riportokat tudjunk szállítani. Először az interaktív vizualizációkat használó riport formáját dolgoztuk ki, erre példa a Migráció arcai projektünk. Ennek során alapelvünk volt, hogy kizárólag open source eszközökkel dolgozzunk és amikor csak lehetséges, ne közvetlenül JavaScript könyvtárakkal, hanem Python-ból elérhető csomagok használatával generáljunk vizualizációkat. Ehhez a statikus riportok készítésénél is tartjuk magunkat, amire példa az alább látható infografika, ennek elkészítéséről szól ez a kis poszt.

vizu.png

A nyers adatoktól a megmutatni kívánt információig

Az adatok begyűjtésére, előfeldolgozására és a feature-ök kinyerésére Pythonban írtunk egy pipeline-t. Köszi Luigi!

maxresdefault.jpg

A nyers adatokon először a hagyományos EDA (Exploratory Data Analysis) fázist végeztük el, pl. ilyen szép Jupyter Notebook-ban néztük meg hogy mi van az egyes feature-ökkel.

test3_1.png

Majd megnéztük a Google Facets segítségével is hogy mi a helyzet.

animation_1.gif

Az EDA során kiválasztottuk mit szeretnénk megmutatni az adathalmazból. Ezután legeneráltuk az aggregált adatokat kerületenként és jöhetett maga a vizualizáció.

Mivel dolgoztunk?

A szógyakorisági adathoz Nodebox-ban készítettünk linkes digarammot. A Nodebox egy Python alapú vizuális programozási környezet, amivel viszonylag könnyen és gyorsan lehet szép ábrákat generálni.

kepernyofoto_2017-10-06_13_12_25.png

A térképek elkészítéséhez az általunk imádott QGIS-t használtuk.

image4.png

Az egyes ábrákat végül Inkscape segítségével szerkesztettük egy infografikába.

inkscape.png

Ha prezentálni is szeretnénk

A Sozi segítségével az elkészült svg alapból pedig prezentációt is lehet készíteni, ami egy egyszerű kis html oldalt jelent. Az infografikánkból generált prezi itt érhető el, vagy egy kicsit lentebb beágyazva a posztba.

image5.png

Régi álmunk vált valóra azzal, hogy kidolgoztuk a statikus riportok elkészítésének folyamatát. Tudjuk, még messze vagyunk a tökéletes végeredménytől, de örülünk annak, hogy megtettük az első lépést.

This was supposed to be an SVG document in an <object> element.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

http://kereses.blog.hu/api/trackback/id/tr112933297

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

Nincsenek hozzászólások.