HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) facebook (8) Facebook (9) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) Twitter (18) twitter (15) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Szentimentek, emóciók és témák elemzése interjúkban

2016.04.15. 08:27 Szerző: Kitti Balogh Címkék: keresés konferencia tartalomelemzés szentimentelemzés emócióelemzés Banana Születésház Solr

Április 15-én bemutatjuk legújabb fejlesztésünket a "Tedd meg az első lépést" zárórendezvényen.

Az esemény a Születésház Egyesület 2015. március 1. – 2016. április 30. között lezajlott projektjét zárja le. A projekt azt a célt szolgálta, hogy hozzájáruljanak a magyar szülészeti ellátórendszer egyenlő módon hozzáférhetővé válásához és a nők méltóságát tiszteletben tartó, szakszerű ellátás biztosításához. Ennek keretében négy közösségben (Pécs: István-akna, György-telep, Szakácsi, Told) készítettek mélyinterjúkat közel harminc nővel. Az eseményen az interjúk elemzéséhez készített analitikai felületet fogjuk demózni.

A felületet az interjúelemzői munka támogatásához, illetve kiegészítéséhez készítettük. Az elkészült dashboardon az interjúk szentimentjei, emóciói, témái és leggyakoribb szavai jelennek meg különböző ábrákon, például oszlopdiagramokon vagy szófelhőkön. Emellett a felület lehetőséget ad az interjúkban való keresésre és szűrésre, amikkel az ábrák és az interjúegységek dinamikusan váltanak.

Az előadás során beszélünk a feldolgozási folyamatról és az eszközökről is és egy példaelemzést is bemutatunk az eszköz használatával:

Az analitikai felület demójának használatát ezeken a videókon is megtekintheted:

 

Topikelemzési példa egy interjún keresztül:

 

Szentimentelemzési példa egy interjún keresztül és topikelemzéssel kombinálása:

Emócióelemzési példa egy interjún keresztül:

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Hackathon: Tweet-klasszifikáció

2016.04.14. 11:42 Szerző: jvenczeli Címkék: twitter ml gépi tanulás Twitter klasszifikáció Python hackathon machine learning scikit-learn sklearn

A hackathon keretében kísérletet tettünk a scikit-learn python package klasszifikációs eszközeinek felderítésére.
A scikit-learn lehetőséget ad arra, hogy egészen kevés kódolással gyorsan implementálhassunk gépi tanulási eszközöket pythonban. Jópár szövegklasszifikációra is alkalmas algoritmust tartalmaz, úgy mint naive bayes, maxent, SVM, decision tree, etc. A package használata viszonylag egyszerű a beépített vektorizáló függvényeknek köszönhetően, amik az adott korpusz nyers sztringjeit automatikusan az összes classifier számára emészthető formába tudják alakítani.  A választott classifier ezután a kapott adat és a használt algoritmus alapján felépít egy modellt, amit újabb adatok automatikus klasszifikációjára lehet használni.

Mi a naive bayes és maximum entropy classifiereket használtuk, arra, hogy a korábban szentiment kalsszifikációhoz gyűjtött magyar twitter korpusz elemeit a posztolók neme szerint válogassuk szét. Ezután egy voter segítségével összegeztük az egyes classifierekből származó outputokat. Ez azért hasznos, mert az egyes algoritmusok más-más elven működnek, így más-más gyengeségeik és erősségeik vannak, viszont több különböző classifier használata esetén kiszűrhetjük a hibás klasszifikációkat, ha mindegyik classifier szavaz egy adott adatpontról, és a végleges outputot a szavazás eredménye határozza meg.

A kísérlethez a nyers korpuszt használtuk, minden előfeldolgozás nélkül, ami az egyes classifiereken meglepően jó, 65-70% körüli pontossággal állapította meg a tweetelők nemét. A voter használata ezt még kb. 25%-kal emelte.

better.png

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Facebook projekt a kaposvári Hackathonon

2016.04.05. 10:57 Szerző: Kitti Balogh Címkék: tüntetés Facebook hackathon

A márciusi céges Hackathon egyik projektjeként azt a célt tűztük ki, hogy feltárjuk, milyen elemzési lehetőségek rejlenek a nyilvános Facebook oldalak adataiban. Emellett az is célunk volt, hogy mindezt a D3 JavaScript könyvtár segítségével jelenítsük meg vizuálisan. A Hackathon végére elkészült oldal itt nézhető meg.

esernyok.jpg

Az elemzéshez két akkor aktuális esemény oldalát választottuk ki, a február 13-i tanártüntetését, amely során első ízben tüntettek a kormány oktatáspolitikája ellen, valamint a február 23-i Tüntetés a demokráciáért a Választási Irodánál! nevű eseményt, amelyet a Nemzeti Választási Irodában történt népszavazási kérelemmel kapcsolatos incidens után tartottak. A februári tanártüntetés eseményének oldala már nem érhető el.

20160223nemzeti-valasztasi-iroda-blokad-20168.jpgFotó: Szabó Gábor - Origo

A Facebook feedekről szöveges és numerikus adatokhoz egyaránt hozzájuthatunk. Ezeket három megközelítésben elemeztük:

1) Az aktivitás mérőszámainak, a like-ok, share-ek, kommentek és posztok számának vizsgálatára idősoros megjelenítést alkalmaztunk. Mindkét eseményhez két idősor készült, egy a nyers aktivitási értékekkel, egy pedig a posztok számával normalizált értékekre. Előbbi megjelenítésnél mindkét eseménynél az látszik, hogy a legnagyobb aktivitás a tüntetés napjához fűződik, utóbbinál azonban megfigyelhetők más kisebb-nagyobb hullámok is, amik a nagyobb aktivitást kiváltó posztokat jelzik.

2) A posztok és kommentek szövegeinek leggyakoribb szavaiból egyszerű szófelhők készültek, az ehhez tartozó rövid értelmezést még sikerült a Hackathon ideje alatt megírni.

3) A harmadik megközelítés a Facebook adatok struktúrája alapján eléggé adott hálózatos megjelenítés volt. A kész oldalra végül csak a tanártüntetés gráfja, sőt annak is csak egy kisebb részgráfja került fel, ugyanis akkora adatmennyiséggel volt dolgunk, ami vizuálisan már nem mutatott szépen. A hálózat csúcsai az esemény oldalán aktivitást kifejtő személyeket jelzik, a köztük lévő élek, azaz kapcsolatok pedig az egymás posztjaira, kommentjeire adott lájkokat jelentik. A gráfon így könnyen kiszúrhatjuk a centrális helyet elfoglaló szereplőket, akik az oldalon zajló diskurzus meghatározó személyeinek tekinthetők.

Az oldalra még ráférne egy-két simítás (pl. az egymás mellé helyezett idősorokon nem látszik az időpontokat jelző tengely, adatvédelmi szempontból a hálózat csúcsaihoz nem beazonosítható ID-t illene rendelni, valamint egyéb elrendezési szempontok), de tekintve, hogy nagyjából 5 óra alatt jutottunk el eddig, szép eredménynek könyvelhetjük el.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Gyakornokot keresünk

2016.04.01. 13:55 Szerző: Kitti Balogh Címkék: gyakornokság Precognox

A Precognoxhoz keresünk adatelemző gyakornokot. Elsősorban olyan nappali tagozatos hallgatót keresünk, aki járatos a statisztikában, adatelemzésben, és az R és/vagy a Python sem idegen számára (pl. survey statisztika, alkalmazott matematika szakos), de a határterületek hallgatóit (kognitív tudományok, informatika, fizika, társadalomtudományok, nyelvészet stb.) is szívesen látjuk.

csapat.jpg

A munka nagy része távmunkában végezhető és heti 16 órás elfoglaltságot jelent. Főleg szöveges adatok elemzésére lehet számítani, téma szerint pedig sok mindenbe bele lehet nálunk futni, a Star Wars szövegkönyv elemzéstől a közbeszerzési adatok feldolgozásán keresztül az egészségügyi szemantikus keresésig. Ha érdekelne a lehetőség, ezen az űrlapon tudsz jelentkezni.

output-csapat-mozaik2.jpg

A csapat iráni mozaik stílusban neural-style-lal

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Hackathon - Receptkereső

2016.03.31. 16:06 Szerző: Anna Regeni Címkék: hackathon receptkereső

Az idei kaposvári hackathonon egy már korábbi precognoxos fejlesztésből származó receptkeresőt kellett hasznosítanunk a feladat megoldásához. Az egynapos projekt célja az volt, hogy prezentáljunk valamiféle eredményt a nap végére és persze, hogy ez az eredmény lehetőleg minél kerekebb legyen. Tehát, ha csak egy részfeladatra jut idő, akkor azt fejezzük be teljesen és mutassuk be látványos formában, ha azonban jut idő több dologra is, az persze nem hiba.  

Mivel a csapattagok közül voltak, akik korábban nem is találkoztak, mellékesen a projektmunka közben lehetőség nyílt arra is, hogy ezek az emberek egy kicsit összecsiszolódjanak és megismerkedjenek.

A mi projektünkben a már legyűjtött rengeteg receptből ki kellett vonnunk egyrészt az alapanyagokat és a mértékegységeket, hogy meg tudjuk mondani, miből mennyit tartalmaz egy-egy étel és utána ezekből a kinyert adatokból kellett kiszámolnunk az egyes ételek tápanyag-tartalmát. Ez nem volt annyira könnyű feladat, egyrészt, volt, hogy más is belekerült a szűrt adatba, nem csak alapanyagok, illetve, ami ennél trükkösebb kihívás volt, az a mértékegységek standardizálása. Képzeljük csak el, hogy az “egy púpozott kanál vaníliás cukor ” hány gramm. Mekkora az a kanál? Mokkás, teás, esetleg evőkanál-e? Esetleg merőkanál? Mi alapján határozzuk meg, hogy az “ízlés szerint” alatt mit kell érteni? Csak nem mondhatjuk mi is azt, hogy hát csak úgy ízlés szerint írtuk be a mennyiségeket a tápértékek kiszámoláshoz... Legalább is ez a megoldás nem lenne túl elegáns, ami azt illeti.

Túl ezen, az sem mindegy, hogy “egy fej hagymáról” vagy “egy fej káposztáról” beszélünk, nem lehet behelyettesíteni a “fej” helyére, hogy “fél kiló”, hiszen attól függ, hogy a szóban forgó fej éppen mire vonatkozik.

Túllendülve ezen a mulatságos problémán, akadtak még bonyodalmak a másik feladatrésznél is, ahol a különböző ételeket próbáltuk alapanyagok alapján clusterekbe sorolni.

Itt alapvető probléma volt az adatok megfelelő formára hozása, hiszen az SPSS elég érzékeny a beviteli források formátumára. Miután ezt sikerült áthidalni, rátérhettünk a tényleges vizualizációs feladatra. Az úgynevezett k-means clusterező módszerrel készítettük a különböző ételtípusokat. Ennek a módszernek az a lényege, hogy az adatokból centralitás értékeket számol a program és megpróbálja minimalizálni a csoportban a centroidtól való távolságot, illetve maximalizálni a különböző clusterek közötti távolságot.

kocka_hamm.png

Az egyes adatpontok az összetevők voltak és e clusterek alapján már “kézzel” határoztuk meg, hogy az adott összetevőket tartalmazó cluster milyen ételtípust foglal magába. Itt azonban fontos megjegyezni, hogy az egyes összetevőkből többfajta étel is készíthető. Tojásból például éppen úgy lehet sajtos hagymás omlettet sütni, ahogyan csokis piskótát is. Vagy vegyük a lisztet; sütemény, tésztafélék, palacsinta, kenyér egyaránt tartalmazza. Más szóval, egyértelmű clusterek készítése ilyen adatokból jellegüknél fogva nem lehetséges, hiszen az egyes clusterek tagjainak egy jelentős hányada átfedésben van.

Végül mégis sikerült értelmes csoportokat kihoznunk a clustereinkből, mint “kenyérfélék”, “gyümölcsös sütemények” és hasonlók.

Ugyan az utolsó pillanatban, de sikerült még összeállítanunk egy rövid prezentációt is a munkafolyamatról, így a nap végén tartott előadást viszonylag látványos formában sikerült a többiek elé tárni...és remélhetőleg ezt a “többiek” is így értékelik.

Végezetül egy megjegyzés a hackathonra vonatkozóan: nagyon jó érzés, hogy van egy jól meghatározott feladat, amit nap elején elkezd egy maréknyi munkatárs és a nap végére értékelhető produktum születik belőle, illetve hogy mindezt jó hangulatban sikerül elérni.

Köszönjük!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

süti beállítások módosítása