HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati és big data megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Hackathon - Receptkereső

2016.03.31. 16:06 Szerző: Anna Regeni Címkék: hackathon receptkereső

Az idei kaposvári hackathonon egy már korábbi precognoxos fejlesztésből származó receptkeresőt kellett hasznosítanunk a feladat megoldásához. Az egynapos projekt célja az volt, hogy prezentáljunk valamiféle eredményt a nap végére és persze, hogy ez az eredmény lehetőleg minél kerekebb legyen. Tehát, ha csak egy részfeladatra jut idő, akkor azt fejezzük be teljesen és mutassuk be látványos formában, ha azonban jut idő több dologra is, az persze nem hiba.  

Mivel a csapattagok közül voltak, akik korábban nem is találkoztak, mellékesen a projektmunka közben lehetőség nyílt arra is, hogy ezek az emberek egy kicsit összecsiszolódjanak és megismerkedjenek.

A mi projektünkben a már legyűjtött rengeteg receptből ki kellett vonnunk egyrészt az alapanyagokat és a mértékegységeket, hogy meg tudjuk mondani, miből mennyit tartalmaz egy-egy étel és utána ezekből a kinyert adatokból kellett kiszámolnunk az egyes ételek tápanyag-tartalmát. Ez nem volt annyira könnyű feladat, egyrészt, volt, hogy más is belekerült a szűrt adatba, nem csak alapanyagok, illetve, ami ennél trükkösebb kihívás volt, az a mértékegységek standardizálása. Képzeljük csak el, hogy az “egy púpozott kanál vaníliás cukor ” hány gramm. Mekkora az a kanál? Mokkás, teás, esetleg evőkanál-e? Esetleg merőkanál? Mi alapján határozzuk meg, hogy az “ízlés szerint” alatt mit kell érteni? Csak nem mondhatjuk mi is azt, hogy hát csak úgy ízlés szerint írtuk be a mennyiségeket a tápértékek kiszámoláshoz... Legalább is ez a megoldás nem lenne túl elegáns, ami azt illeti.

Túl ezen, az sem mindegy, hogy “egy fej hagymáról” vagy “egy fej káposztáról” beszélünk, nem lehet behelyettesíteni a “fej” helyére, hogy “fél kiló”, hiszen attól függ, hogy a szóban forgó fej éppen mire vonatkozik.

Túllendülve ezen a mulatságos problémán, akadtak még bonyodalmak a másik feladatrésznél is, ahol a különböző ételeket próbáltuk alapanyagok alapján clusterekbe sorolni.

Itt alapvető probléma volt az adatok megfelelő formára hozása, hiszen az SPSS elég érzékeny a beviteli források formátumára. Miután ezt sikerült áthidalni, rátérhettünk a tényleges vizualizációs feladatra. Az úgynevezett k-means clusterező módszerrel készítettük a különböző ételtípusokat. Ennek a módszernek az a lényege, hogy az adatokból centralitás értékeket számol a program és megpróbálja minimalizálni a csoportban a centroidtól való távolságot, illetve maximalizálni a különböző clusterek közötti távolságot.

kocka_hamm.png

Az egyes adatpontok az összetevők voltak és e clusterek alapján már “kézzel” határoztuk meg, hogy az adott összetevőket tartalmazó cluster milyen ételtípust foglal magába. Itt azonban fontos megjegyezni, hogy az egyes összetevőkből többfajta étel is készíthető. Tojásból például éppen úgy lehet sajtos hagymás omlettet sütni, ahogyan csokis piskótát is. Vagy vegyük a lisztet; sütemény, tésztafélék, palacsinta, kenyér egyaránt tartalmazza. Más szóval, egyértelmű clusterek készítése ilyen adatokból jellegüknél fogva nem lehetséges, hiszen az egyes clusterek tagjainak egy jelentős hányada átfedésben van.

Végül mégis sikerült értelmes csoportokat kihoznunk a clustereinkből, mint “kenyérfélék”, “gyümölcsös sütemények” és hasonlók.

Ugyan az utolsó pillanatban, de sikerült még összeállítanunk egy rövid prezentációt is a munkafolyamatról, így a nap végén tartott előadást viszonylag látványos formában sikerült a többiek elé tárni...és remélhetőleg ezt a “többiek” is így értékelik.

Végezetül egy megjegyzés a hackathonra vonatkozóan: nagyon jó érzés, hogy van egy jól meghatározott feladat, amit nap elején elkezd egy maréknyi munkatárs és a nap végére értékelhető produktum születik belőle, illetve hogy mindezt jó hangulatban sikerül elérni.

Köszönjük!

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A Hackathon GATE-es projektje

2016.03.18. 09:36 Szerző: Szabó Martina Katalin Címkék: tartalomelemzés adatelemzés szentimentelemzés emócióelemzés named entity recognition hackathon GATE

A Kaposváron rendezett céges Hackathonon az egyik részprojektünk volt, hogy a cégünk által készített magyar GATE plugint a szentiment- és emóciószótárainkkal kiegészítsük, biztosítva ezzel a magyar nyelvű szövegek automatikus szentiment- és emócióelemzését a GATE-en keresztül. Emellett arra is kísérletet tettünk, hogy az elemzést névelemek automatikus felismertetésével (named entity recognition) is kiegészítsük, gazetteerek alapján. A jelen posztban az izgalmas vállalkozás menetéről és tapasztalatairól számolunk be röviden.

Azok, akik szeretnének többet megtudni a GATE nyílt forrású nyelvfeldolgozó eszközről, tekintsék meg a szoftver honlapját itt.  

A projektet egy kisebb csapatban végeztük, a csapat munkáját Kulcsár Ádám kollégámmal hangoltuk össze. Minden csapattag nagyon kooperatív és ügyes volt, ezúton is köszönet a hatékony együttműködésért!

preview_10.jpg  

A projekthez a tesztszövegeinket először a magyarlánc eszköz segítségével mondatra bontottuk és tokenizáltuk. 

A teszteléshez olyan szövegeket kerestünk, amelyek benyomásunk szerint sok szentimentet és emóciót tartalmaznak (pl. blogszövegek). 

Ezt követően betettük a GATE-be a szentiment- és az emóciószótárainkat, majd azokat a mondatra bontott és tokenizált szövegeken működésre bírtuk. 

Ezúton jeleznénk, hogy a szótárainkat a közeljövőben szabadon elérhetővé szeretnénk tenni kutatási célokra. A szentimentszótárunk egy negatív és egy pozitív szentimentkifejezéseket tartalmazó, összesen közel 10 ezer elemből álló lexikon. Az emóciószótárunk jelenleg két verzióban létezik. Az első változatot az arcon megfigyelhető hat alapemócióra építve hoztuk létre, míg a másodikban az emóciókorpuszunk manuális annotálásának tapasztalatai alapján nyolc érzelemkategóriába rendeztük a kifejezéseket. A publikálás során mindkét változatot szeretnénk nyilvánossá tenni. 

Alább azt láthatjuk, hogyan elemezhető egy szöveg a szentimentszótárunkkal...

 

... Itt pedig az, mi történik, ha a nyolcas kategóriarendszerű emóciószótárunkat használjuk, például a bánat, a harag és az öröm kifejezéseinek megtalálására:

 

A névelem-felismerést még tovább szeretnénk fejleszteni, ugyanis a tesztelések során nem várt problémákat tapasztaltunk. Remélhetőleg azonban ez az eszköz is hamarosan bekerülhet a pipeline-ba.

 

 

 

 

   

 

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Precognox Hackathon Kaposváron

2016.03.11. 08:58 Szerző: zoltanvarju Címkék: adat Precognox hackathon

Kedden céges hackathont tartottunk kaposvári irodánkban. Munkatársaink négy csapatba szerveződtek és az alábbi feladatokon dolgoztak:

  • a Receptkereső legnépszerűbb receptjeinek klaszterezése a hozzávalók szerint
  • Twitter felhasználók gender klasszifikációja
  • A tanártüntetés és a választási iroda előtt tartott tüntetések Facebook oldalainak elemzése
  • A cégünk által fejlesztett magyar GATE plugin kiegészítése szentiment- és emóciószótárakkal és magyar nyelvű named entity recognition gazetteerekkel.

preview.jpg

preview_1.jpg

preview_10.jpg

preview_12.jpg

preview_13.jpg

preview_14.jpg

preview_2.jpg

preview_3.jpg

preview_4.jpg

preview_5.jpg

preview_6.jpg

preview_7.jpg

preview_9.jpg

preview_8.jpg

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Szövegbányászat a Kürt Akadémián

2016.01.29. 14:07 Szerző: zoltanvarju Címkék: tartalomelemzés szövegbányászat emoji Python lda szenitmentelemzés

Ma a Kürt Akadémia Data Science képzésén megpróbáljuk bevezetni a hallgatóságot a szövegbányászat alapjaiba. Diáinkat lent lehet megtekinteni, a kapcsolódó Ipython notebookok, adatok és egyéb szkriptek pedig itt érhetőek el.

 

 

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Ismét MSZNY-eztünk

2016.01.26. 10:30 Szerző: Szabó Martina Katalin Címkék: konferencia nyelvtechnológia Szeged számítógépes nyelvészet MSZNY

Az elmúlt héten, Szegeden, a Szegedi Tudományegyetem Informatikai Intézete ismét megrendezte a Magyar Számítógépes Nyelvészeti Konferenciát.

Természetesen mi is ott voltunk. 

Az MSZNY igazi kuriózum a hazai tudományos és szakmai konferenciák palettáján, hiszen ez az egyetlen olyan nagyszabású platform, ahol kifejezetten a nyelvtechnológiai kutatásoké és fejlesztéseké a terep. Ennek következtében az MSZNY-en évről évre összegyűlik mindenki, aki prezentálni szeretné a már elvégzett, vagy épp folyamatban lévő számítógépes nyelvészeti munkájának legaktuálisabb eredményeit, vagy éppen információkat szeretne gyűjteni a legújabb futó projektekről, ipari alkalmazásokról. 

Az idei MSZNY-t a Meltwater Kutató - Fejlesztő Kft. támogatta. A kft. magyarországi ügyvezetője, Pécsy Gábor rengeteg érdekes dolgot mesélt nekünk, többek között a cég alapításának történetéről és a jelenlegi projektjeikről. 

20160121_102148_1.jpg

 

Poszterükről azt is megtudtuk, mi a Meltwater sikerének a titka:

20160122_121333_1.jpg

 

Megfigyeltük, hogy rengetek kávé fogyott a konferencián... :)

20160122_121355_1.jpg

 

Az előadások alapvetően a gépi fordítás, a morfológiai elemzés, a beszédtechnológia, a szemantika, valamint a szentimentelemzés problémáihoz kapcsolódtak. Magunk, az Informatikai Tanszékcsoporttal kooperációban, az aspektusszinten annotált szentimentkorpuszunk létrehozásáról számoltunk be: Aspektusszintű annotáció és szentimentet módosító elemek egy magyar nyelvű szentimentkorpuszban (Szabó Martina Katalin, Vincze Veronika, Hangya Viktor). A prezentációnk írásos változata megtalálható a konferencia kötetében

A konferencián, a hagyományoknak megfelelően poszterszekció, valamint laptopos bemutatók is helyet kaptak. Az alábbi fotókat ott készítettük.

20160121_165551_1.jpg
20160121_162259_1.jpg

20160122_144759_1.jpg

20160122_144818_1.jpg

20160122_144702_1.jpg

 

A konferenciát az ún. INFRA panel keretében egy a kutatók számára szabadon hozzáférhető, komplex szövegelemző rendszer bemutatása zárta. A rendszer egy nagyszabású projekt keretében készül, több jelentős hazai kutatóhely összefogásával. Már nagyon várjuk az eredményt!

20160122_164018_1.jpg

 20160122_163914_1.jpg

 

Mi biztosan ott leszünk jövőre is!

20160122_171826_1.jpg

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

1 komment • Kövess Facebookon • Iratkozz fel értesítőre