A Kaposváron rendezett céges Hackathonon az egyik részprojektünk volt, hogy a cégünk által készített magyar GATE plugint a szentiment- és emóciószótárainkkal kiegészítsük, biztosítva ezzel a magyar nyelvű szövegek automatikus szentiment- és emócióelemzését a GATE-en keresztül. Emellett arra is kísérletet tettünk, hogy az elemzést névelemek automatikus felismertetésével (named entity recognition) is kiegészítsük, gazetteerek alapján. A jelen posztban az izgalmas vállalkozás menetéről és tapasztalatairól számolunk be röviden.

Azok, akik szeretnének többet megtudni a GATE nyílt forrású nyelvfeldolgozó eszközről, tekintsék meg a szoftver honlapját itt.  

A projektet egy kisebb csapatban végeztük, a csapat munkáját Kulcsár Ádám kollégámmal hangoltuk össze. Minden csapattag nagyon kooperatív és ügyes volt, ezúton is köszönet a hatékony együttműködésért!

A projekthez a tesztszövegeinket először a magyarlánc eszköz segítségével mondatra bontottuk és tokenizáltuk. 

A teszteléshez olyan szövegeket kerestünk, amelyek benyomásunk szerint sok szentimentet és emóciót tartalmaznak (pl. blogszövegek). 

Ezt követően betettük a GATE-be a szentiment- és az emóciószótárainkat, majd azokat a mondatra bontott és tokenizált szövegeken működésre bírtuk. 

Ezúton jeleznénk, hogy a szótárainkat a közeljövőben szabadon elérhetővé szeretnénk tenni kutatási célokra. A szentimentszótárunk egy negatív és egy pozitív szentimentkifejezéseket tartalmazó, összesen közel 10 ezer elemből álló lexikon. Az emóciószótárunk jelenleg két verzióban létezik. Az első változatot az arcon megfigyelhető hat alapemócióra építve hoztuk létre, míg a másodikban az emóciókorpuszunk manuális annotálásának tapasztalatai alapján nyolc érzelemkategóriába rendeztük a kifejezéseket. A publikálás során mindkét változatot szeretnénk nyilvánossá tenni. 

Alább azt láthatjuk, hogyan elemezhető egy szöveg a szentimentszótárunkkal...

... Itt pedig az, mi történik, ha a nyolcas kategóriarendszerű emóciószótárunkat használjuk, például a bánat, a harag és az öröm kifejezéseinek megtalálására:

A névelem-felismerést még tovább szeretnénk fejleszteni, ugyanis a tesztelések során nem várt problémákat tapasztaltunk. Remélhetőleg azonban ez az eszköz is hamarosan bekerülhet a pipeline-ba.

Kedden céges hackathont tartottunk kaposvári irodánkban. Munkatársaink négy csapatba szerveződtek és az alábbi feladatokon dolgoztak:

• a Receptkereső legnépszerűbb receptjeinek klaszterezése a hozzávalók szerint
• Twitter felhasználók gender klasszifikációja
• A tanártüntetés és a választási iroda előtt tartott tüntetések Facebook oldalainak elemzése
• A cégünk által fejlesztett magyar GATE plugin kiegészítése szentiment- és emóciószótárakkal és magyar nyelvű named entity recognition gazetteerekkel.

Ma a Kürt Akadémia Data Science képzésén megpróbáljuk bevezetni a hallgatóságot a szövegbányászat alapjaiba. Diáinkat lent lehet megtekinteni, a kapcsolódó Ipython notebookok, adatok és egyéb szkriptek pedig itt érhetőek el.

Az elmúlt héten, Szegeden, a Szegedi Tudományegyetem Informatikai Intézete ismét megrendezte a Magyar Számítógépes Nyelvészeti Konferenciát.

Természetesen mi is ott voltunk. 

Az MSZNY igazi kuriózum a hazai tudományos és szakmai konferenciák palettáján, hiszen ez az egyetlen olyan nagyszabású platform, ahol kifejezetten a nyelvtechnológiai kutatásoké és fejlesztéseké a terep. Ennek következtében az MSZNY-en évről évre összegyűlik mindenki, aki prezentálni szeretné a már elvégzett, vagy épp folyamatban lévő számítógépes nyelvészeti munkájának legaktuálisabb eredményeit, vagy éppen információkat szeretne gyűjteni a legújabb futó projektekről, ipari alkalmazásokról. 

Az idei MSZNY-t a Meltwater Kutató - Fejlesztő Kft. támogatta. A kft. magyarországi ügyvezetője, Pécsy Gábor rengeteg érdekes dolgot mesélt nekünk, többek között a cég alapításának történetéről és a jelenlegi projektjeikről. 

Poszterükről azt is megtudtuk, mi a Meltwater sikerének a titka:

Megfigyeltük, hogy rengetek kávé fogyott a konferencián... :)

Az előadások alapvetően a gépi fordítás, a morfológiai elemzés, a beszédtechnológia, a szemantika, valamint a szentimentelemzés problémáihoz kapcsolódtak. Magunk, az Informatikai Tanszékcsoporttal kooperációban, az aspektusszinten annotált szentimentkorpuszunk létrehozásáról számoltunk be: Aspektusszintű annotáció és szentimentet módosító elemek egy magyar nyelvű szentimentkorpuszban (Szabó Martina Katalin, Vincze Veronika, Hangya Viktor). A prezentációnk írásos változata megtalálható a konferencia kötetében. 

A konferencián, a hagyományoknak megfelelően poszterszekció, valamint laptopos bemutatók is helyet kaptak. Az alábbi fotókat ott készítettük.

A konferenciát az ún. INFRA panel keretében egy a kutatók számára szabadon hozzáférhető, komplex szövegelemző rendszer bemutatása zárta. A rendszer egy nagyszabású projekt keretében készül, több jelentős hazai kutatóhely összefogásával. Már nagyon várjuk az eredményt!

Mi biztosan ott leszünk jövőre is!

A mobil eszközök életünk részévé váltak, annak ellenére, hogy a szövegbevitel elég körülményes rajtuk. Persze akadnak olyanok, akik rendkívül gyorsan képesek írni a hagyományos érintőképernyős billentyűzeteken, de ezek a szövegek főleg nem szerkesztett, amolyan írott beszélt nyelvi megnyilatkozások. Sokak számára megoldást jelentenek a swype technikát prediktív bevitellel ötvöző megoldások, melyeket korábban már teszteltünk. Most a legkézenfekvőbb megoldást, a kézírást mobilra átültető eszközök közül mutatunk be párat.

Habár a legtöbb alkalmazás arra buzdít minket, hogy az ujjunkat használva írjunk a képernyőre, azt ki kell mondani, hogy ez nem működik, kényelmetlen, pontatlan és nekem az ujjam is elkezdett egy idő után fájni. A megoldás egy olcsó (500 - 1000 forint körüli) stylus jelentheti. Én 740 forintért vettem egy Maxell Stylus Pen-t és rögtön el is kezdtem értékelni a kézírás lehetőségét. Tényleg jó móka kézzel írni, csak nem minden esetben lehetséges, pl. a metrón félkézzel kapaszkodva, a másik kézzel a mobilt tartva a stylus elővételére sincs lehetőség. Ellenben otthon, vagy hosszabb utazás során, sokkal kényelmesebb kézzel írni leveleket, tweeteket, csetelni meg jó értelemben fura, kicsit olyan érzés, mint amikor az osztályban leveleztünk a pad alatt.

Google Handwrite

Messze a legjobb kézírás felismerő ma a piacon! Magyarra is elérhető, és habár az angol verziónál kicsit rosszabb, egész használható. Nekem valahogy nem ment az emojik rajzolása és a szmájlikon túl nem tudtam még felismerhetőt rajzolni neki, de elvileg ezzel is megbirkózik.

Swype Keyboard

A Swype-on átválthatunk kézírásra is. Az angol verzió egész jól működik, de a magyar egyszerűen még használhatatlan. Elvileg ha sokan használnák és megosztanák az adataikat, akkor javulhatna az alkalmazás által használt modell, de amíg ilyen gyatra, addig nem fogják sokan használni...

MyScript Stylus

Elvileg intuitív kezelőfelületével a kézírás felismerést forradalmasító appról van szó. A gyakorlatban szerintem nagyon nehézkes használni, ha hibát vétünk, akkor percekbe is telhet a javítás.

MyScript Calculator

Milyen menő lenne, ha a papíron végzett számításaink maguktól oldódnának meg? Kb. erre gondolhattak a MyScript Calculator megalkotói. Milyen lenne, ha ahogy leírom hogy 122 x 34 = akkor hirtelen felugrana az eredmény? Ez az app pont ezt csinálja, csak kell egy kérdőjel neki az egyenlőségjel jobb oldalára. A probléma az, hogy pl. az általam írt kérdőjelet (ahogy a videón is látszik) képtelen felismerni ez az alkalmazás. Ha hosszabb kifejezést vinnénk be, akkor a MyScript néha egyszer úgy gondolja, hogy neki ennyi elég, ad nekünk most egy eredményt és nem vár tovább. A koncepció nagyon jó, sajnos a kivitelezésen még van mit javítani.

Squid

A Squid a kézírásos alkalmazás. Ahhoz, hogy igazán használható legyen, a zsebünkbe kell nyúlni a bővítményekért (a pdf annotálás és a felhős szinkronizálás sajnos egyáltalán nem olcsó), de ha ezt megtesszük, akkor remek eszközt kapunk. Kifejezetten ajánlom azoknak, akik papírfecnikre jegyzetelnek és szeretik kinyomtatni az aktuálisan olvasott tanulmányokat hogy tudjanak firkálni a lapokra.

Október óta tesztelgetve a különböző kézírás felismerő appokat azt tudom mondani, van helye ennek a beviteli módnak. A Squid tkp. az olvasó eszközömmé vált és nyugodt körülmények között gyakran átváltok Google Handwrite beviteli módra. Ugyanakkor nem hiszem, hogy a megszokott pötyögést le tudja váltani ez a módszer, maximum hasznos kiegészítője lehet annak.