Ma Pécsett adok elő a magyarosok szaknapján arról, mit is csinál egy nyelvész az iparban. 

Aki szeretne komolyabban elmélyedni a nyelvtechnológiában, annak a Nyelv és Tudományon jó pár éve megjelent Hogyan lehet számítógépes nyelvész című írásomat ajánlom. Mai előadásomban arra fókuszáltam, hogy mivel az egyetemen sajnos nem tanítanak olyan tárgyakat, melyeket az iparban tud hasznosítani az egyszeri halandó, legyen mindenki aktív. Könyveket ajánlok tehát (nem sokat!) - élőben pedig az egyes területekről is beszélek egy kicsit (nyelvi adatok kezelése, tesztelés, nlp, az nlp hasznosítása).

A következő NLP meetupot szerdán (április 30-án) tartjuk 18 órától, helyszín: Colabs-Buda (1016 Budapest, Krisztina krt. 99). A részvétel ingyenes, de arra kérünk mindenkit, regisztráljon a meetup oldalon és jelezze részvételi szándékát.

Ebben a hónapban az internetes adatokra alapozott előrejelzéseket végző kollégák mutatják be röviden eredményeiket, majd a közönség kérdezhet tőlük (amolyan kerekasztal jelleggel). Ízelítőül ajánljuk az alábbi posztokat/cikkeket az előadókról:

• GVI: Google Nowcasting
• Maven7 - Political Capital: Online politikai elemzések
• Neticle - Méltányosság: Politikai véleményárfolyam

Hogyan tanul egy gép adatokból? Egyáltalán, hogy néz ki egy gép tanítása és mire képes a tanulás után? Mi a különbség a felügyelt és a felügyelet nélküli gépi tanulás között? Hogyan válasszuk ki az ezer lehetséges módszer közül azt, ami a mi problémánkra nézve releváns? Mennyire bízhatunk meg egy gépi tanulási algoritmusban? Brett Lantz Machine Learning with R könyve az alapoktól kezdve gyakorlati példákon keresztül vezeti be az olvasót a gépi tanulás legelemibb kérdéseibe. Nem ígér többet, mint hogy az olvasó képes lesz elemi problémákat megoldani és további forrásokat keresni ha megszereti a gépi tanulást a könyv olvasása során.

Kezdjük a negatívumokkal. A könyv oldalán érdemes a hibajegyzéket intenzíven nézegetni! Ne másoljunk a kötetből kódrészleteket kedvenc szerkesztőnkbe agyatlanul, mert bizony hibák csúsztak a kódba itt-ott. A kiadó oldalán letölthető kódmelléklet ellenben működik - általában. Habár 2013 végén jelent meg a könyv, pár R csomag azóta változott s nem működik minden példakód rendesen, de a hibajegyzék és egy kis Google keresgélés minden problémát megoldhat.

A pozitívumok sora végtelen ellenben! Minimális programozási előismerettel mindenki belevághat. Nem árt, ha az R nem idegen, de aki Pythonban dolgozott már "könyvtárfogyasztó" módban pl. NLTK-val, annak sem okoz majd nehézséget a követése. A matematikához nincs királyi út, de szerencsére akad olyan, ami viszonylag kevés képlettel dolgozik és az is inkább csak azért szerepel hogy kb. értse az olvasó mi is történik a mélyben. A példák általában egy CRAN könyvtárat használnak, így tkp. minden fejezet egy receptnek tekinthető ami leírja hogy ha ilyen problémád van, akkor ezt a megoldást érdemes használni, ehhez így nézzen ki az adatod - és kész! Az elméleti háttér iránt érdeklődőknek persze egy-egy tanulmányra hivatkozik a szerző, de itt nem ezen van a hangsúly.

A kötet abszolút hiánypótló! Nem lesz szakember az, aki elolvassa és megtanulja használni a benne hivatkozott könyvtárakat. Ellenben nem ismerek más olyan könyvet, ami komolyan vette volna, hogy a szélesebb olvasóközönségnek igénye van egy "szájbarágós" bevezetésre, ami helyre rakja a sokat hivatkozott fogalmakat és ad egy fogalmi keretet a mélyebb vizsgálódáshoz. Csak ajánlani tudjuk a Machine Learning with R-t mindenkinek!!!! 

A szentimentelemzés vagy polaritásmérés az utóbbi öt évben rendkívül felkapott lett - mi is imádjuk. De mindig akad egy de! Ma két iskola működik, az egyik az ún. szótáras, a másik pedig a klasszifikációs módszer híve. Mindkettőnek megvannak a maga erősségei és gyengéi is. Jó hír: talán akad jobb!

A klasszifikációs módszer lényege, hogy egy sok-sok példát tartalmazó korpuszt készítünk, ami felsorol sok negatívnak, pozitívnak ill. semlegesnek ítélt mondatot. Ilyen pl. Miháltz Márton remek OpinHuBank korpusza a magyar nyelvre. Nézzük meg a leggyakoribb szavakat a pozitív példákból!

Vessünk egy pillantás a negatív példák leggyakoribb szavaira is!

Reméljük két dolog egyből látszik:

• a példák híroldalakról és blogokról származnak
• nagy az átfedés a leggyakoribb szavak között

Nyilván a klasszifikációt végző algoritmus (általában naív Bayes, vagy annak valamilyen változata) nem ezen szavak alapján dönti el, hogy melyik osztályba soroljon egy-egy mondatot, hanem a gyakorisági listán hátrébb szereplő szavakat vizsgálgatja. Csakhogy ezek vagy nagyon területspecifikusak, vagy túl általánosak. Éppen ezért a tanuló algoritmusokon alapuló szentimentelemzők általában spéci, az adott területhez készített korpuszt használnak.

A másik iskola szótárakat használ, melyek inkább szólisták egy-egy adott szentimenthez. Az "elemzés" lényege az, hogy megszámolják az elemzett szövegben a listákon szereplő szavak arányát. Itt gondot szokott okozni a tagadás (pl. az "Ez a könyv jó" és az "Ez a könyv nem jó" mondatok polaritása tutira ellentétes a tagadás miatt) és egyéb finomságok. Persze ezek jelentős részét lehet kezelni valamennyire, viszont itt is a területspecifikusság problémája merül fel (ennek legtöbbet idézett írása a pénzügyi területen született When is a Liability not a Liability? Textual Analysis, Dictionaries, and 10-Ks tanulmány). Érthetőbben pozitív-e a növekedés? Ha nő a cégünk az pozitív, de ha nő a költségvetés hiánya, az bizony aggasztó (persze pl. egyes keysiánusoknál ez megint lehet pozitív polaritású is).

A kérdés az, akad-e általános eszköz szentimentelemzésre? Blogunkon már többször foglalkoztunk Pennebaker megközelítésével, ami a hagyományos stopszószűrés után megmaradó tartalmas szavak elemzése helyett a funkciószavak arányaira figyel. A Counting Little Words in Big Data c. riportban Pennebaker és szerzőtársa remekül összefoglalja milyen lehetőségek rejlenek ebben a megközelítésben. A funkciószavak ugyanis nem nagyon változtatják jelentésüket a különböző regiszterekben - reméljük, hogy egy jogász ugyanazt érti alatta, mint én és a háziorvosom. A megközelítés további előnye, hogy nem csak a lassan szűkössé váló pozitív, semleges, negatív osztályozást, hanem az emócióelemzést, sőt a beszélők szegmentálását is lehetővé teszi! (L. erről a blog egyik szerzőjének Twitter-fiókján végzett elemzésünket.) Úgy tűnik érdemes számolni a szavakkal!

A magabiztosság az élet része, sokan ezért mindenféle nyelvészeti ismeret nélkül vágnak bele a nyelvtechnológiai problémák megoldásába. Persze a nyelvhez mindenki ért, hiszen mindenkinek van nyelve, beszélni minden egészséges ember tud. Ugyanakkor szíve is van mindenkinek, valahogy mégse gondolja magát szívsebésznek mindenki. A nyelvtechnológia furcsa terület, nem kell hozzá nyelvészeti végzettség - de ez nem jelenti azt, hogy nem kell rendelkezni bizonyos háttértudással a területről. Az egyik legjobb nyelvészeti tankönyv egyik szerzője, Emily M. Bender volt olyan kedves és a Linguistics Fundamentls for Natural Language Processing 100 Essentials from Morphology and Syntax című rövid kis könyvben összefoglalta azt, amit minimum tudni illik! 

A tartalom egyszerűen zseniális, Bender remek tanár, minden egyes szaván érződik hogy az University of Washington híres számítógépes nyelvészeti képzésén oktatva ezerszer elmagyarázta már ezeket a kérdéseket okos és tanult, de a nyelvészetet közelebbről nem ismerő embereknek. Habár a nagyobb mélységeket mellőzi - kb 120 oldalon 100 témát kifejteni nem is lehet - arra mindenképpen elegendő, hogy a kötet elolvasása után érezze az ember nem teljesen haszontalan a nyelvtudomány és van mit keresni nyelvészeknek a nyelvtechnológiában. Személyes tapasztalatom szerint a számítástudomány és reáliák felől érkezők számára nehéz megérteni mit várhatnak egy nlp eszköztől és hogyan ítélhetik meg hatékonyságát, sőt gyakran a egy-egy probléma definiálása során is nehézséget jelent számukra, hogy nem igazán ismerik a nyelv szeszélyes természetét. Különösen akkor ajánlom ezt a könyvet, ha valaki egyedül, nyelvészeti előismeretek nélkül szeretne nyelvtechnológiai kérdésekkel foglalkozni. Sajnos egyre gyakrabban találkozhatunk olyan csapatokkal is, akik foglalkoznak nyelvtechnológiai kérdésekkel, de nincs köztük nyelvész - nekik szívem szerint receptre íratnám fel Bender művét! Nyelvészeknek viszont egyáltalán nem ajánlom - nekik kicsit unalmas, túl sűrű lehet ez a könyv.