HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati és big data megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Könyvajánló: The Language of Food

2014.09.30. 18:27 Szerző: kittibalogh Címkék: könyvajánló

Hogyan lehet megmondani csak az étlap alapján, hogy olcsón megússzuk az ebédünket vagy mélyen a zsebünkbe kell nyúlni? Hogyan befolyásolják a választásunkat a chipses zacskón található feliratok? Mi köze a szexnek a sushi tekercsekhez? Miként terjedt el az Óperzsa Birodalomban kedvelt sikbāj nevű halétel az évszázadok alatt, milyen történelmi-kulturális folyamatok során lett belőle a spanyol escabeche, a francia aszpik, a dél-amerikai ceviche, a japán tempura és a brit fish and chips? Milyen hatással van ránk az ételmárkák hangszimbolikája? Dan Jurafsky, a Stanford Egyetem oktatója ilyen és hasonló kérdéseken töprengett az utóbbi években, és amire jutott, le is írta legújabb The Language of Food: A Linguist Reads the Menu c. könyvében.

the language of food.jpg

 

Dan Jurafsky sokak számára ismerős lehet, ugyanis James H. Martinnal közösen ők a népszerű Speech and Language Processing: An Introduction to Natural Language Processing, Speech Recognition, and Computational Linguistics c. tankönyv szerzői. Jurafsky tudományos munkája során természetes nyelvfelismeréssel, társalgás- és párbeszédelemzéssel, valamint az NLP viselkedés- és társadalomtudományi alkalmazásaival foglalkozik. Emellett szabad- és munkaidejének egy részét évek óta egy speciális tudományos hobbijának, az ételek nyelvészetének szenteli. Az idén megjelent The Language of Food c. könyvében tizenhárom izgalmas történeten keresztül osztja meg ezt a szenvedélyét a nagyközönséggel.

A könyv műfajilag is eltér Jurafsky eddigi írásaitól, a The Language of Food ugyanis amolyan ételekről szóló szórakoztató tudományos ponyva a bestsellerré válás minden hajlamával. Jurafsky tudományos igénnyel mutatja be az „ételek nyelvét”, azonban nem viszi túlzásba a módszerek és elméletek ismertetését, ami mindenki számára fogyaszthatóvá és élvezhetővé teszi a könyvet. Arról nem is beszélve, hogy egy manapság közkedvelt témáról, az ételekről ír, amivel egy olyan társadalmi-kulturális közegben, ahol az emberekbe nap mint nap a tudatos és egészséges táplálkozás és életmód fontosságát sulykolják, nem hibázhat. (Ezt a fajta önreflexiót kicsit hiányolhatjuk is.)

De nem csak ezzel nyerheti el a könyv az emberek tetszését. Egy mit sem sejtő olvasó a cím alapján valószínűleg azt hinné, hogy egy kifejezetten nyelvészeti megközelítésű könyvet tart a kezében, azonban már az első fejezetnél kellemes meglepetés fogja érni. Jurafsky könnyedén vegyíti a nyelvészeti elemzést a történelmi, pszichológiai, szociológiai és kulturális antropológiai aspektusokkal. Különböző korokon, tájakon, kultúrákon keresztül utaztat minket a könyvben, miközben Grice maximáival, Bourdieu és Simmel fogyasztáselméletével, a Pollyanna elmélettel, Wolfgang Köhler pszichológus egyik alakkísérletével, Pennebaker és társainak funkciószavas vizsgálatával és sok egyéb érdekes dologgal ismerkedhetünk meg.

Az érintett tudományokban jártasabb személyeket talán nem elégíti ki a különböző tudományos elméletek és vizsgálatok szűkszavú ismertetése, azonban ennek orvoslásaként a könyv további olvasnivalóhoz irányítja át az érdeklődőket. Ami talán még zavarhatja az olvasókat, azok olyan stílusjellemzők, mint a bensőséges hangvétel, ami néhol furán keveredik a tárgyilagos tudományos részekkel, valamint a szájbarágós, a tanulságot a fejezet végén mindenáron összefoglalni akaró szentenciák. Ámde a sztorizgatás és a szájbarágás is sajátosságai ennek a műfajnak, amit mindenki el tud dönteni magának, hogy kedvel-e vagy sem.

Mindent egybevetve a könyv eléri a kívánt hatást. Fenntartja az érdeklődést, szórakoztat, olvastatja magát, sokféle új tudásmaggal lát el, és csak annyira, hogy az ne legyen túl megterhelő. Megfelelő olvasmány egy megerőltető nap után, mikor az ember már nem akarja tovább kínozni az agyát, de nem is akarja sorvadni hagyni.

Emellett olyan döbbenetes dolgokra lehet a könyv olvasása közben rájönni, minthogy a Star Trekes ételreplikátorból lehet, hogy nem csak az alkotók ötletszegénysége miatt kérhetik a dolgozók ugyanazokat az emberi ételeket, mint amit egy ma élő amerikai eszik, hanem az időn és téren átívelő kulturális hasonlóságok, valamint a közös szociális és kognitív emberi jellegzetességek miatt. Bár ez még nem oldja meg, hogy más fajok miért esznek a földihez nagyon hasonló ételeket.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

András, our architect teaches the team about some issue @precognox

2014.09.30. 08:43 Szerző: kereso Címkék: instagram

924822_644546192330950_1360896179_n.jpg_612x612

precognox készítette ezt a képet.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Learning by doing: Írjunk és teszteljünk saját nyelvtant

2014.09.29. 08:00 Szerző: zoltanvarju Címkék: vendégposzt nyelvtechnológia Python NLTK

Gerő Dávid Péter vendégposztja, az Egyszerű magyar mondatok kezelése NLTK környezetben című szakdolgozatának témájából.

Az írásom célja, hogy kedvet és lelkesedést ébresszek a próbálkozás utáni tanulás iránt egy számítógépes nyelvfeldolgozó keretrendszer bemutatásával. Megmutatni egy eszközrendszert és az eszközrendszeren egy magyar nyelvészeti probléma megoldását, amely alkalmas arra, hogy a diákok a felsőoktatásban elsajátított vagy éppen tanult ismeretanyagokat lefordíthassák a számítógép által is értelmezhető formába.

A célhoz eszköz kell. A választás a Python programozási nyelven megvalósított Natural Language Toolkit-re (NLTK) esett. Mind a programozási nyelv, mind a számítógépes eszközrendszer könnyű elsajátíthatósága miatt.

Az előttünk álló probléma a magyar nyelvű névelő egyeztetés és a választott nyelvészeti keretek pedig a generatív nyelvtan és megszorítás alapú nyelvtan.

Miről is beszélek most egyáltalán?

Ugorjunk a példára.


ember, kutya, egy ember, egy kutya, *a ember, az ember, a kutya, *az kutya

 

Tehát a nyelvünk ábécéje: e, egy, a, az, ember, kutya

Az ábécé feletti halmazunk: az ábécé permutációja (az ábécé hat elemű, így ennek faktoriálisát vesszük: 6! = 720 elemű.)

Tehát a nyelvünk (L) 720 mondatból áll.

Nekünk pedig az a szerény feladatunk, hogy ebből a 720 mondatból kiválasszuk azt a hat elemet, amelyek a magyar nyelv része. - Ez utóbbit nevezzük LM-nek, amely LM teljes részhalmaza a magyar nyelvnek.

Fogalmazzuk újra a problémát!

Generatív nyelvtan alapján az feladatunk, hogy egy olyan transzformációs szabályhalmazt adjuk, amely a megadott ábécé alapján csak és kizárólag a keresett hat elemű halmazt (LM-et) generálja.

Megszorítás alapú nyelvtan szempontjából pedig az a feladatunk, hogy olyan megszorítás alapú szabalyokat adjuk, amely az L halmazból kizárólag a keresett hat elemű halmazt (LM-et) választja ki.

Most már minden tiszta. Szerencsére. Fordítsuk először képletre aztán kódra a gondolatot és vizsgáljuk meg a működését!


Generatív nyelvtannal

A G=(N, T, S, H) rendezett négyest generatív nyelvtannak (vagy generatív grammatikának) nevezzük. (Pontos definíció: www.inf.unideb.hu/~nbenedek/FormNyelvAutom/chunks/ch03s02.xhtml )

A problémánk mentén N, a nemterminális szimbólumok halmaza { S, DP, D, DhatN, DhatP, DmghP, DmghN, NmghP, NmghN }
A T a terminális szimbólumok halmaza { e, egy, a, az, ember, kutya }
A H, a helyettesítési szabályok halmaza. { S → DP, DP → D , D → DhatM, D → DhatP , DhatM → e N, DhatM → egy N , DhatP → DmghP NmghP, DhatP → DmghM NmghM , DmghP → az , DmghM → a , N → NmghP, N → NmghM ,
NmghP → ember, NmghM → kutya }
Míg az S, a kitüntetett egy elemű halmaz, a kezdőszimbólum. { S }

Néhány munkadefiníció magyarázatra szorul. A DhatM nemterminális szimbólum azokat a determinánsokat jelöli, amelyek határozottsági jegye mínusz értéket vesz fel. Míg a DhatP azon determinánsokat jelölik, amelyekt határozottsági jegye pozitív. A DmghM és DmghP a magánhangzóval kezdődő alaknak a nemterminális szimbóluma.

Abbéli csodálkozásunkban, hogy sikerült egy ilyen kis képletbe ilyen sok szimbólumot beillesztenünk... Fordítsuk gyorsan kódra a működést.

cfg_ketto.png

Mit érdemes észrevennünk?

A nyelvtani fájlt érdemes megfigyelnünk. A nyelvtani fájlban nem definiáltuk külön a nemterminális és termininális szimbólumok halmazát. Csupán felállítottuk a transzformációs szabályokat... és mégis működik.
Az NLTK amellett, hogy egy könnyű szintaxist biztosíts a számunkra saját nyelvtanunk definiálására meg van az a nagyszerű lehetősége, hogy a terminális és nemterminális szimbólumok halmazát automatikusan, a szabályhalmazból következteti ki.
Ezért a generatív grammatika definiciójára hivatkozva: nekünk elegentő helyettesítő szabályok halmazát felírnunk és ebből a szabályhalmazból automatikusan létrehozza számunkra a rendszer a terminális, nemterminális és a kezdőszimbólum halmazát.

Megszorítás alapú nyelvtannal

Végezetül álljon itt egy példa a keresett nyelv megszorítás alapú leírására.
Megszorítás alapú nyelvtan szempontjából az a feladatunk, hogy olyan megszorításokat adjuk, amely az L halmazból kizárólag a keresett hat elemű halmazt (LM-et) választják ki.

Összegzés

Egy egyszerű nyelvtant szerkesztettük, amely a névelők és főnevek egyeztetését hivatott modellezni magyar nyelven. Se maga a nyelvtan, se annak informatikai megvalósítása nem teljes. Sőt nyelvészeti szempontból megkérdőjelezhető is. Ennek ellenére a nyelvtanok, a különböző nyelvtani keretrendszerekben működnek és pontosan az általunk keresett helyes magyar mondatokat generálják vagy fogadják el.

A célunknak megfelelően könnyen áttekinthető példák, amelyek azt szorgalmazzák, hogy a saját nyelvtan szerkesztése és a saját nyelvtannak a számítógép által értelmezhető formában való megjelenítése és megvalósítása nem egy ördöngős informatikai feladat. Ha olyan eszközrendszer áll a rendelkezésünkre, mint a példák során felhasznált NLTK.

Jó játékot!

Gerő Dávid Péter (@davidpgero), a Szegedi Tudományegyetem magyar-nyelvtechnológus hallgatójaként végzett 2014-ben. Jelenleg szoftverfejlesztőként tevékenykedik és nem szereti a mazsolát.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Meetup slideok

2014.09.26. 08:39 Szerző: zoltanvarju Címkék: meetup tudománymetria nyelvtechnológia NLP meetup kozbeszerzes.ceu.hu Slamby TrendMiner

A tegnapi NLP meetuphoz kapcsolódó anyagok.

 

 

  • A Slamby honlapját itt találjátok.

 

  • Merész Gergő: Tudománymetriai adatok elemzése

 

Gergő előadáshoz kapcsolódó github repoja itt található.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

At young entrepreneur rolemodels club www.peldakep.hu

2014.09.25. 20:12 Szerző: kereso Címkék: instagram

10706835_950574068292963_1314895047_n.jpg_612x612

precognox készítette ezt a képet.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre