Ha csak egy könyvet olvasol el a mesterséges intelligencia történetéről és jövőjéről, ez legyen az - minden túlzás nélkül lehetne ez ennek a posztnak a klikkvadász címe.

John Markoff nagyon alapos munkát végzett, amikor feltérképezte a mesterséges intelligencia történetét. Nem csak kutatók, de cégalapítók és befektetők történetei színesítik a sztorit, aminek két főhőse van; Marvin Minsky és Terry Winograd. A két főszereplő együtt kezdte meg a klasszikus mesterséges intelligencia alapjainak lefektetését, de Winograd egy idő után inkább a ma Human-Computer Interaction-nek nevezett területet találta ki és elfordult mesterétől. A két szaktekintély köré szerveződött az AI (Artificial Intelligence) és a IA (Intelligent Augmentation) hívők köre, főleg a mesterek tanítványaiból, de gyakran esett meg, hogy valaki egyik hitről a másikra tért át. A két szemlélet nagyon eltérő, még az egyik leváltaná az embert, a másik inkább kiterjesztené, amikor az egyik éppen divatos, a másik terület szendereg. De most valami megváltozott és összeértek a szállak, pl. a Google Human-Centered Machine Learning-ről beszél, az IDEO pedig gépi tanulással foglalkozó céget vásárolt fel.

A kötet tele van sztorikkal különböző kutatóintézetek és startupok alapításáról, a két nagy öreg pedig tanítványain keresztül folyamatosan jelen van. A legérdekesebb rész azonban az, hogy Wingorad Stanfordba érkezve hogyan vált át a AI-ról Hubert Dreyfus és John Searle filozófiai körének látogatása során az IA-ra.  Ha valaki szerint az öncélú gondolkodás haszontalan, akkor eláruljuk neki hogy Winograd két tanítványa alkotta meg a PageRank algoritmust, amire aztán az egész Google épült.

Aki tudni szeretné, hogyan indult a mesterséges intelligencia, miért csak most lettek menők a neurális hálók és hányszor vérzett már el a kutatási eredmények piacosítása, az feltétlenül olvassa el a könyvet! Az első fordítógépektől az önvezető autókig tényleg minden releváns technológia születését és piacra lépését olvasmányosan összefoglalta a szerző. Habár dramaturgiailag jó felütés az AI és az IA szembeállítása, a sztori közben azért rájövünk hogy nem minden fekete vagy fehér, de ez így van rendjén.

John Markoff: Machines of Loving Grace - The Quest for Common Ground Between Humans and Robots, HarperCollins, 2015

A szolucionizmus híveinek kötelező olvasmány Cathy O'Neil, a mathbabe blog szerzőjének könyve! Egy hajdani quant (pénzügyi geek) matek PhD-val a zsebében fogta magát és utána járt, mit köszönhetünk a gépi tanulásnak - nem sok jót talált, de arról rendkívül olvasmányos módon számol be nekünk.

A könyv alapvetése az, hogy a gépi tanulás hibázik és ezek a hibák hatással vannak az életünkre. Nincsenek jó modellek és ha nincs visszacsatolás, akkor nem is lesznek soha. A WMD, azaz a Weapon of Math Destruction mindig úgy indul, hogy valaki azt hiszi sok adata van, de gyakran nem tudjuk azt mérni, amit igazán szeretnénk, ezért proxikat, indikátorokat használunk. A felsőoktatási rangsorok például a tanár-diák arányt, a túljelentkezés mértékét, az átlagos felvételi pontszámot, stb. mérik, amik jó közelítőknek tűnnek, de egyben azt eredményezik, hogy minden iskola ezekre kezd rágyúrni, ezáltal a szakadék elkezd nőni az elit egyetemek és a többi között. Az objektívnek tűnő mérőszámokhoz kezdenek igazodni az iskolák, emiatt pedig egyre inkább hasonlítani kezdenek egymásra. O'Neil szerint az egyetemi rangsorok a WMD-k iskolapéldái. A könyv tíz fejezete hasonlóan működő WMD-ket mutat be az online hirdetések világával kezdve, amely kíméletlenül nyomul a szegények pénzére mindenféle hiteleket rájuk tukmálva. A munka világa két fejeztet is kap, az automatikus CV elemzés és az alkalmassági tesztek is durvák, de igazán a clopening, azaz az üzlet éjszakai zárását, majd reggeli nyitását magában foglaló műszakok, illetve a naponta többször is megszakított, algoritmikusan tervezett műszakok bemutatása során nyílik ki a bicska az ember zsebében. A biztosítási- és hitelpiac bemutatása ezek után már üdítően hat, no persze nem az hogy minden adatunkra rá szeretnék tenni a kezüket a pénzügyi cégek, de itt visszatérünk a klasszikus WMD-khez, melyek arra vannak optimalizálva, hogy a többséggel tartsanak és az átlagtól eltérőket (kisebbségek, szegények, stb.) kockázatosnak ítéljék meg. Az utolsó fejezetben összeér minden, hiszen a modern tömegdemokráciákban egyre divatosabb a célzott marketing, mely célja az átfordítható választól elérése. O'Neil szerint a már meggyőzött szavazókat elég megtartani, az ingadozókra kell összpontosítani és a célzott marketingnek hála minden csoport más ígérettel bombázható, innen egyenes út vezet a polarizálódáshoz.

Habár nagyon izgalmas és alapos a könyv, kicsit szájbarágós a WMD-k hatásai kapcsán. A szerző minden esetben kinyilatkoztatja  (amúgy számunkra szimpatikus) nézeteit arról, hogyan is kellene kinéznie egy ideális világnak. Ez azért furcsa, mert ezt a könyvet gyakran ajánlják a Big Data kapcsán etikai kurzusokhoz. De az aki annál többet akar látni, hogy a piaci mechanizmusok nem uralhatnak mindent és rossz dolog növelni az egyenlőtlenségeket, máshová kell fordulnia. Problémafelvetésnek remek a kötet, de talán jobban jár az érdeklődő olvasó, ha saját maga gondolkodik el a következtetéseken. Ehhez Michael Sandel Justice kurzusa online elérhető ingyen, a kapcsolódó könyv pedig magyar fordításban is beszerezhető. Ha pedig arról is el akar valaki gondolkodni, hogy meddig terjedhet a gazdasági gondolkodás, a pénz hatalma meddig érhet, annak Sandel What Money Can't Buy című könyvét ajánljuk. Vigyázat, ezek a könyvek nem adnak kész válaszokat, arra próbálják rávenni az embert hogy gondolkozzon, beszélgessen és önállóan alkosson véleményt.

Ma az Entrepreneur DNA konferencián adunk elő, kapcsolódó diáink alább.

A gépi tanulás kapcsán termékeinkről fogunk beszélni, azaz a TAS, a Data Collector, a Classifier API és a Sales Lead Generator is bemutatásra kerül.

Most is, mint minden évben részt vettünk a szegedi Magyar Számítógépes Nyelvészeti Konferencián.

A Szegedi Tudományegyetem Informatikai Tanszékcsoportja tizennegyedik alkalommal rendezte meg 2018. január 18-19-én a Magyar Számítógépes Nyelvészeti Konferenciát. A konferencia a nyelvtechnológia területén végzett kutatások és eredményeik ismertetésének ad otthont. Fő célja az elvégzett vagy folyamatban lévő kutatások és fejlesztések legaktuálisabb eredményeinek bemutatása, de lehetőség nyílik hallgatói projektek, ill. a nyelvtechnológia ipari alkalmazásainak ismertetésére is. 

A konferencia honlapja itt érhető el, a tanulmánykötet pedig innen tölthető le. 

Magunk négy előadásban voltunk érdekeltek, amelyek a következők voltak:

1) Nyíri Zsófi, Szabó Martina Katalin, Ilyés Virág: Egy orosz nyelvű korpusz (NarRu) narratívaelemzése saját fejlesztésű szentiment- és emóciószótárakkal.

2) Lázár Bernadett, Szabó Martina Katalin, Vincze Veronika: Mozgást jelentő igék argumentumszerkezetének korpuszalapú vizsgálata. 

3) Gulyás Attila, Szabó Martina Katalin, Ifj. Boros István, Havadi Gergő: A Rákosi-éra pártjegyzőkönyveinek feldolgozása, elemzése és vizualizációja szövegalapú kapcsolatháló-elemzési módszerekkel.

4) Gulyás Attila, Galántai Júlia, Szabó Martina Katalin, Szebeni Zea: A HuTongue spontán beszélt nyelvi korpusz leiratozásának és annotálásának minőségbiztosítási munkálatai.

Az orosz narratívaelemzéses dashboardunkat a konferencia demo szekciójában is bemutattuk.

Aki szeretne még egy posztot olvasni a konferenciáról, az talál egy nagyon jót itt.

Aki pedig szeretne többet hallani a HuTongue korpuszról vagy a Rákosi-projektről, jöjjön egy február 22-én a Hungarian Natural Language Processing Meetupra, a HTK nagyelőadójába 18:30.kor! Bővebb információt itt találnak a programról.

Nagyon jó volt, köszönjük a szuper szervezést! Jövőre is találkozunk! :)

Hogyan lesz előítéletes az AI? Erre keressük a választ magyar alternatív zenekarok dalszövegeiből készített szóbeágyazási modellt hívva segítségül. A szóbeágyazási modellt ezen az interaktív vizualizáción keresztül lehet felfedezni, de lentebb azt is elmondjuk, hogy mely szavak jellemzőbbek inkább a fiúkra, melyek a lányokra - legalábbis az underground dalszerzői szerint.

A word2vec egy nagyon jó dolog! A szóbeágyazási modelleket egyre több helyen tudjuk használni. ezért egyáltalán nem mindegy, milyen adatokon tanítjuk be. Pár éve még a The Unreasonable Effectiveness of Data nyomán úgy gondoltuk, hogy ha netről (meg más forrásokból) sok adatot gyűjtünk, akkor nem tévedhetünk, az adatok majd vezetni fognak minket. Azonban az adatokat mi emberek gyűjtjük saját magunkról, így - ahogy arról már a nyesten is írtunk - az adatokba igen gyakran belekerülnek saját előítéleteink, melyeket azután a rajtuk trénelt algoritmusok vissza is adnak. Jó példa erre a Google szentimentelemzője is, ami nagyon érdekes értékeket rendelt egyes mondatokhoz, ahogy a Motherboard példái is mutatják:

Nagyon szeretjük a pretrained modelleket, különösen ha klasszifikációról van szó. Ezek általában a Wikipedia-ról és/vagy híroldalakról gyűjtött adatokon vannak betanítva. Gondolhatnánk, hogy egy enciklopédia vagy egy objektivitásra törekvő híroldal biztos torzításoktól mentes. Olyan tanulmányoknak köszönhetően mint pl. a  Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings azonban rájöttünk, ez koránt sem igaz - az összes előítéletünk megjelenik ezekben a modellekben. Szerencsére tehetünk ellene, ha akarunk. 

Mennyire érhetjük tetten ezeket a torzításokat (bias) a magyar szövegekben? Honnét tudjuk, hogy rendben van a korpuszunk? Mi van, ha nincs olyan sok adatunk, amin megéri egy word2vec modellt trénelni. Ilyen kérdések foglalkoztatnak minket mostanában.

Az a tapasztalatunk, hogy a word2vec igazán akkor működik jól, ha tényleg sok adatunk van. Ha nem ez a helyzet, akkor jól jön a régi kölcsönös információ (pointwise mutual information), de eleve a szóbeágyazási modellek ezeket közelítik és az iparban nagyon népszerű manapság egy poszt, ami amellett érvel, hogy hagyjuk a fenébe a word2vec-et, térjünk vissza a jól bevált eszközeinkhez.

Egy korábbi projektünkhöz 24 magyar alternatív zenekar 1503 számának szövegét gyűjtöttük le. Ahogy manapság mindenki teszi, mi is implementáltuk magunknak a word2vec pótlékunkat a posztot követve. A szövegeket a modellbe téve a szokásos algebrai műveletek elvégezhetőek. Nézzük mely szavak állnak inkább a 'fiú' szóhoz közelebb:

fiú - lány

('ész_NOUN', 0.6413571868189918)

('ház_NOUN',  0.6394038735224673)

('mintha_SCONJ', 0.6356254038639404)

('kör_NOUN', 0.6347388228382129)

('fekete_ADJ',  0.6340567298146321)

És akkor nézzük mely szavak állnak közel a "lány"-hoz:

lány - fiú

('munka_NOUN', 0.13039697590585775),

('hagy_VERB',  0.10222601358418776),

('éppen_ADV',  0.09844298177559987),

('vesz_VERB',  0.09752982783571493)

('hát_ADV',  0.05191687249170514)

Nézzünk egy példát analógiára: 

fiú ~ lány = kisfiú ~ X

pikkelyes_ADJ 1.4021871931471783
látva_ADV 1.3847004769180082
rió_NOUN 1.3657105563904626
andrea_PROPN 1.365663414523725
tánctér_NOUN 1.3635914156567344

Mi a kislányt vártuk volna, de hát a magyar underground nem adta! Viszont mint minden rendes szóbeágyazási modellt, ezt is be lehet varázsolni a TensorFlow csodás Embedding Projector alkalmazásába, szóval fel is tettük a modellt, itt lehet nézegetni.

Ha a Bookmarks résznél rákattintunk a tsne-re, akkor bejön az előre beállított kis vizunk is.

Jobb oldalon pedig lehet a szavakra keresni és legközelebbi szomszédaikra szűrni.

Hamarosan más szereplők megnyilvánulásaiból származó korpuszon részletesebben is bemutatjuk eredményeinket!