HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatbányászat (6) adatok (12) adatújságírás (16) adatvizualizáció (17) AI (10) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (48) bing (14) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (8) deep learning (14) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (12) Google (23) google (57) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (43) könyvajánló (23) korpusznyelvészet (14) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (6) lda (10) LDA (10) live (13) magyar kereső (9) marketing (8) meetup (40) mesterséges intelligencia (10) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (28) nyelvtechnológia (73) open data (11) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (44) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (8) szemantikus keresés (18) szemantikus kereső (9) szentimentelemzés (34) szövegbányászat (15) társadalomtudomány (7) tartalomelemzés (54) tartalomjegyzék (6) tematikus kereső (19) topik modellek (6) twitter (15) Twitter (18) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Nemi előítéletek és szóbeágyazási modellek

2018.01.30. 12:34 Szerző: zoltanvarju Címkék: adatvizualizáció AI word2vec gender bias szóbeágyazási modellek

Hogyan lesz előítéletes az AI? Erre keressük a választ magyar alternatív zenekarok dalszövegeiből készített szóbeágyazási modellt hívva segítségül. A szóbeágyazási modellt ezen az interaktív vizualizáción keresztül lehet felfedezni, de lentebb azt is elmondjuk, hogy mely szavak jellemzőbbek inkább a fiúkra, melyek a lányokra - legalábbis az underground dalszerzői szerint.

A word2vec egy nagyon jó dolog! A szóbeágyazási modelleket egyre több helyen tudjuk használni. ezért egyáltalán nem mindegy, milyen adatokon tanítjuk be. Pár éve még a The Unreasonable Effectiveness of Data nyomán úgy gondoltuk, hogy ha netről (meg más forrásokból) sok adatot gyűjtünk, akkor nem tévedhetünk, az adatok majd vezetni fognak minket. Azonban az adatokat mi emberek gyűjtjük saját magunkról, így - ahogy arról már a nyesten is írtunk - az adatokba igen gyakran belekerülnek saját előítéleteink, melyeket azután a rajtuk trénelt algoritmusok vissza is adnak. Jó példa erre a Google szentimentelemzője is, ami nagyon érdekes értékeket rendelt egyes mondatokhoz, ahogy a Motherboard példái is mutatják:

google01.png

google02.png

Nagyon szeretjük a pretrained modelleket, különösen ha klasszifikációról van szó. Ezek általában a Wikipedia-ról és/vagy híroldalakról gyűjtött adatokon vannak betanítva. Gondolhatnánk, hogy egy enciklopédia vagy egy objektivitásra törekvő híroldal biztos torzításoktól mentes. Olyan tanulmányoknak köszönhetően mint pl. a  Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings azonban rájöttünk, ez koránt sem igaz - az összes előítéletünk megjelenik ezekben a modellekben. Szerencsére tehetünk ellene, ha akarunk. 

Mennyire érhetjük tetten ezeket a torzításokat (bias) a magyar szövegekben? Honnét tudjuk, hogy rendben van a korpuszunk? Mi van, ha nincs olyan sok adatunk, amin megéri egy word2vec modellt trénelni. Ilyen kérdések foglalkoztatnak minket mostanában.

Az a tapasztalatunk, hogy a word2vec igazán akkor működik jól, ha tényleg sok adatunk van. Ha nem ez a helyzet, akkor jól jön a régi kölcsönös információ (pointwise mutual information), de eleve a szóbeágyazási modellek ezeket közelítik és az iparban nagyon népszerű manapság egy poszt, ami amellett érvel, hogy hagyjuk a fenébe a word2vec-et, térjünk vissza a jól bevált eszközeinkhez.

Egy korábbi projektünkhöz 24 magyar alternatív zenekar 1503 számának szövegét gyűjtöttük le. Ahogy manapság mindenki teszi, mi is implementáltuk magunknak a word2vec pótlékunkat a posztot követve. A szövegeket a modellbe téve a szokásos algebrai műveletek elvégezhetőek. Nézzük mely szavak állnak inkább a 'fiú' szóhoz közelebb:

fiú - lány

('ész_NOUN', 0.6413571868189918)

('ház_NOUN',  0.6394038735224673)

('mintha_SCONJ', 0.6356254038639404)

('kör_NOUN', 0.6347388228382129)

('fekete_ADJ',  0.6340567298146321)

És akkor nézzük mely szavak állnak közel a "lány"-hoz:

lány - fiú

('munka_NOUN', 0.13039697590585775),

('hagy_VERB',  0.10222601358418776),

('éppen_ADV',  0.09844298177559987),

('vesz_VERB',  0.09752982783571493)

('hát_ADV',  0.05191687249170514)

Nézzünk egy példát analógiára: 

fiú ~ lány = kisfiú ~ X

pikkelyes_ADJ 1.4021871931471783
látva_ADV 1.3847004769180082
rió_NOUN 1.3657105563904626
andrea_PROPN 1.365663414523725
tánctér_NOUN 1.3635914156567344

Mi a kislányt vártuk volna, de hát a magyar underground nem adta! Viszont mint minden rendes szóbeágyazási modellt, ezt is be lehet varázsolni a TensorFlow csodás Embedding Projector alkalmazásába, szóval fel is tettük a modellt, itt lehet nézegetni.

alter01.png

Ha a Bookmarks résznél rákattintunk a tsne-re, akkor bejön az előre beállított kis vizunk is.

alter03.png

Jobb oldalon pedig lehet a szavakra keresni és legközelebbi szomszédaikra szűrni.

alter02.png

Hamarosan más szereplők megnyilvánulásaiból származó korpuszon részletesebben is bemutatjuk eredményeinket!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

http://kereses.blog.hu/api/trackback/id/tr813613475

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

Nincsenek hozzászólások.