Az ingatlanhirdetések szövegei sokat elárulnak arról, hogyan látják környezetüket a hirdető tulajok. Korábban összegyűjtött közel 200.000 hirdetés szövegét elemeztük most, hogy lássuk, milyen területi különbségek jelennek meg az eladók szóhasználatában. A kapcsolódó vizualizáció itt érhető el.

Az adatgyűjtésről már írtunk a négyzetméterárakat bemutató posztunkban. Most kiegészítettük a járási/kerületi szinten aggregált adatokat a hirdetések szövegeivel is. A szövegeket magyarlánc segítségével szótöveztük és szófajilag szűrtük (melléknevek, főnevek maradtak meg), a kulcsszavakat khi-négyzet módszerrel határoztuk meg a scikit-learn segítségével. Az adatokat ezután QGIS-be töltöttük és a program qgis2web bővítményének segítségével generáltuk az online vizut.

Jobban megértik-e és gyorsabban el tudják-e olvasni azt a szöveget, amelyben ki vannak emelve a kulcsszavak a tanulási nehézséggel küzdő gyerekek? – erre a fő kérdésre keresi a választ gyakornokunk, Régeni Anna mesterszakos diplomamunkájában.

Amikor megdől egy hipotézis

Az angol nyelvű szakdolgozat – az elméleti háttér részletes és alapos ismertetése után – egy hosszabb távú projektünk első lépésének eredményeit foglalja össze. Bevalljuk, a kapott eredményeknek pont az ellenkezőjére számítottunk. A kollégáink által végzett kutatások szerint ugyanis a kulcsszókiemelés nem gyorsítja, hanem lassítja az olvasás tempóját, illetve nem hoz látványos javulást a szövegértés tekintetében.

A kulcsszókiemelőnkről

A legnépszerűbb kulcsszókinyerők által kínált megoldásokat figyelembe véve a projektcsapat úgy találta, hogy a legjobb eredmény a TextRank alapú megoldással érhető el. Angol és magyar nyelvű szövegeken kísérletezve kiderült, hogy a leghatékonyabban akkor járunk el, ha különböző típusú és hosszúságú szövegekre különböző központiságot alkalmazunk.

Kiket, hogyan és miért mértünk

A kísérlet 9-10. osztályos diákok olvasási jellemzőit mérte: az olvasással töltött időt, a fókuszálási idejét és számát, az olvasásértést ellenőrző kérdésekre adott válaszok helyességét és reakcióidejét. Összesen 57 diák vállalkozott erre a feladatra, akik közöl 17 került az olvasási nehézséggel küzdők csoportjába és 20 a kontrollcsoportba. A feladat abból állt, hogy három azonos hosszúságú és nehézségű szöveget kellett elolvasniuk, majd szövegenként három kérdésre válaszolniuk. Eközben szemmozgásukat a Tobii 120T eye-scanner rögzítette. Az egyik szöveg semmilyen kiemelést nem tartalmazott, a másikban a kulcsszavak, míg a harmadikban random szavak voltak kiemelve. Az adatok tanulsága szerint a legtöbbet és a leghosszabb ideig a tanulási nehézséggel küzdő diákok fókuszáltak a kulcsszó kiemelést tartalmazó szövegre, míg a legkevesebbet és a legrövidebb ideig a kontroll csoport fókuszált a kiemelést nem tartalmazó szövegre. Ami a szövegértést illeti, mindkét csoport a kiemelést nem tartalmazó szövegekhez kapcsolódó kérdésekre adta a legtöbb helyes választ.

Az esetleges buktatók

A kutatás helytállóságát elismerve ne felejtsük el, hogy az ilyen és ehhez hasonló kísérletek esetén akár már egy tényező módosításával is más eredményt kaphatunk. Jelen esetben a legfőbb problémát az okozza, hogy ma Magyarországon az olvasási nehézségekkel küzdő gyerekeknek csak kis százaléka rendelkezik szakértői véleménnyel. Ahogy a kísérletben szereplő csoport összetétele is tükrözi, ez nem egy homogén terület, azaz az olvasási nehézségeknek különböző fajtái és fokozatai léteznek. Így a kulcsszavak kiemelése más-más hatással lehet a különböző típusokra. Továbbá az a kérdés is felmerül, hogyan befolyásolja a szövegértést az olvasott szöveg és az azzal kapcsolatos kérdések megjelenítése. Változik-e a gyerekek teljesítménye, ha a szöveget és az arra vonatkozó kérdéseket külön-külön látják, és nem térhetnek vissza egyikről a másikra; illetve ha egy képernyőn látják a kulcsszavakat tartalmazó szöveget és az azzal kapcsolatos kérdéseket. Végül nehéz kiszűrni az olyan tényezőket mint a stressz, valamint időarányosan a koncentráció csökkenése.

Hol alkalmazható?

Mint korábban utaltunk rá, Anna szakdolgozata az első mérföldkő egy hosszabb távú kutatásunkban. Célunk ugyanis egy olyan kulcsszókiemelő kifejlesztése, amely nemcsak az olvasási nehézséggel küzdő gyerekek olvasásértését segíti elő, hanem az internetező társadalom információfeldolgozását is megkönnyíti.

Ma a Budapest Data Forumon adunk elő egy gyakorlati projektünről, melynek célja, hogy gyorsabban, minőségibb tezauruszokat tudjunk készíteni szemantikus keresőinkhez. Diák alább.

(Nem illik ide, de egy konnektómos képet már régen szerettem volna elhelyezni a blogon)

Ma az MTA-ELTE- Peripato Összehasonlító Társadalmi Dinamika Kutatócsoport által szervezett Látens jelentések és a szemantikai tér A közéleti-politikai diskurzus empirikus vizsgálata című workshopon veszünk részt.

Izgatottan várjuk, hogy megtudjuk, milyen módszerekkel és eszközökkel dolgoznak a társadalomtudósok amikor tartalomelemzéssel foglalkoznak - ebből mindig sokat szoktunk tanulni. Mi a blogunkon már korábban bemutatott projektjeinkről fogunk beszélni, reméljük hasznára válhatnak valakinek és visszajelzéseket is kapunk. Slideok alább!

Egy korpuszunkon kipróbáltuk az lda2vec algoritmust, mert már nem bírtuk tovább. Jelentjük, nem is olyan rossz az eredmény! Itt meg is lehet nézni!

Christopher E. Moody Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec tanulmányát megjelenése óta imádjuk és párszor már használtuk is az általa implementált változatát. Most egy kicsit belekontárkodtunk a kódba (pl. Chainer helyett mi Keras-t használunk), hogy a tüntetések, és a CEU-ügy kapcsán megjelent cikkeket tartalmazó korpuszunkat elemezhessük.

De miért?

Itt már megírtuk, hogy az LDA két külön topikba pakolta az jobb- és baloldali lapokban ugyanazon témában megjelenő cikkeket. A korpuszon trénelt word2vec modell azonban azt mutatja, hogy az eltérő kifejezések, mint pl. CEU és a Soros-egyetem nagyon hasonló helyet foglalnak el a szemantikai térben. Nem gondoljuk, hogy az LDA rossz, mert a két eltérő narratíva bezavarta. Ellenben arra voltunk kíváncsiak, hogy a word embeddings-re alapozott topik modell képes-e ezen túllépni. Számításunk bejött! Habár még sokat kell pofozni a modellen, de a prototípusra kapott pyldaviz vizu megtekinthető itt.