HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) twitter (15) Twitter (18) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Párhuzamos világok - az online vizsgálódások határai

2013.04.23. 12:00 Szerző: Zoltán Varjú Címkék: modellezés gráf predikció adatelemzés Neticle computational social science Granovetter

A társadalomtudományokkal foglalkozó posztjaink kapcsán (első és második rész) olvasóinkban felmerült pár kérdés, ezekből kettő tipikus levelet kiválasztottunk és két részben igyekszünk megválaszolni a héten. Sarolta nevű levélírónk kérdésével kezdjük:

Mennyire tekinthető valid következtetéseknek azok, amelyekhez online vizsgálatok során jutunk? Például a blogotokon is bemutatott Neticle BUX-indexet vizsgálva egész jó eredményeket hoz, de mennyire tekinthető reprezentatívnak pl a politikai véleményárfolyam indexük? És ha tovább megyek, mennyire tekinthető reprezentatívnak a posztotokban bemutatott arab tavaszt vizsgáló kutatás?

Rövid válaszunk az lenne, hogy jó okunk van azt feltételezni, hogy bizonyos mértékben az online világ leképezi a valóságot. Ezt nem csak azért mondjuk mert emberek kreálják az internetes tartalmakat, hanem mert sokszor figyelhetjük meg, hogy bizonyos jelenségek együtt járnak. Az együttes előfordulás azonban csak közvetett bizonyíték, ezért minden kutatást egészséges szkepticizmussal kell fogadni.

A levélben említett Neticle a webes tartalmak polaritását méri, azaz sentiment elemzést (sentiment analysis) végez. Ehhez a közösségi média bejegyzéseit, újságcikkeket, blogposztokat stb. vizsgál végig automatikusan, melynek az eredménye egy szám, ami kifejezi, hogy az összes bejegyzés alapján mennyire pozitív vagy negatív az interneten megjelenő vélemény egy-egy témában (ami lehet a BUX-indexben szereplő cégek listája, egy étterem, egy politikus, egy cég stb.) Ahogy az alábbi videón is látható, a tőzsdeindex szépen együtt mozog a véleményárfolyammal. Habár nem közöltek korrelációs értéket, az ábrákon látható, hogy az minden bizonnyal magas lehet. De még ekkor is joggal mondhatjuk, a korreláció még nem jelent oksági kapcsolatot (correlation is not causation).


Video streaming by Ustream

A társadalomtudományokban nagyon nehéz erős oksági kapcsolatot találni. A különféle felmérések esetében szoktuk hallani, hogy "reprezentatív mintán" végezték el az adatfelvételt és bizonyos "hibahatáron belül" kell érteni a kapott eredményeket. Internetes kérdőívezés esetén szokás felhívni a figyelmet arra, hogy az internetezők demográfiai adatai jelentősen eltérnek a teljes népesség jellemzőitől (pl. kevés nyugdíjas netezik, talán még kevesebb tölt ki online kérdőíveket is). A tartalomelemzések kapcsán is érdemes figyelembe venni ezeket a tényezőket és óvatosan kezelni a levont következtetéseket.

Ugyanakkor nem mehetünk el a tény mellett, hogy sok esetben a társadalomban megfigyelt jelenségekkel analóg folyamatok figyelhetők meg az online világban is. Idő és hely szűkében három példára, a filter bubble jelenségre, az internetes divat terjedésére és közösségi gráfokra szorítkozunk most.

Blogunkon már többször foglalkoztunk a filter bubble jelenséggel. A közösségi média megjelenésével egyre inkább perszonalizálhatjuk a webet. A Facebook nyomon követi milyen tartalmak érdekelnek minket és azokat sokkal nagyobb valószínűséggel jeleníti meg hírfolyamunkban, a Google "emlékszik" keresési előzményeinkre és azok alapján szolgálja fel nekünk a találatokat. A "plusszolásokkal" és lájkokkal ezt tovább erősítjük és személyes preferenciáinkkal egy olyan burkot alakíthatunk ki magunk körül, melyen nem juthat át egy nekünk nem tetsző vélemény. Eli Pariser szerint ez ahhoz vezet, hogy pl. egy liberális előbb-utóbb nem értesül a konzervatív véleményekről egy-egy ügy kapcsán. 

SchellingSimulation-FIG8.jpg

Thomas Schelling mutatott rá, hogy még akkor is előfordul bizonyos szegregáció a társadalomban, ha amúgy minden polgár az egyenjogúság híve. Ha mindenki véletlenszerűen választ lakhelyet, akkor vegyes képet kapunk (a fenti ábra bal oldala mutatja ezt a helyzetet). Ha véletlenszerűen kiválasztunk néhány lakót és megcseréljük a helyzetüket, már az is ahhoz vezet, hogy homogén szigetek keletkeznek (az ábra jobb oldala mutatja ezt a helyzetet). Ha csak egy kicsit változtatunk a kiindulási feltételeken és csak annyit mondunk, hogy a hasonló lakók a hozzájuk hasonló szomszédokat preferálják egy kicsit jobban, már akkor jelentősen megugrik a szegregáció. Bill Bishop The Big Sort című könyvében mutatja be, hogy az Egyesült Államokban egyfajta politikai szegregáció zajlik le és politikai nézetek szerint egyre homogénebb területek alakulnak ki (l. a bekezdés utáni ábrákat). Ez a folyamat nem csak az Új- hanem az Óvilágra is jellemző (l. pl. a The Economist cikkét az Egyesült Királyságban zajló hasonló folyamatokról).

bigsort01.gif

bigsort02.gif

A közösségi média elemzése során talán a legtöbbet idézett (és a leggyakrabban újra felfedezett) matematikai szociológus Mark Granovetter. Thresold Models of Collective Behavior (A kollektív cselekvés küszöbérték modelljei) című 1978-as tanulmányában arra kereste a választ, hogy mikor ér el egy adott viselkedési forma olyan kritikus tömeget egy közösségben, ami már visszavonhatatlan változásokat generál. Pl. egy tüntetési hullám mikor csaphat át forradalomba? 

granovetter.png


A fenti ábra is szemlélteti, hogy ha minden résztvevőnek más preferenciái vannak, csak akkor csatlakozik, ha bizonyos számú embertől már látja az adott viselkedést. Így először nagyon lassan növekszik a résztvevők száma, majd egy ponton robbanásszerű növekedés következik be, majd ismét lassú növekedés, végül pedig hanyatlás jön. Granovetter modellje remekül alkalmazható a forradalmakon kívüli társadalmi jelenségekre, pl. a divatra, eszmeáramlatokra, de a hírek és pletyka terjedésére is. Az online világban a hírek, rémhírek és mémek terjedésének vizsgálatára szokták alkalmazni a modellt.

A küszöbérték modell az innovációk térnyerésének modellezésére is alkalmas. A The Strenght of Weak Ties (A gyenge kapcsolatok erőssége) című tanulmányában Granovetter arra hívja fel a figyelmet, hogy bizonyos közösségeket elhagyók, akik azután máshol alakítanak ki kapcsolatokat, egyfajta hidat képeznek és segítik a két elkülönülő közösség közötti kapcsolatok kiépítését. Acemogul, Ozdaglar és Yildiz tanulmányában megmutatta, hogy az innováció elterjedésében is komoly szerepe lehet ilyen hidaknak és az eltérő küszöbértékek optimalizálásban is. Hasonló elemzésekre támaszkodott pl. az Obama kampány stábja, amikor adományokat gyűjtött. Ennek során igyekeztek elérni azokat a "hidakat", akik egy-egy alulreprezentált csoportot is megszólíthattak.

Saroltát tehát nem nyugtathatjuk meg teljesen, de annyit mindenképpen elmondhatunk jó okkal gondoljuk úgy, hogy valamennyire érvényes következtetéseket vonhatunk le az online világ elemzéséből.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

https://kereses.blog.hu/api/trackback/id/tr585238818

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása