HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) twitter (15) Twitter (18) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Ngrammatológia - túl az adatokon

2013.05.29. 08:00 Szerző: Zoltán Varjú Címkék: big data Google Google Ngram Ngram

A Google Ngram Viewer rendkívül népszerű lett elindulása óta. A Google korpusza a Google Books során beszkennelt és karakterfelismeréssel feldolgozott könyvek tartalmára alapozott történeti korpusz több nyelvre. A humán- és társadalomtudományok körében népszerűvé vált az Ngram használata, mivel könnyen tesztelhetünk vele eszmetörténeti trendeket. Külön irányzat is született Cultoromics néven erre. Azonban nem szabad elfelejtenünk, hogy az adatok önmagukban nem sokat mondanak, jelentős háttértudás szükségeltetik értelmezésükhöz.

A LanguageLog mutatott rá három Ngram-ra alapozott tanulmányra. Twenge, Campbell és Gentile Increases in Individualistic Words and Phrases in American Books, 1960–2008 című tanulmánya szerint az utóbbi ötven évben egyre individualistábbá váltak az amerikaiak és ez tükröződik az ezen időszak alatt megjelent könyvek nyelvhasználatában is. Kesebir és Kesebir is hasonló eredményekre jutott melyeket The Cultural Salience of Moral Character and Virtue Declined in Twentieth Century America című tanulmányukban mutatnak be. Kesebirék példái szerint az erénnyel kapcsolatos kifejezések gyakoriságának csökkenése párhuzamba állítható az individualizmus előtérbe kerülésével és az erény hanyatlásával. McWhorter (ismert nyelvész és közíró) mutatott rá arra, hogy ezen tanulmányok nem veszik figyelembe a nyelv változását. Gondoljunk pl. a magyar "derék ember" kifejezésre. Ez ma már régiesnek hat, inkább "tisztességes ember"-t mondanánk helyette, de szlengben akár a "jó arc" is elmegy. Hasonlóképpen az amerikai angolban a "negro" (néger) szó használatát mára szinte teljesen felváltotta az "African American" kifejezés.

ngram02_1.png

Daniel B. Klein Ngrams of the Great Transformations című tanulmányában a Polányi Károly által felvázolt  nagy átalakulás nyomait kutatja az Ngram korpuszban. Klein nagyon helyesen meg is jegyzi, hogy az Ngram grafikonok csupán szemléltető eszközök, nem "tudományos bizonyítékok".  Hogy miért? Egy adott szó jelentése átmehet bizonyos változásokon. Pl. a "Women suffrage" kifejezés eredetileg a női választójogi mozgalmat jelentette, ám napjainkban szélesebb értelemben használjuk és a nők politikai-, gazdasági- és közéleti tevékenységekbe történő egyenjogúságát, egyenlőségét és aktivizálását értjük rajta. Így a kifejezésre kapott ngram értelmezéséhez figyelembe kell vennünk, hogy a választójogi mozgalom a múltszázad tízes és húszas éveiben érte el tetőpontját és első sikereit, majd a hatvanas, hetvenes években indult a második hullám ami kiszélesítette az egyenjogúságot.

ngram01_1.png

Azt sem szabad elfelednünk, hogy a puszta gyakoriság értelmezése sem egyszerű. Az ún. flogiszton-elmélet a 17. és 18. században nagyon népszerű volt az égés magyarázatára míg Lavoisier meg nem cáfolta. A modern kategóriaelmélet megjelenését 1942-re datálják, de maga az elnevezés az 1960-as évekig nem terjedt el. Ugyanakkor a kategóriaelmélet tárgyalása során egészen a 19. században megjelenő algebrai geometriáig szokása visszamenni. Nézzük meg miképp alakul a "phlogiston theory" és a "category theory" kifejezések ngram-ja:

ngram03_1.png

A flogiszton-elmélet fontosabb lenne a kategóriaelméletnél? Fektessünk flogisztonnal foglalkozó startupba? Akik ismerik a filozófiatörténetet tudják, hogy az említésgyakoriság fokozatos emelkedésének oka egyszerű; a tudományfilozófusok egyik kedvenc példájával állunk szembe. A kategóriaelmélet hiába az egyik legfontosabb kutatási terület napjainkban (főbb "felhasználási területei" mint például a matematika alapjai, a kvantumfizika matematikai modellezése, kompozícionális-disztribúciós jelentéselmélet, kvantumszámítógépek, probabilisztikus programozás, bioinformatika tkp. lefedik a leginnovatívabb kutatási irányokat) ennek ellenére nagyon alacsony a frekvenciája.

 

Nagyon érdekes, hogy még olyan kutatók sem fordultak segítségért szakemberekhez, akik jónevű egyetemeken bizonyára találtak volna segítőkész kollégát. Szeretnénk azt hinni, az adatok áradata elsodorja a nagy elméleteket, de ahogy látható, önmagukban az adatok csak szép grafikonokat generálnak és nem tudást. Vigyázzunk, ha adatelemzésre adjuk a fejünket!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

https://kereses.blog.hu/api/trackback/id/tr845318822

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása