HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) facebook (8) Facebook (9) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) Twitter (18) twitter (15) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Emotikonok a magyar tweetekben

2015.12.10. 10:31 Szerző: jvenczeli Címkék: twitter emotikon Twitter emoji Zipf törvény power-law

A twitteren zajló kommunikációnak fontos kiegészítői az emotikonok, hiszen kevés karakterrel, viszonylag komplex, szavakkal nehezen megragadható jelentéstartalmakat lehet velük közvetíteni. Emiatt fontos szerepük lehet a tweetek automatizált feldolgozásában is, például ha érzelmi töltés szerint szeretnék klasszifikálni az egyes posztokat. De mégis milyen emotikonokat használnak a magyar twitterezők? Mielőtt megválaszolnánk ezt a kérdést, gyorsan tisztázzuk, hogy mi mindenre gondolhatunk, amikor emotikonokról beszélünk!

emoticon.jpg

Az emotikonok (emotion + icon) valamilyen arckifejezés reprezentációi különböző betűkből és más írásjelekből felépítve. A nyugaton elterjedt emotikonok általában kilencven fokban elfordítva értelmezendők - pl :c vagy ;-) - és sok felületen automatikusan kis képekre, “emojik”-ra cserélődnek, amiknek külön unicode karakterek felelnek meg. Az emoji szó egyébként japán eredetű, és csak véletlenül hasonlít az emoticonra, eredetileg kb. “kép-karakter”-t jelent. A legtöbb emoji nem is hordoz különösebb érzelmi töltést.
A keleti online kommunikáció szülöttei a “kaomoji”-k (kb. “arc-karakter”), amik elfordítás nélkül értelmezhetőek és általában sokkal több karakterből állnak, mint a nyugati emotikonok. A kaomojik szemantikai elemzése nem egyszerű feladat, mivel meglehetősen nagy teret engednek a felhasználók kreativitásának, és gyorsan fejlődnek. Egyelőre a nyugati online életben csak kevés honosodott meg, a magyar twitterezők pedig csak elvétve használnak kaomojikat, és akkor is csak egyszerűbbeket. (“⌒◞౪◟⌒”)/♫•*¨*•.¸¸♪

A twitter megjeleníti az emojikat, de egyik emoticont sem változatatja át automatikusan, ezért a felhasználók kedvükre váltogathatnak az emotikon típusok közt. Íme a 30 leggyakoribb emoji és nem-emoji emoticon, ~55000 magyar tweet alapján:

           

* (A számlálásnál azonosnak tekintettem azokat az emotikonokat, amiknek az utolsó karaktere kétszer, vagy annál többször szerepelt. Ezeket jelzi a három pont.)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Nagy korpuszok különös tulajdonsága, hogy a bennük előforduló szavak gyakorisága egy jellegzetes eloszlást követ. Függetlenül attól, hogy milyen nyelvet tekintünk, minden szó összes előfordulása fordítottan arányos azzal, hogy hányadik leggyakoribb a szó a korpuszban. Például a második leggyakoribb szó fele annyiszor fordul elő, mint az első, a tizedik leggyakoribb pedig tized annyiszor. A jelenséget Zipf-törvénynek, vagy Zipf-eloszlásnak nevezzük George Kingsley Zipf után, aki nyelvészként tevékenykedett a huszadik század elején. Zipf úgy vélte, ez a törvényszerűség valamilyen módon az emberi természetből fakad, de talán túlzás ezt feltételezni, mivel azóta számos más, kevésbé humán-spcifikus területen is megfigyelték. Többek között véletlenszerűen generált betűsalátákban.

De mi köze van mindennek az emotikonokhoz? A fenti két táblázatban látszik, hogy az egyes emotikonok gyakorisága ütemesen csökken, ahogy a sorszámok növekednek. Felmerül a kérdés, hogy itt is megfigyelhető-e Zipf-törvénye. A Zipf-eloszlást követő adatok egy log-log skálán jellemezően egy egyenes mentén rendeződenk. Valahogy így:

 

Az ábrákon az látható, hogy adott gyakoriság-oszályba tartozó emotikonok összesen hányszor fordultak elő, osztva az összes emotikon-előfordulással. Bár a pontok nem illeszkednek tökéletesen egy egyenesre, úgy tűnik az emotikonok gyakoriságeloszlása meglehetősen hasonlít a normál szavakéra.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Szövegbányászat, társadalomtudomány, R

2015.12.04. 08:59 Szerző: Kitti Balogh Címkék: szövegbányászat R lda

Ma az Eötvös Loránd Tudományegyetem Társadalomtudományi Karán adunk elő Survey statisztika mesterképzéses hallgatóknak Németh Renáta Adatelemzés c. kurzusán.

Az órán a szövegbányászat elméleti megismerése mellett két gyakorlati példára is sor kerül az általuk is tanult R programozási nyelvben:

  • angol nyelvű Oz könyvek szerzőségének és
  • Orbán Viktor évértékelő beszédeinek szövegelemzésére.

A diákat az elméleti részről itt találjátok.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

1 komment • Kövess Facebookon • Iratkozz fel értesítőre

Népszerűbb a Yahoo! Japánban mint a Google?

2015.11.20. 08:40 Szerző: pannonvisitor Címkék: keresés Yahoo! Yahoo! Japan

A kijelentés, mely szerint a Yahoo! népszerűbb kereső Japánban, mint a Google már nem állja meg a helyét. Sőt, maga a Yahoo! is lecserélte saját keresőrendszerét és a Google keresőjét alkalmazza 2010 óta, hogy megtartsa a felhasználóit. Tehát bátran kimondhatjuk, hogy a Google a legnépszerűbb kereső szolgáltató Japánban. Ám az amerikai és más európai Yahoo! oldalaktól eltérően a japán verzió sok szempontból fejlettebb, sajátosabb, és saját véleményem szerint szerethetőbb.

yahoocojp.bmp



A Yahoo! Japan nagyon erős játékos, és még mindig a legkedveltebb internetportál Japánban, mert okosabban a helyi igényekre van hangolva, és reszponzívabb mint a Google. Például a Yahoo! Japan Maps térképei általában pontosabbak, és könnyebben használhatóak, mint a Google térképei. Az időjárás jelentés oldal és alkalmazás sokkal több és részletesebb információt mutat, mint a Google hasonló szolgáltatása. Ezenkívül elérhetőek általa menetrendek, TV tartalmak, műsorrendek, különböző rendezvények információi, sportoknak szentelt oldalak, stb. Mindez nyomulás nélkül, vagyis úgy, hogy a kéretlen reklám és tartalom száma nulla. Ezt elég kevés szolgáltató mondhatja el magáról.

Példának okáért vegyük a @yahoo.co.jp japán emailfiókját, ahonnét saját profil oldalt és személyre szabott böngészőt lehetett beállítani, ami hasonlóan működik, mint a mostani Google+. A Google+ szolgáltatásai mostanában kezdik utolérni azt a színvonalat, amit a Yahoo! Japan már 2004-ben biztosítani tudott. Tipikus japán jelenség volt, és akkoriban reneszánszát élte az animált és/vagy zenés képeslapküldés, amely ingyenesen hozzáférhető egyenesen az emailfiókból.

A Yahoo! Japan a marketing kampányokban is nagyon erős, ebben nincs versenytársa. A Yahoo! Auction a legnépszerűbb aukciós oldal a japán weben, és a Yahoo! Shopping, és az EC site-tal egyetemben olyan featureket biztosít, amiket a Google nem. Az E-Bay azért nincs jelen Japánban, mivel nem tudtak a Yahoo! Auctions-al versenyezni. Ez valószínűleg annak a ténynek is a következménye, hogy a Softbank, a hatalmas japán tömegkommunikációs cég az egyik fő résztulajdonos a Yahoo! Japan-nál és jelentős beleszólása van a működésébe. A Softbank vezérigazgatója Masayoshi Son gyakran beszél a Yahoo! Japan-ról, mint a Softbank Group egy tagjáról.

A Softbank mostanra a harmadik legnagyobb mobiltelefon szolgáltató Japánban, és gyakran használja a Yahoo! Japan márkanevet, hogy internet-barát benyomást adjon a Softbank termékeknek. Például a korai 2000’es években óriási hírverést csaptak a saját szélessávú Yahoo DSL/fiber internet szolgáltatásuknak, a ’Yahoo! BB’-nek, mely akkoriban a frissen kötött szélessávú szerződések felét tette ki. Ez hatalmas brand kiterjesztés volt. Emellett a Softbank sokáig a saját márkájú feature mobilkészülékét árulta, mely egy ’Y’ gombbal volt ellátva (valódi hardver gombbal), ahonnan a használók azonnal elérhették a Yahoo! Japan-t. Ez ment addig, amíg át nem nyergeltek az iPhone eladásra. Azoknak az embereknek, akik Softbank mobilt használtak az ’Y’ gomb volt az egyetlen lehetőség az internet elérésére, így magától értetődően a Yahoo! Japan-t kezdték el használni.
A böngészőkkel kapcsolatban érdekes helyzet, hogy országonként átszabják a találati listákat, és igyekeznek a helyi tartalmakat előnyben részesíteni A Yahoo! Japan olyan lokalizált változatokat hozott működésbe a szolgáltatásokat, a tulajdonságokat és a keresőket illetően, amelyek elfogultak az adott közönségük (hub) iránt. Ez azt jelenti, hogy a keresés a Yahoo! Ireland, vagy Yahoo! Japan által nem ugyanazokat az eredményeket fogja kiadni ugyanarra a tárgyszóra, mint mondjuk a Yahoo! (Amerika). Még a Yahoo! Canada is egészen eltérő találatokat hoz fel. Aki elég szemfüles és tájékozódni vágyik, a különböző Yahoo! portálokat használva teljesen eltérő tálalású híreket csíphet el.

Ez a lokalizáció teszi lehetővé a Yahoo!-nak, hogy az ’otthonihoz közelibb’ tartalmakat mutasson az Egyesült Királyságban, Írországban, Kanadában, Japánban, Németországban és egyéb helyeken. Ahol az egész kissé zűrös kezd lenni az Kína. 2005-ben a Yahoo! segített a kínai hatóságoknak lenyomozni egy újságírót (Shi Tao), és kiadta az email adatait, akit aztán minden előzmény nélkül bebörtönöztek. Óriási PR botrány kerekedett ebből, mert kiderült hogy korábban aláírtak egy dokumentumot, amelyben elkötelezik magukat a kínai internet iparnak és annak szokásait betartják, ez annyit jelent, hogy  segítenek a cenzúrában és blokkolnak bizonyos oldalakat a kínai felhasználók elől. Mivel a hírt a Speigel hozta le, Németországban a Yahoo! óriási bizalomvesztéssel szembesült. Az hogy később az is napvilágra került, hogy a Yahoo! együttműködik az amerikai PRISM programmal, és gyakorlatilag segít kémkedni, csak tetézte a bajt.

A Google szintén hasonló lokalizációval dolgozott, mint anno a Yahoo!, szervereket telepített különböző országokban, hogy fogyasztó - és közegreleváns tartalmat és keresési eredményeket biztosíthasson. Ezt nagyjából abban az időben hagyta abba, mikor látta, hogy a Yahoo! mekkora bajba került emiatt. Egyébként 2013-ban a Yahoo! leállította a hír és közösségi szolgáltatásait Kínában és 2015-ben el is kezdte leépíteni nem csak a kínai, hanem a többi dél-kelet ázsiai fiókjának létszámát, mondván, hogy inkább az amerikai részleget kívánják erősíteni. A szerencsétlen incidens nagyrészt a Yahoo! Legal hibája volt, és a Google látván a gondjaikat még időben megváltoztatta saját üzleti terveit.

Marissa Mayer, aki 2012 óta vezető a Yahoo!-nál korábban a Google-nál volt vezető beosztásban. Úgy tűnik, a Google inkább abban érdekelt, hogy globálisan uniform keresési eredményeket hozó terméket ajánljon, amely igyekezete igen tiszteletreméltó. Ez az oka annak is, hogy miért mondtak le Kínáról, amely egy masszív piac. A szabad információ biztosításában kompromisszumot kellett volna kötniük, amit a Yahoo hajlandó is volt meglépni annak idején. A történtekből okulva a Google megtette Hong Kongot kínai bázisának, ám az alapos megfigyelő észreveheti, hogy a Google HK keresési eredményei némileg különböznek a sima Google keresési eredményektől. Egy átlagos emberhez Kínában mindezekkel együtt rengeteg információ el sem jut. Egy hazai kínai felhasználó szemével nézve a Google szolgáltatásai csak a Kínai Kommunista Párt sűrűszövésű szűrőjén csurognak át. A csalódás a legenyhébb kifejezés az eredményre. Hiába, bárki legyen a szolgáltató, úgy látszik, a Nagy (Tűz)Fal hatása Hong Kongban is érződik… Japánban a Marshall Tervnek köszönhetően mai napig hatályban vannak a cenzúratörvényeknek bizonyos formái. Az eredmények a .jp keresésekre úgy tűnik tiszteletben tartják ezt.

Akárhogy is, a japánok szeretik azt, ami japános, és a Yahoo! ebből többet ad nekik, mint a Google. Ráadásul a Google egy globális cég, a Yahoo! Japan viszont jobban alkalmazkodott a helyi piaci igényekhez. Bizonyos értelemben a Yahoo! Japan olyan, mint egy kis univerzum a Yahoo! birodalmon belül, és ahelyett, hogy az ismeretlenségbe süllyedtek volna vissza egy erős kezdés után, képesek voltak a dolgokat mozgásban tartani. 

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Szövegvizualizációk a szófelhőkön túl - MOME TechTea diák

2015.11.18. 14:43 Szerző: Zoltán Varjú Címkék: diszlexia politikai blogok tartalomelemzés hálózatelemzés lda techtea szövegvizualizáció

Ma a MOME TechTea vendégei vagyunk Szűcs Krisztinával. A slideokban található hibák intencionálisak!

 

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Topik vizualizáció, lda, nyelvi gráfok és kulcsszókinyerés - conTEXT slideok

2015.11.17. 10:37 Szerző: Zoltán Varjú Címkék: tartalomelemzés gráfok conTEXT LDA TextRank

Ma a conTEXT konferencián kétszer is előadunk, diáinkat itt találjátok.

 

 

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

süti beállítások módosítása