HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) twitter (15) Twitter (18) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

NLP meetup május 28-án: Viselkedünk a neten

2014.05.12. 08:00 Szerző: Zoltán Varjú Címkék: meetup nlpmeetup Precognox

Nem kell sokat aludni következő meetupunkig! Május 28-án 18:00-tól várjuk az érdeklődőket a budai Colabs-ben! Meg tudhatjuk mit mond a kognitív nyelvészet az internetes trollokról, hogyan segítenek a Jobmonitor keresési adatai a munkanélküliség előrejelzésében és milyen a digitális testbeszéd. A rendezvény továbbra is ingyenes, de kérünk mindenkit, jelezze részvételi szándékát az esemény oldalán

logo9_final.jpg

Az alábbi előadásokkal várunk mindenkit:

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

NLP matiné júniusban

2014.05.07. 08:00 Szerző: Zoltán Varjú Címkék: NLP matiné Precognox NLPmeetup

Júniusban ismét NLP matinét tartunk! Két évvel ezelőtt volt ilyen, ideje hát megismételni! Várjuk cégek, intézmények, kutatóhelyek és érdekes projektek jelentkezését a zoltan.varju(kukac)precognox.com e-mail címre! Az időpont június 25. A rendezvény továbbra is ingyenes, de arra kérünk mindenkit, regisztráljon az esemény oldalán.

logo9_final.jpg

Szeretnénk alkalmat biztosítani arra, hogy a hazai kutatóhelyek, oktatási intézmények és az ipar szereplői kötetlen formában megismerhessék egymást. De ha akad egy érdekes projekted, azt is nyugodtan bemutathatod. Mindenki szigorúan öt percet kap arra, hogy elmondja mivel foglalkozik, milyen együttműködési lehetőségek érdeklik, keres-e új munkatársakat stb. Ez az az esemény, ahová nyugodtan hozhattok magatokkal egy raklapnyi marketing anyagot, névjegyet stb.!!!!! 

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Bízzunk a gépekben?

2014.05.06. 08:00 Szerző: Zoltán Varjú Címkék: tudományfilozófia gépi tanulás big data Popper falszifikáció

Életünk egyre több területén döntenek a gépek. Algoritmusok, gépi tanulási módszerek hoznak gyors döntéseket, melyek kihatnak életünkre. Kapunk-e hitelt, mennyi biztosítási díjat fizetünk, van-e kóros elváltozás egy szövetmintában, milyen filmeket ajánl nekünk kedvenc on-demand szolgáltatónk? Lassan megemésztjük, hogy a statisztikai módszer nem jár százszázalékos eredménnyel, de legalább amit csinál egy gép, azt csinálja akkor jól és konzisztensen. A gépek hatással vannak ránk, jó lenne tudni bízhatunk-e bennük...

coloring-9.gif

Az ún. négyszín-tétel a Wikipedia szerint "azt állítja, hogy egy tetszőleges régiókra osztott síkot, akár egy politikai térképet egy ország megyéiről, ki lehet úgy színezni legfeljebb négy szín felhasználásával, hogy ne legyen két azonos színű szomszédos régió." Amennyire egyszerűnek tűnik a kérdés, annyira nehéz volt bizonyítani! Appel és Haken bizonyítása alaposan felkavarta az elméleti matematika világát, mivel számítógépek végezték a munka jelentős részét. Sőt a bizonyítás korrektségének ellenőrzéséhez is számítógép szükségeltetik, amiért a matematika filozófiájával foglalkozók közül sokan nem is tekintik igazán bizonyítottnak a tételt, mások szerint ezzel a lépéssel a matematika elmozdult a természettudományok irányába (l. bővebben Tymoczko remek tanulmányát). A lényeg, hogy a bizonyítás majdnem 1500 konfigurációt vizsgál meg, hogy induktív módon "megmutassa" minden esetben elegendő a négy szín a térkép színezéséhez.

images (1).jpg

A gépi tanulás során általában az adatok alapján az algoritmus létrehoz egy absztrakciót, mely segítségével generalizálhat más, még nem látott esetekre. Ahogyan a négyszín-tétel bizonyítása sem fogható fel emberi ésszel, a gépi tanulás lépései is követhetetlenek egy ember számára. Egyik esetben sem arról van szó, hogy nem érthetőek! Formálisan definiált lépésekről van szó, a dolog "logikáját" értjük, csak nem tudjuk mi magunk elvégezni a szükséges lépéseket (különösen nem nagy számban, egymás után, gyorsan). Ahhoz, hogy meggyőződjünk arról, hogy ezen algoritmusok jól működnek, egyrészt formális bizonyítások szükségeltetnek (általában gépi úton végzik ezt is) illetve alaposan tesztelni kell a rendszereket.

Karl-Popper-Quotes-1.jpg

A tesztelés tkp. a tudományos módszer alkalmazása a fejlesztésben. Karl Popper tette népszerűvé a falszifikáció fogalmát, ami annyit tesz, hogy egy rendes elmélet megadja cáfolhatóságának kritériumait. Egy rendes fejlesztés során nem csak arra ügyelnek, hogy mit kell tudnia egy szoftvernek, meg kell próbálni megcáfolni a működését is. A gépekben is csak annyira bízhatunk, mint a tudományban! Azonban manapság a tudománynál nincs jobban működő, transzparens, saját hibáinak kijavítását szem előtt tartó dolog a világon! A gépek hibázni fognak, kételkedni kell bennünk, ellenben tanulnak hibáikból és fejlődnek!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Nincs rossz reklám...

2014.05.05. 08:00 Szerző: Zoltán Varjú Címkék: pollyanna szentimentelemzés Neticel

... csak beszéljenek rólad. Hihetetlennek hangzik, de talán van benne valami. A több csirip, több szavazat elv sokakat megdöbbentett és próbáltak magyarázatot találni arra, hogy amikor működik, akkor miért is működik. Az eddigi legjobb ötlet a pollyanna hipotézis volt, miszerint a pozitív érzelmi töltetű szavak gyakorisága magasabb, ezért a magasabb említésgyakorisággal együtt kell, hogy járjon a pozitív polaritás is. A Neticle a választások előtt vizsgálta a magyar webet és meglepő eredményre jutott: a több csirip elv nagyon jól működik, de nincs mögötte a pollyanna jelenség!

Neticle01.PNG

Ahogy a fenti ábrán is látható, az említésgyakoriság sokkal jobban közelíti a tényleges választási eredményeket. Persze a pozitív említések aránya se kutya, de nézzük a következő ábrát!

Neticle02.PNG

Ez az ábra a közvéleménykutatók és a Neticle említésgyakoriságon ill. pozitív említéseken alapuló eredményeinek a tényleges választási arányoktól való eltérését mutatja. Látható, hogy a puszta említésgyakoriság közelíti a legjobban  a valós számokat, a pozitív említések ellenben rosszul muzsikáltak!

 

Látható, maga a more tweets, more votes elv a magyar adatok tükrében megerősítést nyert. Az is igaz, hogy a legmagasabb említést elérő polaritása a leginkább pozitívabb, ellenben a szentiment megoszlása eltér az említésekétől (l. a Kormányváltás és a Jobbik adatait!). A legkézenfekvőbb magyarázat az ún. puszta kitettség (mere exposure) effektus lehet, azaz a magasabb említésgyakoriság ismertebbé, s ezáltal pozitívabbá teszi a szereplőket, de csak bizonyos említésszám felett. Persze ez csak spekuláció a részünkről, kommentben nyugodtan lehet tippeket adni a jelenség magyarázatára!

 

(Köszönjük Szekeres Péternek, a Neticle vezető kutatójának az ábrákat!)

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

5 komment • Kövess Facebookon • Iratkozz fel értesítőre

Nyelvészet mindenkinek 2.

2014.05.03. 18:40 Szerző: Zoltán Varjú Címkék: nyelvészet könyvajánló nyelvtechnológia

Emily M. Bender könyvét bemutató posztunk kapcsán sokan panaszkodtak, hogy a kötet nem éppen könnyen hozzáférhető az átlag magyar közönség számára. Nem kell elkeseredni, van olyan magyar könyv is a piacon, ami minden jobb könyvtárban megtalálható és még a nyelvészet alapjait is megismerheti belőle a kedves olvasó! Szilágyi N. Sándor Világunk, a nyelv c. könyvét ajánljuk Bender könyve helyett/mellett mindenkinek!

világunk.JPG

A kötet józan paraszti észnél nem igényel többet. Alapvetően nem tesz mást, mint szépen végigvezeti az olvasót a hagyományos nyelvészeti témákon (de nem a bevett sorrendben, a hangtantól a jelentéstanig, hanem egy kicsit kalandozva). Nem törekszik olyan formalizmusra, mint Bender, de ez inkább előnye, mint hátránya. Mivel rövid és olvasmányos, hamar el is lehet olvasni és ha mást nem, annyit mindenképpen tanul az ember belőle, hogy a nyelv csodálatos dolog és bizony nem egyszerű megfejteni. Ezzel nem árt tisztában lenni a nyelvtechnológiában is! A szemlélet sokat segíthet a további szakirodalom befogadásában és a felmerülő problémák értelmezése során is - ami pár óra olvasgatást igazán megér. Hajrá!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

süti beállítások módosítása