HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) facebook (8) Facebook (9) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) Twitter (18) twitter (15) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Graph Databases - ingyenes ekönyv

2013.07.22. 08:00 Szerző: Zoltán Varjú Címkék: gráfadatbázisok neo4j

A Neo Technologies-nak hála, egyszerű regisztráció után ingyenesen letölthető Ian Robinson, Jim Webber és Emil Eifrem Graph Databases című könyve ezen a linken. A cím kicsit félrevezető, mert konkrétan egy adatbázissal, a Neo4j-vel ismerkedhetünk meg a könyv segítségével, viszont egy alapos, az O'Reilly-tól megszokott minőséget kapunk a legjobb ár/érték arány mellett.

cropped-graphdatabases_cover390x5121.png

A kötet egyetlen hibája, hogy a szerzők néha túlságosan is felmagasztalják a gráfelméletet és annak informatikai felhasználását, de csak az utolsó fejezetben említik meg, hogy bizony ezek a gráfok címkézett digráfok/multigráfok (labeled directed graph/labeled directed multigraph).

A kötet végén található függelék (NoSQL Overview) nem-technikai hátterű olvasók számára is érthetően foglalja össze a NoSQL adatbázisok fontosabb jellemzőit és a különböző gráfadatbázisok helyét ebben a gyorsan bővülő és folyamatosan változó világban. Az első négy fejezet (Introduction, Options for Storing Connected Data, Data Modeling with Graphs és Bulding a Graph Database Application) érthetően, egészen életszagú példákkal mutatja be a Neo4j alapjait. Az ötödik fejezet (Graphs in the Real World) célja az lenne, hogy elterjedt felhasználási eseteket (common use cases) mutasson be, amit sajnos csak részben értek el a szerzők. A közösségi média nagyon elcsépelt felhasználási kör, de egyben mindenki ismeri is, ezért telitalálat ezen bemutatni az adatmodellezést és lekérdezést. Viszont sok dologgal csak érintőlegesen tudnak foglalkozni (pl. gráfok az ajánlórendszerekben, földrajzi információk stb.) A hatodik fejezet (Graph Database Internals) a teljesítmény és skálázhatóság mellett a Neo4j core API-val foglalkozik behatóbban és érintőlegesen (a poszt szerzőjének nagy bánatára szinte minden technikai részletet mellőzve) a skálázhatóságra is kitér.

Az utolsó (hetedik) fejezet tér ki a prediktív analitika és a gráfelmélet kapcsolatára. A fejezet színvonala nagyon vegyes. Az első fele kiváló, a breadth-first, Dijkstra és A* algoritmusokat érthetően szemléltetik a szerzők. Ezután viszont kutyafuttában térnek ki a gráfelmélet társadalomtudományi használatára (Granovetter és Easley-Kleinberg nyomán) ami nagyon lerontja a kötet minőségét, hiszen pont arról írnak a szerzők keveset, ami talán legtöbb olvasójukat érdekelheti.

Összességében a kötet remek bevezető a Neo4j használatába, de ennél többet ne várjon tőle senki!

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Trayvon Martin ügy a Twitteren

2013.07.19. 08:00 Szerző: Zoltán Varjú Címkék: Twitter goegráfiai adatok

A floating sheep blog megvizsgálta a Trayvon Martin üggyel kapcsolatos Tweetek geográfiai jellemzőit. A #JusticeForTrayvon és a #NotGuilty hastagek eloszlását vizsgálták, ügyelve arra, hogy a demográfiai különbségeket kiküszöbölve mutassák be a földrajzi jellemzőket. A vizsgálatot bemutató posztban látható, hogy a két hastag külön-külön is érdekes elterjedést mutat. Viszont a #NotGuilty nem jelent olyan szoros kapcsolódást az ügyhöz, mint az áldozat nevét is tartalmazó, ezért lehet, hogy másra is használták. Ebből kifolyólag megvizsgálták a hastagek együttes előfordulását is.

JusticeForTrayvon_or_NotGuilty_1.jpg

A térkép szerint ott a legsarkosabbak a vélemények, ahol vegyes a lakosság összetétele, ami egyrészt nem meglepő, másrészt felveti annak kérdését, hogy tényleg elérkezett-e az Egyesült Államokba a "rasszok-utáni társadalom" (post-racial society) kora.

 

Az ügy hátteréről és arról, milyen szerepet játszott az adatújságírás, annak bemutatásában a Nyelv és Tudományon olvashatnak bővebben látogatóink.

 

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Big data goes to Hollywood

2013.07.18. 08:00 Szerző: Zoltán Varjú Címkék: tartalomipar big data

A Big data betört a tartalomiparba. Ahogyan arról már korábban beszámoltunk, a Netflix sorozatait és egyre inkább a New York Times cikkeit is adatvezérelt elemzésekre alapozva formálják a kreatív szakemberek is. A Wordwide Motion Picture Group a hollywoodi forgatókönyvek elemzésében segít és habár az írók nincsenek oda érte, a pénzügyi döntéshozók egyre gyakrabban fordulnak hozzá.

hollywood_2.PNG

A Wordwide Motion Pictures Group alapítója Vincent Bruzzese statisztikus, aki egyben mozifüggő is. A cég több ezer fókuszcsoportos vizsgálat adatait és még több film és forgatókönyv kritikáit és gazdasági statisztikáit gyűjtötte össze. Erre az adathalmazra alapozva képes elemezni egy forgatókönyvet, hasonlóságot keresve az egyes jelenetek és az adatbázis elemei között. A vizsgálat nem csak a várható nézettséget és bevételt tippeli meg, de javaslatokat tesz a forgatókönyv módosítására is a kedvezőbb eredmények eléréséhez. Egy ilyen elemzés ára kb. 20,000 USD, de a jelek szerint megéri, hiszen a cég folyamatosan növekszik és sorra jelennek meg a konkurens startupok is a piacon.

A forgatókönyvek írói kétkedve fogadták az új technológiát, ami részben érthető is, hiszen erősen az újdonságok ellen hat. Egy hollywoodi blockbuster azonban elsősorban egy üzleti vállalkozás, nem pedig művészi alkotás, ezért érthető, hogy a befektetők az analitikához fordulnak. Akit jobban érdekel mit gondolnak a filmszakmában a Wordwide Motion Pictures Group ténykedéséről és Bruzzese-ről, az feltétlenül olvassa el a New York Times riportját a témáról

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Gráfadatbázisok

2013.07.17. 08:00 Szerző: Zoltán Varjú Címkék: adatbázisok GraphLab GraphChi Neo4j gráfadatbázisok

Napjainkban a legelterjedtebb reprezentációs forma a gráf. A közösségi oldalak baráti/ismerősi viszonyai, a mobiltelefonok közötti kapcsolások, a weboldalak közötti linkek, vagy egy felhasználó preferenciái mind-mind reprezentálhatóak gráfokban. Ez önmagában még nem követelné meg azt, hogy külön gráfadatbázisokat is készítsenek, hiszen egy gráf csúcsokból és élekből áll, ami bármilyen más adatbázisban tárolható mivel két elem közötti relációról van szó. A problémát az jelenti, hogy manapság nagyon nagy lehet egy ilyen adatbázis és általában több szerveren elosztva kell tárolni az adatokat, mindeközben pedig gyorsan és megbízhatóan kell kiszolgálni a ráépülő alkalmazásokat. Posztunkban két gráfadatbázisokat fejlesztő céget  és termékeiket mutatjuk be, a Neo Technology-t és a GraphLab-et.

neo4j.jpg

A Neo4j gráfadatbázis a Neo Technology terméke. Az adatbázis nyílt forráskódú, szabadon felhasználható, a fejlesztő cég a kapcsolódó szolgáltatásokból (tanácsadás, fejlesztés, support) termel bevételt. Legnagyobb előnye, hogy Java nyelven íródott és nagyon jól skálázható. Az adatbázis Cypher lekérdezőnyelve (query language) könnyen elsajátítható és intuitív. Ugyanakkor a Neo4j alapvetően "ipari" szempontok szerint készített adatbázis, kicsit sok "mérnökösködés" szükséges a beüzemeléséhez (ami nem feltétlenül jelenti azt, hogy nehéz telepíteni, ezen inkább azt értjük hogy sokszor az adatelemzésen kívüli szempontokat is figyelembe kell venni a munka során) és nem annyira természetes gyors prototípus készítéséhez használni. Az alábbi videó közérthetően foglalja össze mit is kínál ez a technológia.

A GraphLab kifejlesztői a Carnegie Mellon University híres Department of Machine Learning kutatói. A GraphLab C++-ban íródott, szintén jól skálázható, de ami még fontosabb, a manapság leginkább használt algoritmusok futtatására optimalizált adatbázis. Mivel a szakma nagyon jól fogadta az új eszközt, a megnövekedett igények kiszolgálására céget alapítottak az eszközt létrehozó kutatók, ami az ötletes GraphLab nevet kapta. A Neo4j-vel összevetni kicsit olyan mint amikor almát hasonlítunk a körtéhez. Gyorsaság tekintetében a GraphLab nyeri a versenyt, de ennek az az ára, hogy mélyebben bele kell ásnunk magunkat a dokumentáció bugyraiba az üzemeltetéséhez.

GraphLab-logo.jpg

A GraphLab fejlesztői azonban rendes kutatók és gondoltak kollégáikra. A GraphChi adatbázis segítségével viszonylag nagy mennyiségű adatot (több gigabájt és egy terabájt között) emberi időben (pár perc és úgy egy, másfél óra között) lehet hatékonyan elemezni. Ezt a kutatók nagyon tudják értékelni, hiszen többségük nem szoftverfejlesztő, hanem programozni is tudó tudós. Gyors prototípusok készítésére, ötletek kipróbálására még mindig a desktop, vagy a laptop a legjobb megoldás és ilyenkor általában mai mércével mérve kis adatmennyiséggel szoktunk dolgozni (vagy kevés adatunk van, vagy mintával dolgozunk). A GraphChi előnye, hogy Java verzióban is elérhető, így Java-val, vagy az egyre kedveltebb JVM nyelvekkel könnyen használható. A GraphChi alkotója Aapo Kyrola OSDI előadásában alaposan bemutatta tavaly ezt a kedves kis gráfadatbázist, érdemes megnézni hogyan készült és mit is tud pontosan.

graphlab.jpg

Adatbázisokkal ma már Dunát lehet rekeszteni, de a gráfadatbázisok előtt úgy tűnik nagy jövő áll. Az ipar a Neo4j híve, a kutatásvezérelt vállalkozások és kutatók számára azonban a GraphLab megoldásai lehetnek vonzóbbak. Reméljük az egészséges versenyben csak jobbá válnak ezek a remek adatbázisok.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Megéri keresőmarketingre költeni?

2013.07.16. 08:00 Szerző: Zoltán Varjú Címkék: keresőmarketing keresés Google SEO eBay Yahoo Bing

John Wanamaker, a modern marketing atyja szerint "Half the money I spend on advertising is wasted; the trouble is I don't know which half" (A reklámra költött pénz felét elvesztegetem, a gond az, hogy nem tudom melyik felét). A kereső- és onlinemarketing világában az a benyomásunk támadhat, hogy nagyon is jól nyomon tudjuk követni mire megy el a hirdetők pénze. Azonban nem is olyan könnyű oksági kapcsolatot találni a hirdetések és a fogyasztók viselkedése között.

Lewis, Rao és Reiley a Yahoo! Research kutatói három kísérletet mutatnak be tanulmányukban, melyek eredményei arra utalnak, hogy a keresőmarketing hatását túlbecsüljük általában. A kísérleteket az Amazon Mechanical Turk rendszerén végezték, az önkéntes résztvevők nagyon szerény díjazásban részesültek munkájukért. Az első kísérlet során a résztvevőket két csoportra osztották. Az egyik csoportnak előbb egy Yahoo!-t reklámozó videót, még a másiknak egy semleges közéleti bejátszást kellett megtekintetnie, majd nyomon követték internethasználatukat. A Yahoo! reklámot megtekintő csoport nagyobb arányban használta a Yahoo! keresőjét, de érdekes módon ugyanez volt megfigyelhető a másik csoport esetében is (ahogy a tanulmányból vett alábbi ábra is mutatja - a Treatment csoport látta a hirdetést, a Control pedig a semleges videót).

2013-07-12 14.57.11.png

Ennek okát a kutatók az ún. aktivitási torzulásban (activity bias) látják. Köztudott, hogy az internethasználat időben nem egyenletes, esténként és hétvégén több időt töltenek el az emberek böngészéssel, még bizonyos tartalmakat (pl. híroldalakat) hétköznap reggel keresnek fel inkább. További két kísérletben (az egyikben a böngészési szokásokat, a másikban a "konkurens" vagyis nem hirdetett, de hasonló profilú szolgáltatások felkeresését vizsgálták) is úgy találták, hogy az aktivitási torzulás beleszól az eredményekbe. Ez annyit tesz, hogy mivel időben nem egyenletes az internet használata, nehéz eldönteni, hogy a reklám hatására keresnek-e fel egy adott oldalt a felhasználók. Az aktivitási torzulás miatt ugyanis eleve megnő annak valószínűsége, hogy több látogatója vagy vásárlója lesz egy adott oldalnak.

Hogy eldönthessük milyen tényleges hatása van a keresőmarketingnek, szükségünk van kontrollált, randomizált kísérletekre. Ehhez demográfiailag nagyon hasonló területeket kell találnunk, melyek egy részében nem élünk a keresőmarketing eszközeivel, mint pl. az alábbi ábrán látható, sokak által ismert fizetett keresési eredmények.

paid-search-results_1.jpg

Blake, Nosko és Tadelis (az eBay Research Labs kutatói, ill. Nosko és Tadelis UC Berkeley és University of Chicago kutatója is) tanulmányukban a Google Ads targetális rendszerét használva sikeresen azonosítottak olyan területeket, melyek demográfiai és egyéb szempontok alapján kellőképp hasonlítanak egymásra. Ezeket két csoportba sorolták, az egyikben "kikapcsolták" a cégnevet említő keresésekhez kapcsolt hirdetéseket (pl. az "ebay basketball"  esetén megjelenő fizetett linkeket) míg a másikban minden ment a megszokott módon. Azt tapasztalták, hogy a kikapcsolt hirdetések esetében is megmaradt a forgalom 99.5%-a.

A márkanevet nem említő keresések esetében hasonló módszerrel mutatták ki, hogy a hirdetéseknek nincs sok hatása. Általában az figyelhető meg, hogy a hirdetésekre költött összeg és az elért bevétel között korreláció található. Ezzel ellentétben az eBay kutatói arra jutottak, hogy a marketingköltségek 10%-os növelése a bevételt 0.5%-al növelte. Érdemes megjegyezni ugyanakkor, hogy az eBay-t nem ismerő új felhasználók esetében sokkal hatékonyabb volt a kampány.

Úgy tűnik a keresőmarketing esetében sikerül lassan megfejteni a költségek melyik hányada kidobott pénz. Az eszköz kiválónak tűnik az új felhasználók bevonzására, a "régi motorosok" megfogásához viszont a tartalomra kell koncentrálni és a SEO eszköztárát érdemesebb használni, hogy az organikus találatok között minél jobb helyezést érjen el oldalunk.

(Posztunk a The Economist Free exchange rovatának Ad scientists című cikke alapján íródott.)

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

süti beállítások módosítása