Megjelent a HVG Extra, Jövő 2.0 kiadványa, benne Jóföldi Endre és Varjú Zoltán (bizony, blogunk szerzői!) cikkével a 48. oldalon!

Külön köszönet Molnár Tünde munkatársunknak aki ráncbaszedte mondatainkat és Marinov Ivánnak a HVG-től, aki elvégezte a végső simításokat. Egy kis ízelítő lent :-)

Minden innováció egyben "kreatív rombolás", hiszen egy új technológia hatására általában sokkal hatékonyabban végezhető el egy adott feladat, a hatékonyság pedig gyakran egyet jelent azzal, hogy kevesebb ember is elvégezheti ugyanazt a munkát. Erik Brynjolfsson és Andrew McAfee Race Against The Machine című könyve remekül mutatja be, hogy a hagyományos fehérgalléros állások is veszélybe kerültek immár a big data előretörése miatt. A Palantir Technologies remek példa arra, hogy miképp alakul át a hagyományos "policy institute" adatvezérelt szervezetté.

Elég egy pillantást vetnünk a Palantir álláshirdetéseire és láthatjuk egyszerre keresnek elemzőket és fejlesztőket. A fejlesztői pozíciók azonban többségben vannak. A hagyományos elemző cégekhez hasonlóan több városban is jelen van a cég (az angolszász világot szépen lefedik már) elemző blogot is visznek, ugyanakkor van külön tech blogjuk is. Ez a furcsa kettősség annak köszönhető, hogy a Palantir egy adatvezérelt cég, célja nem a direkt elemzések készítése, hanem hogy elemzési infrastruktúrát építsen ki ügyfeleinek.

A Palantir két API-t ajánl, Gotham és Metropolis, melyek lefedik az adatelemzés szokásos területeit az online adatok begyűjtésétől a statisztikai elemzésen át az adatvizualizációig. Alapesetben ezeket az API-kat használhatja a mezei ügyfél, de az igazán "nagy halak" azok, akikhez "be kell települni", azaz egy-két elemzőt és fejlesztőt kell kiküldeni szerződött partnerhez, hogy integrálják a Palantir technológiáját meglévő rendszereikhez és személyre szabhassák az elemzéseket.

Hogy mennyire működőképes ez a modell az még a jövő kérdése. A Palantir ügyfelei között vannak kormányzati (állami és önkormányzati igazgatási, védelmi és egészségügyi intézmények) és üzleti szereplők is, továbbá ingyenesen (ill. nagyon kedvezményes áron) kínálják szolgáltatásaikat NGO-knak és a közösségi újságírásnak. A következő évek izgalmasnak ígérkeznek, hiszen várhatóan újabb szereplők jelennek meg a piacon és a hagyományos elemzőcégek is lépni fognak valamit.

A Eli Pariser által jegyzett iskola szerint a perszonalizáció árt a keresésnek, és valljuk be ebben lehet valami. A másik iskola szerint azonban egyre nagyobb teret nyer életünkben a digitális világ, valahogy kezelnünk kell ezt is. A Google egyértelműen a perszonalizáció útjára lépett, s ezt jobb ha kihasználjuk! A Wajam és a gmail results ebben remek segítséget nyújt nekünk, erről szól élménybeszámolóm.

A gmail results aktiválható (és később akár ki is kapcsolható) a Search Experiments oldalon. Engedélyezés után - amennyiben be vagyunk jelentkezve fiókunkba - a keresőmezőbe írt kifejezésekre postaládánkban is keresni kezd a Google, s az eredményeket a találati mező jobb oldalán, elkülönítve jeleníti meg.

A wajam egy böngésző plug-in telepítése után lehetőséget ad arra, hogy a különböző közösségi oldalakon (Facebook, Twitter, G+) is keressünk egy "hagyományos" Google keresés során.

A gmail results-hoz hasonlóan a találati lista bal oldalán jelennek meg a wajam eredményei. Elsőre talán kicsit túl komplikáltnak tűnhet ez a "mindent egyszerre, egy helyen" keresés, de hamar meg lehet szokni. Kifejezetten hasznos látni, hogy egy keresett kifejezés kapcsán milyen levelezést folytattunk és milyen vélemények jelentek meg a közösségi hálókon. A "filter bubble" jelenségét nem is tapasztaltuk, hiszen itt fordítva működik a dolog, nem bezár minket a közösség, hanem a plussz  találatok kiegészítik a személytelen keresési eredményeket. 

Személyes példám talán jobban megvilágítja mire gondolok. Egy projekthez szükségem volt pár tanulmányra, melyeket sehogy se találtam meg a neten, áruk pedig túl borsos volt ahhoz, hogy a szokatlanul rövid absztraktok alapján fizessek értük. A keresés során egyszerre találtam rá pár blogra, mely lesújtó kritikát közölt a tanulmányokról, Twitter feedemben pedig egy vitára, melyből kiderült, hogy mégsem annyira rossz írások ezek, csak éppen szélsőséges reakciókat váltanak ki. Csodák csodájára gmail fiókomban volt két levél, amit egy barátommal váltottam még tavaly, s mindkettő arról szólt, hogy ő olvasta az inkriminált cikkeket, ezért rögtön írhattam is neki, hogy el tudja-e küldeni nekem az anyagokat. Az eset óta sikeresen találtam magamnak jó kávézót idegen városban, szlovák fordítót egy barátomnak és döntöttem el milyen képregényt olvassak hétvégén.

Természetesen mint minden eszköznek, a perszonalizált keresésnek is megvannak a maga korlátai. Híreket már csak elvből sem keresnék így, arra amúgy is ott van a Prismatic ami remekül kerüli ki a filter bubble-t. Tények keresésére, vagy a közösségi "zaj" kiszűrésére egyre többet kezdtem használni a Blekko keresőt, és hozzászoktam ahhoz, hogy bizonyos kontextusokban kilépjek Google fiókomból és úgy keressek.

Az idei Goldenblogon - immár második alkalommal - harmadik helyezést ért el a Kereső Világ. Büszkék vagyunk arra, hogy ilyen erős mezőnyben értük el a dobogó legalsó fokát:

IT-blogok

Rólunk írták:

Balogh Csaba (Tsabeeka) a Kereső világról:

"A Kereső világ már tavaly is dobogós volt, idén is az lett. Azt hiszem, ez elég jól jelzi, hogy a szerzők tudják tartani a színvonalat, folyamatosan érdekes írásokkal jelentkeznek az elsőre igen szűken szakmainak tűnő, de a posztjaik olvasgatása során mégis érthetően bemutatott területről."

A blog szeptemberben lett öt éves, a Goldenblog zsűri döntésénél szebb születésnapi ajándékot nem is kaphattunk volna.

A bluefin labs-hoz hasonlóan a Luminoso is az MIT Media Lab spin-off vállalkozása. A cég a Common Sense Computing Initiative kutatási program eredményeire építve kínál szövegbányászati és szemantikus keresési megoldásokat webes szolgáltatás keretében.

A Common Sense Initiative a mesterséges intelligencia egyik atyjának, Marvin Minsky-nek, az alapötletén alapul, mely szerint ahhoz, hogy igazán intelligens gépeket tudjunk alkotni, először létre kellene hozni az "általános emberi intelligencia" modelljét. Ezzel tkp. a felvilágosodás korától egyre intenzívebben vizsgált józan ész (angolul common sense) formális leírására törekedett a csoport. Minsky szerint a józan ész fogalma nem szorul különösebb magyarázatra Descartes leírása nyomán:

A józan ész az a dolog, amely a legjobban oszlik meg az emberek között, mert mindenki azt hiszi, hogy annyit kapott belőle, hogy még azok sem szoktak maguknak többet kívánni, mint amennyijük van, akiket minden más dologban csak igen nehéz kielégíteni. S nem valószínű, hogy ebben mindenki téved; ez inkább azt bizonyítja, hogy az a képesség, amelynél fogva helyesen ítélünk és az igazat megkülönböztetjük a hamistól - s tulajdonképpen ez az, amit józan értelemnek vagy észnek nevezünk -, természettől fogva egyenlő minden emberben, úgyhogy véleményeink nem azért különböznek, mert egyesek eszesebbek másoknál, hanem azért, mert gondolatainkat különböző utakon vezetjük, s nem ugyanazokat a dolgokat nézzük. (Descartes: Értekezés a módszerről)

A józan ész tehát egy olyan mindennapi tudás, melyet nem tudatosan birtoklunk, de életünk legtriviálisabb helyzeteiben is használjuk. Pl. amikor azt halljuk egy Thaiföldről hazaérkező barátunktól, hogy "Tegnap visszaváltottam a megmaradt kétezer bahtomat hét forintos árfolyamon." ki tudjuk találni, hogy a baht a thai fizetőeszköz neve. Vegyük észre, hogy a legtöbb felnőtt erre anélkül is képes lenne, hogy ismerné a kontextust, amiben elhangzott a mondat. A Common Sense Initiative keretében készített ConceptNet ilyen relációkat gyűjtött össze az évek során egy online felület segítségével. Habár a legtöbb relációt az angol nyelvű felületet használók adták meg, több más nyelven (köztük van a magyar is!) folyt az adatfelvétel.

A ConceptNet legújabb kiadása az összegyűjtött adatokat kiegészítette más szemantikus adatbázisokkal is. A CommonSense Initiative honlapján elérhető az adatbázis egy kellően nagy részhalmaza, ill. Amazon Web Services-en elérhető instance-hez is található link.

A Luminoso tkp. a ConceptNet adatbázisára épít. Egyrészt a cég adatbázisa sokkal nagyobb, mivel tartalmaz nem nyilvános adathalmazokat is. Másrészt a spin-offba került a know-how, a ConceptNet elkészítésében és használatában gyakorlott csapat átvitte magával tapasztalatát.

A Luminoso szolgáltatásai első látásra alapvetően nem különböznek más szövegbányászattal foglalkozó cégek termékeitől; keresést és klasszifikációt kínálnak és természetesen skálázhatóságot, hogy a big data se maradjon ki a listájukról. A mögöttes módszerük azonban teljesen egyedi és meglepően jól alkalmazható a gyakorlatban. A ConceptNet-re építve tkp. azt keresik meg, hogy a beindexelt szövegek hogyan illeszkednek a már meglévő fogalmi hálójukba. Így a szemantikus keresést gyorsan tudják megvalósítani, hiszen a gyakorlattal ellentétben nem először építenek egy területspecifikus ontológiát vagy szótárat, hanem egy előzetes hierarchiát illesztenek a meglévő szövegekhez. A klasszifikációt is hasonlóan oldják meg, aminek előnye, hogy a létrejött csoportok egyértelműen valamilyen jelentéssel bírnak. Még nem érhető el szolgáltatásként, de már dolgoznak a hasonló elveken működő sentiment analysis (érzelmi viszonyulás vagy polaritás mérése) rendszeren is.

A ConceptNet hatalmas sikert aratott szakmai körökben annak ellenére, hogy korántsem divatos elvek mentén alakították ki. A Luminoso remek példája annak, hogy érdemes odafigyelni a fősodoron kívüli eljárásokra és elméletekre is.