Gondolatolvasásnak (másnéven elmeolvasásnak, azaz mind reading) nevezik a kognitív tudósok és elmefilozófusok azon képességünket, hogy mások viselkedését megfigyelve gondolatokat, cselekvési terveket tulajdonítunk másoknak, melyre alapozva egész jól meg tudjuk jósolni embertársaink viselkedését adott helyzetekben. A Google Now (futtatásához legalább 4.1-es Android szükséges) arra vállalkozik, hogy válaszoljon kérdéseinkre még mielőtt feltennénk azokat, mindezt viselkedésünk tüzetes elemzésére alapozva, ami sok adatvédelmi kérdést vet fel.

A mobil ereje a kontextusban rejlik, hiszen a böngészési és egyéb használati adatokat összeköthetjük geolokációs és időbeli változókkal. Az új, Jelly Bean néven futó, Android mobil operációs rendszer ezt meg is teszi. A felhasználó Google fiókját alaposan feltúrja és a mobil adatokkal kiegészített kontextus alapján figyelmeztet minket, ha találkozónk van, elemzi utazási szokásainkat és segít elkerülni a közlekedési dugókat stb.

A kontextusfüggő információkat ún. kártyákon jeleníti meg nekünk a rendszer. Ezek egy része, mint pl. az időjárás és az idő, ismerős lehet sokak számára.

Az útfigyelés és alternatív útvonalak ajánlása azonban mutatja, hogy a Google igazi nagy testvér módjára eltárolja adatainkat és tisztában van vele merre járunk munkába.

A helyi információkra alapozva még azt is elárulja nekünk telefonunk, hogy késni fogunk a következő találkozónkról.

A kártyák már most lefedik a mindennapok legfontosabb eseményeit. A közúti- és tömegközlekedési információk, találkozók, idő és időjárás mellett, sportrendezvényekről, helyekről, repülőjáratokról kapunk információt és ha külföldre tévedünk akkor a Google Translate segít nekünk a kommunikációban.

Az ember egyszerre csodálkozik és borzad el azon, hogy a kontextus erejére alapozva a technika szinte szó szerint olvassa gondolatait és siet a segítségére miközben a Google lassan jobban ismer minket mint mi saját magunkat.

Alig pár éve terjedt el az újságírásban a "digital first", azaz az online felületet előtérbe helyező szerkesztési irányzat, a print média példányszámainak esésére és az internet penetráció markáns növekedésére adott reakcióként. A technológia világa azonban gyorsan változik, megjelent az új jelszó; "mobile first". Ez már nem csak a tartalomfogyasztókra áhítozó médiavállalatokról szól, hanem a net gyökeres átalakulásáról.

A nemzetközi trendek is azt mutatják, hogy növekszik a mobilinternet lefedettség, a világ egyes részein pedig a desktop PC korszakot kihagyva az okostelefonok jelentik "az internetet". Bonyolítja a helyzetet, hogy a poszt-PC korban egyszerre jelentek meg az ultrabookok, okostelefonok és táblagépek. A napjainkban egyre elterjedtebb adatvezérelt alkalmazásoknak ebben a környezetben kell helytállniuk.

Az adatelemző szoftverek és dashboardok (adatösszesítő táblázatok) a szakemberek számára jó szolgálatot tehetnek egy táblagépen, ahogy a fenti JMP Graph Builder appot bemutató videó is mutatja. De mennyire használható egy ilyen eszköz egy okostelefonon? Az elemző hogyan kommunikálja eredményeit, hogy kollégái vagy az egyszerű felhasználók is megértsék?

A mobilok nyújtotta kontextus kihasználása és összekapcsolása a big data nyújtotta lehetőségekkel korántsem kézenfekvő. A blogunkon korábban már bemutatott Weotta az egyik legjobb példa a lokáció alapú ajánlás megvalósítására.

Zite: Personalized Magazine for iPad from zite.com on Vimeo.

Ma már a híraggregátor alkalmazásokkal Dunát lehet rekeszteni. De még a legjobbak sem tudtak kijönni hatékony mobilalkalmazással. A Zite és a news.me első körben iPad-re készítették el alkalmazásukat, a mobilos vonalon nem tudtak sok újat felmutatni. A legkifinomultabb ilyen alkalmazás, a Prismatic inkább elhalasztotta a mobilos verzió megjelenését, addig amíg valami olyan egyszerű felülettel nem tudnak előrukkolni mint, a Clear app.

A Clear egy egyszerű és jól körülhatárolt területhez - feladatkezelés - talált ötletes felhasználói felületet. Ez a megoldás azonban a régi, jól bevált papíralapú tennivaló listák kezelésétől nem különbözik lényegesen (ezzel nem akarjuk lekicsinyíteni az alapötletet). Az adatvezérelt alkalmazások esetében viszont nem tudunk ilyen analógiákat találni. Hogyan ajánljunk éttermeket egy mobilon, ha képesek vagyunk a netről kibányászni a vendéglátóipari egységeket, helyüket, nyitvatartásukat, jellegüket stb. stb.? Hogyan jelenítsük meg az információt? Hogyan jelenítsük meg a híreket egy híraggregátor csatornán?

Vitathatatlan, hogy a big data rengeteg lehetőséget hordoz magában, a trendek pedig azt mutatják, hogy internetezési szokásaink jelentős változáson mennek át. Az Iron Man, vagy a CSI sorozatok futurusztikus interfészei bizonyára jobban megfelelnének egy adatvezérelt alkalmazás kezeléséhez, de ettől még messze vagyunk. Addig marad a mobil, ami immár egyértelműen az első.

Előző posztunkban az adatújságírásra mutattunk pár példát, most két, olyan egymáshoz kapcsolódó eszközt ismertetünk, melyeket a "hagyományos" tényfeltáró újságírás igényeihez igazítottak.

Két éve a Firefox böngészőt is készítő The Mozilla Foundation és az újságírást támogató Knight Foundation összefogott és útjára indította a Knight-Mozilla OpenNews programot, mely célja hogy ösztöndíj programokkal támogassa a szerkesztőségekben az innovációt. Ehhez kapcsolódik a Knight News Challenge, melyet háromszor írnak ki évente egy-egy az újmédia számára fontos területre koncentrálva. A DocumentCloud és a The Overview Project is ezeknek a támogatásoknak köszönheti az elindulást.

A DocumentCloud az IRE (Investigative Reporters and Editors) non-profit szervezet kezdeményezése. A DocumentCloud egy egyszerű dokumentum kezelési rendszer, ami hasznos lehet mindenki számár, aki nagy mennyiségű dokumentumhalmazt szeretne feldolgozni. Ez a tényfeltáró újságírókkal gyakran megesik. Tipikus felhasználási eset, hogy pl. egy információ kérésre egy hivatal úgy válaszol, hogy irdatlan mennyiségű aktát ad át, rosszabb esetben nyomtatott formátumban. Ezek szkennelése és az ORC (optikai karakterfelismerők) rendszerek esetlegessége miatt sokszor emberi erőforrásokat vesznek igénybe  a szerkesztőségek az ilyen aktahegyek feldolgozásához. Így azonban nehézkes a különböző források összekapcsolása, az emberi feldolgozás pedig gyakran nem elég alapos.

A DocumentCloud felhőalapú szolgáltatásához bárki csatlakozhat, akár ingyenesen is, de előzetes regisztráció szükséges, mely során ellenőrzik, hogy ténylegesen szerkesztőség vagy tényfeltáró újságírással foglalkozó személy kéri-e a fiókot, és ez időt vesz igénybe. Ha már rendelkezünk fiókkal, feltölthetjük dokumentumainkat, de legyünk óvatosak, ha nem privátnak jelöljük adatainkat, akkor az egész világ számára elérhetővé tesszük azokat! A rendszer elboldogul a legtöbb dokumentum formátummal (word, open/libre office, html) de még a szkennelés során keletkező képekkel, ill. a pdf-be ágyazott képekkel is.

A dokumentumokon egyszerű keresést végezhetünk könnyen és viszonylag gyorsan.

A találatokat pedig többféle nézetben is megjeleníthetjük.

Habár a DocumentCloud önmagában is remek szolgálatot tehet nekünk, hátránya hogy a keresésen kívül nem tud sokat. Jonathan Stray az Associated Press és a Knight Foundation támogatásával indította el az Overview Project-et, mely célja hogy a nagy dokumentum halmazokban segítse a felhasználókat eligazodni.

A dokumentumok lehetnek saját gépünkön is, de a DocumentCloud fiókunkon tároltakat is tudjuk a programmal kezelni. A betöltött dokumentumokat a rendszer csoportokba rendezi (klaszterezés). A jobb felső sarokban láthatjuk ezt, ahol minden pont egy dokumentumot reprezentál.

A bal alsó sarokban látható lista az egyes dokumentumokhoz tartozó kulcsszavakat tartalmazza, melyeket egyszerű kulcsszókinyeréssel állapít meg a program.

A képernyő felső részének közepén látható szerkesztővel a kinyert kulcsszavak alapján a kiválasztott dokumentumokhoz kulcsszavakat rendelhetünk. Így gyorsan tudjuk csoportosítani a dokumentumainkat. A bal felső sarokban látható fordított fa ábra tulajdonképpen a csoportosítás eredményét mutatja, de ez a módszer jobban kiemeli az egyes elemek közötti kapcsolatokat.

A DocumentCloud fejlesztései nyílt forráskódú programkönyvtárak formájában elérhetők, így bárki kialakíthat magának hasonló szolgáltatást. Az Overview nyílt forráskódú szoftver, szabadon letölthető és módosítható az igények szerint. Habár egyik rendszer sem forradalmian új, mégis nagyon jelentősek, mert olyan fontos problémákat oldanak meg, melyek túlmutatnak az újságíráson.

Egyre több kereséssel foglalkozó cég fordul az ún. big data, vagyis a nagy adatok begyűjtése és elemzése felé. Blogunkon is egyre többet foglalkozunk olyan szolgáltatásokkal, melyek az adatok körül mozognak. De hogyan is jutottunk el a kereséstől a big data-hoz?

A híres PageRank keresési algoritmus az egyes potenciális találati oldalakat rangsorolja annak tükrében, hogy hány külső link mutat rájuk. Mivel tulajdonképpen az egész Google e köré épül belátható, hogy egész jól működik ez az eljárás. Igen ám, de ahhoz, hogy az egész webre vonatkozóan tudjuk rangsorolni az oldalakat, meg kell vizsgálnunk a közöttük lévő linkeket, amihez be kell gyüjetni minden oldal forráskódját, hogy lássuk ezeket az információkat. Ez önmagában hatalmas adatmennyiség, ami időben változik (egy weboldal általában frissül, bővül, új oldalak születnek nap mint nap stb). Így időről-időre ún. crawlerek, automatikus programok mentik el az oldalak tartalmát.

A begyűjtött adatok mennyisége gyorsan hatalmasra duzzadhat, különösen ha az egész webet figyeljük így. Ebből kell kiszámítanunk, hogy egy keresési kifejezéshez, mely oldalak milyen PageRank értékkel párosíthatóak. Ez rendkívül erőforrásigényes feladat. Sokáig úgy gondolták a szakemberek, hogy speciális hardver szükséges ehhez, de később a hardver árak csökkenésével egyszerűbbé vált nagy tömegben viszonylag olcsó eszközök alkalmazása. A Google 2004-ben fedte fel megoldását híres MapReduce: Simplified Data Processing on Large Clusters című tanulmány publikálásával. Az eljárás lényege, hogy két, jól elkülöníthető feladatként fogalmazzuk meg az adatok feldolgozását. Az első lépésben ugyanazt a feladatot "visszük ki" az elosztott rendszer minden tagjához (map fázis), majd összesítjük az adatokat. Képzeljük el, hogy gyorsan szeretnénk gyöngyöt fűzni egy csapattal. Minden tag megkapja a csomag gyöngyöt. Kérjük meg őket, hogy válasszák ki a kék gyöngyöket, majd csakis a kék gyöngyöket fűzzék rá a damilra, amit körbe adunk. A map fázist a csoport tagjai végzik, a reduce pedig a kiválasztott gyöngyök felfűzése. Az előző feladathoz hasonlóan a gyöngyök színeiről is készíthetünk összesítését. Kérjünk meg minden tagot számolja meg melyik színből hány van a csomagjába, ez a map fázis. Így nem kell minden csomagot külön-külön feldolgoznunk, hanem ha pl a zöld gyöngyök száma érdekel minket csak megkérdezzük kinél hány darab van, pl. 9, 9, 9, 8, 5 és összeadva megkapjuk hogy 40 (reduce fázis).

Miután a Google kutatói közölték tanulmányukat az Apache alapítvány a Yahoo! támogatásával megalkotta a Hadoop keretrendszert, mely egy nyílt forráskódú mapreduce implementáció ami köré egy kis ökoszisztéma alakult ki és egyre több cég nyújt támogatást is. A felhőalapú szolgáltatások terjedésével immár a kedves olvasó is pár perc alatt olcsón felállíthat egy Hadoop klasztert, amivel több gigabájtnyi adatot is elemzhet. Ahogy adatpiac sorozatunkban bemutattuk egyre többféle és egyre nagyobb mennyiségű adat érhető el olcsón vagy akár ingyen is.

Azonban a Hadoop csak egyik oldalát oldja meg a problémának, nevezetesen az adatelemzést. Az adatok beszerzése ellenben külön probléma marad. Vehetünk adatokat, gyakran egy cég működése során is rengeteg adat keletkezik, de sokszor magunknak kell beszerezni az elemezni valót. Ezzel vissza is jutottunk a crawlerekhez.

Az InfoHarvester a WebLib új terméke tkp. irányítottan képes összeszedni és a Hadoop számára elemezhető formában eltárolni a szükséges adatokat. Így rögtön kereshetővé és elemezhetővé is válik az adatbázis.

A big data tehát a keresés egyik speciális problémája, nem csoda, hogy egyre több eredetileg keresőkkel foglalkozó cég fordul a terület felé.

Az utóbbi években sajnálatos módon egyre többször meg kell gondolnunk, hogy mire mennyit költsünk. Ebben sokat segítenek a termékkeresők (a magyar oldalak összehasonlításáról írt posztunkat érdemes elolvasni), de mi van ha nem könyvet vagy elektronikai kütyüt szeretnénk vásárolni, hanem tejet, vagy éppen hajat vágatnánk. Jelentjük erre is megjelentek az első szolgáltatások.

A centzy a szolgáltatásokra koncentrál. Jelenleg három amerikai város (New York, San Francisco és Chicago) főbb szolgáltatásait vethetjük össze (de a poszt írásakor igazából csak a New York-i adatok használhatóak).

Kezelése nagyon egyszerű. Kiválasztjuk milyen szolgáltatást szeretnénk igénybe venni (a példánkban férfi fodrászat), majd a találatokat sorba rendezhetjük ár, távolság és felhasználói kritikák alapján.

Az alapvető szolgáltatásokat egész jól lefedi az alkalmazás és továbbiak is várhatóak még.

A centzy nem csupán felhasználóinak segít spórolni, az árak könnyed összevethetősége a versenyt, s ezáltal a gazdaság hatékonyságát is elősegítheti. Persze nem mai formájában, ehhez még rengeteg további adatra van szükség.

A PriceStats a hagyományos inflációs előrejelzéseket egészíti ki a The Billion Prices Project keretében az e-kereskedelmi oldalakról begyűjtött árakra alapozott statisztikákkal.

Látható, hogy a módszer egész jól jósolja meg a tényleges értékeket. A PriceStats szolgáltatás formájában végez régiókra szóló előrejelzést is pl. a The Economist számára.

Mivel nagyon nehéz mindenre kiterjedően adatokat gyűjteni, még messze vagyunk attól hogy egy app optimalizálja költéseinket, de minél több információ áll rendelkezésünkre, annál jobb helyzetbe kerülnek a vásárlók és az erősödő verseny kordában tarthatja az árakat is.