[...] data is the next Intel Inside (Tim O'Reilly)

Sorozatunk előző részében bemutattuk a többé-kevésbé nyers adatokat kínáló DataMarket-et és az "anyacég"- az Infochimps - felhőszolgáltatásban kínált adatelemzési megoldásait. Mivel nem mindenki szeret maga bajlódni az adatok feldolgozásával, tisztításával és tárolásával, megjelentek az adatokat API-n (application programming interface, alkalmazás programozási interfész) keresztül rendszerezett formában elérhetővé tévő vállalkozások is a piacon. Most a legnagyobb és legérettebb játékost, a Factual-t, valamint a legígéretesebb feltörekvőt az Uberlic-et mutatjuk be.

Szinte mindegy mivel foglalkozik egy honlap, nem árt ha "van adat mögötte". Egy KKV pl. alap esetben feltünteti elérhetőségét a céges honlapon, ami postacím, telefonszám, e-mail cím minimum. Ha indítunk egy a városunk kávézóit értékelő honlapot valahogy össze kell szedni melyik kávézó hol van, mikor van nyitva, milyen különlegességeket árul (illetve további érdekes adatokkal dobhatjuk fel az oldalt). Könnyen belátható hogy egy e-kereskedelmi oldal is sokat profitálhat, ha sikerül termékeiről további információkat gyűjtenie, de akár önálló szolgáltatások is alapozhatók bizonyos adatokra. Sokaknak van szüksége jó minőségű, könnyen használható adatokra, azonban ezek összegyűjtése és kezelése (data curation, adat gondozás) időigényes, összetett és nagyon drága dolog.

A Factual mögött a Google AdSense hirdetési platformját eredetileg kifejlesztő Applied Semantics ötletgazdája Gil Elbaz áll. Sokan próbáltak/próbálnak benyomulni az adatszolgáltatási piacra, de igazából eddig senkinek sem sikerült ez a Factual kivételével. Sikerük egyik titka, hogy olyan zseniális kutatókkal dolgoznak mint Tim Chklovski, illetve a kínai irodájukban található olcsón, de jól dolgozó magasan kvalifikált mérnökök hada. A hatékony működés lehetővé teszi, hogy külön figyelmet fordítsanak az egyes adathalmazok gondozására (data curation), ehhez nagy számban alkalmaznak ezen a téren járatos korpusznyelvészeket.

Az adathalmazok többsége ingyenesen elérhető. Az API felhasználóbarát, minimális webfejlesztési háttérismerettel (html és JavasScript) és egy kis gyakorlással bárki képes használni. Habár a cég nagyon sikeresen szervezett egy fejlesztői közösséget, új utakat is keres. Egyes adathalmazok szabadon letölthetőek, az igazán hasznosak és érdekesek pedig fizetség ellenében. Habár elindult a találgatás, hogy lehet mégsem jó üzleti modellt követett eddig a cég, a hivatalos közlemények szolgáltatásbővítésről szólnak és semmi nem utal arra hogy ezt megkérdőjelezzük.

Az Uberlic még csupán teszt üzemben működik és nem sokat tudunk róla, de máris a Factual ígéretes konkurenciájaként tartják számon. A berlini startup jelmondata - "One API to Link Them All" - jelzi hogy teljesen más oldaláról közelíti meg a problémát. Mivel a sok-sok adat valahol úgyis összegyűlik és előbb-utóbb valaki elérhetővé teszi "fogyasztható" formában, az Uberlic nem tesz mást mint ezeket összekapcsolja, így a felhasználónak nem kell külön-külön bajlódnia az egyes API-okkal, a cég pedig eltekinthet az adatgondozás terhétől.

Az Uberlic legnagyobb ígérete az, hogy az API-k összekapcsolása nem csak adatforrásokat jelent, hanem ügyesen építkezve megkereshetjük a számunkra ideális adatforrást, feldolgozhatjuk hogy kinyerjük belőle a kívánt információt, végül pedig ezt akár szépen meg is jeleníthetjük. Mindezt pedig úgy hogy saját eszközeinket minimálisan vesszük igénybe.

Van egy kis földünk. Szeretnénk ültetni valami növényt, mert szeretjük a zöldet, azonban pesti DJ-k vagyunk. A barátnőnk anyjától meg tudjuk kérdezni, hogy az adott növényeket, hogy kell ültetni, metszeni stb. ezzel nincs is probléma. A probléma az, hogy a növényeknek igényeik vannak, a területeknek pedig adottságaik.

A földterületünk adott és ki kellene választani hozzá a megfelelő növényt. Ehhez adatokra van szükségünk. Adatokat kell gyűjtenünk a térség éghajlatáról, és egy ehhez passzoló növényt kell ültetnünk.

Ahhoz, hogy jó döntéseket hozzunk, hosszútávon jó stratégiát alakítsunk ki, a lehető legtöbb jó minőségű adatra van szükségünk.  A továbbiakban két olyan szolgáltatást mutatunk be melyek segítenek könnyen megtalálni és elemezni a számunkra szükséges információt.

DataMarket

Először is nézzük a Datamarketet. Ha még nem regisztrált a látogató a "Sign up for free for full excess"-re kattintva pár másodperc alatt megteheti. Így három plusz szolgáltatás válik elérhetővé: a táblázatokat letölthetjük CSV (comma separated values, azaz vesszővel elválasztott értékek) formátumban, egyetlen kattintással megoszthatjuk pl. a kedvenc statisztikáinkat Facebookon, illetve beágyazhatjuk a számunkra érdekes grafikonokat a weboldalunkba. Azok akik ki szeretnék próbálni a többletszolgáltatásokat (pl. az Excel táblába exportálható adatokat), 30 napig ingyenesen megtehetik.

Nekünk különösen a CSV formátumba exportálás tetszett a Peat End-Use Statistics adathalmazon próbáltuk ki.

1. Baloldalt kipipálgatjuk azokat az adatokat, amikre kiváncsiak vagyunk.
2. Rákattintunk a "Visualize" gombra.
3. A grafikon alatt az Export gomb megnyomása után kiválasztjuk a kívánt szeparátort "pontos-" vagy "sima" vessző
4.  Ezek után saját gépünkön dolgozhatunk az adatokkkal a nekünk kedves alkalmazással (pl. R, SPSS vagy Excel).

A további ingyenes szolgáltatások igénybevétele is hasonlóan egyszerű, az ábrák alatt lévő menüpontok segítségével egy két kattintással elérhetők. A fizetős szolgáltatásokért havi 59 dollárt kell fizetnünk.Ezért cserébe pl. PDF és PNG exportálási lehetőséget kapunk, és személyreszabhatjuk a Datamarket szolgáltatásunkat.

A Datamarket alapvetően egy hatalmas adatbánya, de az adatok kitermeléséhez csak egy csákányt meg egy sisakot ad. Azoknak  tökéletes, akik vagy nem kívánnak nagytömegű adattal dolgozni és megelégednek belépőszintű szolgáltatásokkal vagy járatosak az adatok menedzselésében. Mindemelett,  egyetemista hallgatók számára tökéletes játszótér: hasznos lehet az oldal, azok számára, akik érdekes statisztikákra kíváncsiak, vagy munkáikba/dolgozataikba kulturált megjelenésű grafikonokat szeretnének beszúrni. Továbbá az Excel és CSV formátumok exportálása révén lehetőség nyílik gyakorolni a fentebb említett R-t és más statisztikai programokat.

Infochimps

Az InfoChimps a DataMarket mögött álló cég. 2009 szeptemberi indulása óta 200 támogatót (többek között Twittert, Foursquare-t) és több, mint 10.000 ügyfelet szerzett magának a cég.

Amikor anno feltűntek az online office alkalmazások furcsamód nem lehetett találkozni online adatbázis kezelővel. Még a Google Apps szolgáltatásban se szerepel "GoogleAccess" vagy "GoogleDat". A Factual és az Infochimps tulajdonképpen ebbe a piaci résbe nyomult be gőzerővel. Az Infochimps esetében egy olyan platformról van szó, ami mindenki számára elérhetővé teszi azokat az eszközöket, amiket a cég a Datamarketen lévő adatok feldolgozásához használ. Fentebb a Datamarket szolgáltatásait a csákányhoz és sisakhoz hasonlítottam. Ha maradunk a hasonlatnál, akkor az Infochimps platformja kb. egy részecskegyorsító. A springsense Map/reduce rendszerével, a Runa Hadoop szolgáltatásval és elég komoly technológiai fegyvertárral felvértezve, az adatbázis menedzsment szolgáltatáson kívül az Infochimps segít az adatok hatékony elemzésében és szállításában. Az utóbbihoz az Apache Flume-ot és a sajátfejlesztésű Data Delivery Service-t használja. 

Ahhoz, hogy megértsük a Linked Tv törekvéseit, előbb meg kell ismerkednünk a szemantikus webbel illetve a Smart TV-vel. Dióhéjban a szemantikus webről  című posztunkban összefoglaltuk a technológia alapjait, javasoljuk hogy a jobb megértés érdekében az olvasó ismerkedjen meg az említett cikkel, most csak a meghatározást idézzük onnét:

A szemantikus web alapötlete egyszerű; a weboldalak ne csak az emberileg olvasható érthető információt tartalmazzák, hanem hogy ezt elérhetővé tegyék szabványos, gépileg érthető formában is. A honlapok felépítése egyszerű, egyrészt nem árt ha van mit olvasni egy oldalon,  ezt pedig a böngésző számára értelmezhető formába kell "becsomagolni" ami a html szabvány dolga,  amit kiegészít a külcsínyért felelős CSS és az interakcióért felelős JavaScript. Ehhez jön még hozzá az átlag felhasználó számára gyakran láthatatlan háttérben futó adatbázis és egyéb szerveroldali eszközök. Berners-Lee a tartalom és a forma (html) mellé kívánatosnak tartaná a jelentés (szemantika) beágyazását is az oldalakban - innét ered az elnevezés.

Smart TV-től a Linked TV-ig

Már ma is egyre több internet csatlakozási képességgel rendelkező Smart Tv van forgalomban. A probléma az, hogy a TV-s alkalmazások nagy része az OTT video streaming-re (különféle játékkonzolokon elterjedt video csatlakoztatási szabvány) illetve a televíziós élményen kívüli webes tartalmakra koncentrál. A Samsung jelentése szerint a saját platformjaira letöltött 5 millió app, 23%-a oktatási és 20%-a informatív jellegű. Ez kicsit furcsa, mivel a hagyományos műsorok is betöltenek hasonló funkciókat. Egy másik, a Yahoo által támogatott felmérés szerint a megkérdezettek 86%-a kapcsolódik mobil internethez TV nézés közben. Olyan alkalmazásokat használnak, mint pl. a TV műsorokhoz kapcsolódó IntoNow és Shazam, melyek a tévé műsor hangsávját használják arra, hogy felismerjék a műsort és releváns tartalmakat szolgáltassanak a felhasználónak.
 

A mai Connected TV/Smart TV eszközök képesek egyaránt internetes és TV-s tartalmak kezelésére, a TV-s alkalmazások viszont nem integrálják hatékonyan a webes megoldásokat. A Linked TV-nek épp az a célja. Egy jó példa, arra hogy milyen potenciál is rejlik ebben a területben, a Social TV: Televíziózás közben Facebook vagy Twitter alapú beszélgetést lehet folytatni. Itt megszűnik a határ a TV és a Web között és egy új média élmény jön létre.

A DuckDuckGo egy több szempontból is különleges keresőmotor: egyrészt már a neve is elég jó, másrészt egyetlen ember fejlesztette és indította útjára 2008-ban, aki nem más mint Gabriel Weinberg. A Search Engine Land cikke alapján bemutatjuk röviden a DuckDuckGo-t, majd a  http://donttrack.us/ és http://dontbubble.us/ oldalak , illetve Eli Pariser Ted előadásán keresztül ismertjük a Filter Bubble effektust. 

Weinberg alapötlete egy olyan keresőmotor volt, ami a Wikipedián és a Delicious adatbázisán keres, keresési eredményként felhasználva mindkét szolgáltató jó minőségű linkjeit. A DuckDuckGo saját kereső algoritmust használ, ami DuckDuckBot névre hallgat. Több, mint száz crowd-sourced oldal adataival dolgozik pl.: Yahoo! BOSS, WolframAlfa, EntireWeb, Bing stb. Így gyakorlatilag egy hibridmetakeresővel (hybrid metasearch engine) állunk szemben –hibrid, mert miközben számos adatforrást alkalmaz, egy utó feldolgozást is futtat. Így kiszűri a „haszontalan” oldalakat például, amiken nincs semmi csak reklámok stb. A többi metakeresővel szemben, nem csak a felhasznált oldalak eredményeit adja ki, hanem megpróbálja a források legjobb találatait kidobni. Mind emelett, Weinberg állítása szerint, jelenleg több, mint 70 millió oldal szerepel a DuckDuckGo spam list-jében.

Weinberg megszállottja a felhasználói adatok védelmének. Így nem meglepő, hogy több hatásos eszközt is beépített a motorba, melyek segítségével személyes keresésünk (illetve személyazonosságunk) anonim marad.

A kacsa 2008-ban indult útjára, de csak ez év elején kezdett igazán agresszív marketingbe Weinberg  és indította útjára  Google ellenes kampányát "Google tracks you. We don't."(A Google követ. Mi nem.) szlogennel. Szükséges ismertetnünk a továbbiakban a guglit, mint nagy testvért, illetve a Filter Bubble effektust, hogy rávilágítsunk mi ellen is harcol valójában a DuckDuckGo.

Nagy testvér

Ma már köztudott, hogy a Google és más keresőmotorok számtalan adatot tárolnak rólunk. Például ezen az oldalon http://donttrack.us/ véleményünk szerint nagyon egyszerűen és érthetően képet kaphatunk miről is van szó. Röviden:

1. Beírjuk a gugliba, hogy herpesz.
2. A gugli kiad egy csomó oldalt.
3. Rákattintunk egy oldalra.
4. Ekkor a keresőbe beírt szót, illetve a böngészőnkkel és számítógépünkkel kapcsolatos információkat elküldi a gugli az oldalnak, amire rákattintottunk.
5. Így akár egyedileg is azonosíthat minket az oldal.
6. Ezeken az oldalakon általában reklámoznak más oldalak is, és ezek profilt gyártanak rólunk.
7. Ezért van az, hogy ha sokszor érdeklődünk herpesz kenőcsök után nem hagynak minket békén a herpesszel kapcsolatos gugli reklámok.

Úgy gondoljuk már ez is elegendő ahhoz, hogy jogosan le nagytestvérezze valaki a Google-t, de van egy másik jelenség, ami nem ilyen vicces és sokkal messzebbre vezet. Ez a jelenség a fentebb említett Filter Bubble. 

Filter Bubble

A "szűrőbuborék"-ról bővebb információkat kaphatunk a http://dontbubble.us/ oldalon, illetve Eli Pariser "Beaware online filter bubbles" c. előadásából. Az utóbbin végig megyünk vázlatosan, de mindenkinek ajánljuk, hogy nézze meg a videót:

1. Pariser első példája a Facebookról szól. Ő liberális politikai beállítottságú és egy idő után nem látta a konzervatív barátainak a posztjait. Ez azért történt mert többet kattintott a liberális barátai linkjeire, mint a konzervatívokéra.
   
   
2. A második példája a Google-ról szól. Azt állítja, hogy ha adott időpillanatban többen rákeresnek egy adott szóra, nem feltétlenül ugyanazokat a találatokat adja mindenkinek a keresőmotor. Ennek hasonló az oka, mint a Facebooknál. A Google számtalan adatot dolgoz fel amikor keresünk pl. a számítógéppel kapcsolatban, a böngészővel kapcsolatban stb. Pariser a következő következtetést vonja le: "Nincs többé standard google". Ezt két barátján Scotton és Danielen keresztül mutatja be. Mindketten beírták a Google-be, hogy Egypt (Egyiptom). Danielnek az első oldalon egyetlen találata se jelent meg az egyiptomi tüntetésekkel kapcsolatban, ezzel szemben Scott szinte csak ilyen eredményeket kapott.
   
   
3. Megemlíti, hogy a világ legnagyobb hírportáljai is dolgoznak a "personalisation", személyre szabás eszközével.

Mindennek a következménye a Filter Bubble. Maga a buborék az, amiben van a felhasználó. Nem lát ki, nem látja mit szűr meg az "internet". Csak azokat az információkat látjuk, amikre az algoritmusok szerint szükségünk van, amit az internet úgy gondol, hogy számunkra érdekes lehet. A probléma az, hogy nem tud a felhasználó dönteni arról, hogy mi kerüljön a buborékjába, az "internetes viselkedése/magatartása" fogja meghatározni.  Ezzel az a probléma, hogy az ember gyakrabban olvas baromságokról, mint analitikus filozófiáról.

Pariser a zöldség és édesség szembenállását hozza analógiaként. Kicsit átírom a metaforáját: Ha úgy működne a Tesco, mint a Google, akkor, ha én lépnék be a a szupermarket ajtaján gyakorlatilag csak sushi lenne a polcokon, és nem igazán jutnék gyümölcshöz. Az édesapámra szabott Tescoban pedig különböző fajta csokoládék lennének még a tejes pultokban is. Az én Tescom kicsit egészségesebb alternatíva, de nem kellene, hogy apám kisgyerekes ízlésére még a Tesco is rátegyen egy lapáttal. Nem jó, ha a Google dönti el mire van szükségünk, mert az ízlésünk nem biztos, hogy tükrözi valódi igényeinket. így értelmeztük Pariser álláspontját.

Vissza a Kacsához

A DuckDuckGo a fentebb említett „personalisation” eszközével nem él, tehát nem fogja édesség irányba eltolni a keresésünket, kapunk majd zöldséget is. Ezen felül több eszközt is használ a keresők személyiségi jogának megvédésére. Még a cikk elején említettük a „Google tracks you. We don’t.” szlogent. Ezalatt a herpeszes példában leírtakat kell érteni (a gugli használata során adatok kerülnek a keresőről a megkeresett oldalakhoz). A két legfontosabb törekvése a DuckDuckGo-nak tehát:
Nem ad ki adatokat a keresőkről.
Nem tárolja a keresési előzményeinket.

Mi személy szerint nem akarunk kifejezetten vészmadárkodni a Google-el kapcsolatban, de abszolút értékeljük a DuckDuckGo hozzáállását. Csak, hogy egy szimpatikus dolgot emlitsünk: ezen az oldalon mindenki megtekintheti a keresőmotor forgalmának alakulását

Tetszett nekünk a kacsás logo, jó poénnak tartjuk az „I’m feeling ducky” módot (próbáljátok ki).  Sok cikket olvastunk a DuckDuckGo- ról és a legtöbb vélemény szerint jó alternatívája lehet a Google-nek és ez nem kis teljesítmény.

A média keresi helyét a web n.0 korában. Se veled, se nélküled viszonyban van a közösségi médiával, egyszerre kell megküzdenie azzal, hogy olvasói Facebook és Twitter hírfolyamokon keresztül jutnak el a tartalmakhoz, melyektől megkövetelik az ingyenességet miközben ezen csatornák hirdetési felületeit nem ők tartják kezükben. Ennek a folyamatnak nem csak a kiadóvállalatok isszák meg a levét, hiszen az aki a saját kis közösségének híreiből tájékozódik sosem ütközik ellentétes véleményekbe...

Felkapott témák keresése című posztunkban  korábban már bemutattunk olyan alkalmazásokat, melyek segítik emészthetőbbé tenni a hírfolyamokon talált tartalmakat. A Prismatic és a Wavii nem kevesebbre vállalkozik mint hogy teljesen átalakítsa a média világát.

A Wavii szupertitkos béta verzióban érhető el momentán, aki nem került be a kiválasztott kevesek táborába az egy közösségi médiában rendezett pilótajáték keretében tíz embert szervezzen gyorsan maga alá és használhatja is a forradalminak titulált eszközt.

A belépéshez szükség van egy Facebook profilra, mivel annak adatai alapján állítja össze a rendszer személyes hírfolyamunkat. Ezt finomíthatjuk minket érdeklő témák megadásával később.

Egy a témákat jól elkülönítő oldalon jelennek meg híreink.

A Wavii előnye az áttekinthető felülete. A fejlesztők a Facebook használatával nem lépnek túl személyre szabott ajánlókon. Kizárják annak lehetőségét, hogy az olvasó valami olyan dologgal találkozzon ami számára új és érdekes (ezt nevezik serendipity factor-nak). Reméljük hamarosan megoldják a twitter integrációt, hiszen a csiripelés népszerűségét részben az adja, hogy érdekes, új információkhoz juthat a felhasználó.

A Wavii-nál (a neten keringő hírekkel ellentétben) sokkal nyíltabban játszik a Prismatic. Az alapító Bradford Cross gigaom-nak tett nyilatkozata összefoglalja a média problémáit. Sokáig nyomon követhettük a Prismatic (korábbi nevén Woven) mögött húzódó gondolatokat is Bradford legendás Measuring Measures blogján (a szerző mindenről beszámolt, a technikai részletektől kezdve a kockázati tőke bevonásáig) azonban, amikor elindult a Prismatic béta verziója, hirtelen törölte írásait.

A nyitó oldal nem túl dizájnos, ám ha feliratkozunk pár napon belül megérkezik a meghívó.

Érdemes Twitter fiókunkat összekapcsolni Prismatic profilunkkal, mivel elsősorban ott található kapcsolati hálónkra támaszkodva szedi össze a rendszer a bennünket érdeklő híreket. Tetszés szerint választhatunk témákat, melyeket követni szeretnénk. Az "ömlesztett" hírfolyam elemeit törölhetjük, vagy megjelölhetjük mint "kedvenc" vagy inkább "ízlésemnek való", a rendszer ezek alapján tanul és tapasztalataink szerint kb. két hét használat után (napi egyszeri bejelentkezéssel kb. 25 perc hírbogarászás és intenzív jelölgetés mellett) nagyon jó eredményeket hoz. Nem csak abban jó, hogy kiszolgálja az ember ízlését (hiszen a Bonanza Banzai óta tudjuk, hogy nem biztos hogy jó tesz nekünk az), hanem érdekes, elgondolkodtató ellenvélemények is megjelennek egy-egy ügyben.

A feedet szűrhetjük a "social" ill. "global" gombokkal a jobb oldali menüben. Szintén itt jelenik meg a "Featured Feeds" és a "Favorite Feeds" lista is. A "Favorite" hírfolyam tkp. az általunk követett témákat takarja, ellenben arra nem sikerült rájönnünk, hogy a "Featured" funkció mi akar lenni.

A két vetélytárs nem véletlenül kapott nagy visszhangot, nem csak a média vár problémáinak orvoslására, az olvasók is egyre jobban igénylik, hogy az állandó hírfolyamban legyen egy kis rend. Erre mind a Wavii, mind a Prismatic nyújt valamilyen megoldást. Ellenben továbbra is kérdéses miképp fognak ezek a szolgáltatások nyereséget termelni? Fizetőssé válnak mint a bit.ly News.me alkalmazása? Tovább adnak valamit bevételükből a tartalmak előállítóinak? Tudnak olyan szolgáltatást nyújtani amiért a felhasználók hajlandóak fizetni is? A hangzatos ígéretek kellően felcsigázták a közönséget, reméljük hamarosan jönnek a konkrétumok.