A Precognoxnál nyáron sincs uborkaszezon. Gyakornoki programunk olyan sikeres volt, hogy több izgalmas prototípus is született, melyeket blogunkon külön sorozatban mutatunk be. Az alábbi videón Fodor Mánuel beszédfelismerős cégkereső Android alkalmazása látható működés közben.

Az applikáció a Cylex Tudakozó adatbázisában keres, beszédfelismerésre pedig a Nuance Dragon API-t használja. Ahogy a felvételen is hallható és látható, a felhasználó jólformált természetes nyelvi kifejezésekkel kereshet az app segítségével.

A GDELT, azaz a Global Database of Events, Language and Tone a globális események adatbázisa. Felépítése nagyon egyszerű, ún. aktorok (személyek, pártok, kormányok, szervezetek stb.) és események (tüntetés, nyilatkozat, diplomáciai és fegyveres konfliktus stb.) kódolnak minden történést. Hogy mire jó ez? A szíriai polgárháború kapcsán erre keressük a választ.

A GDELT adatbázist mindenki szabadon letöltheti. Egy egyszerű Python szkript segítségével kiválaszthatjuk és külön fájlba menthetjük a minket érdeklő eseményeket, helyeket és aktorokat. Elemzésünkhöz minden Szíriával kapcsolatos eseményt kigyűjtöttünk. Az alábbi grafikonon jól látható, hogy a polgárháború kitörésekor hirtelen drámai mértékben megnövekedett az események száma.

Ha arra vagyunk kíváncsiak kiket is érintenek a Szíriával kapcsolatos események, akkor érdemes aktorok szerint szűrni. A húsz leginkább érintett aktort mutatja az alábbi ábra.

Látható, hogy Sziria az egyik legérintettebb, de ez nem meglepő. Sokkal inkább furcsa a közvetlen szomszédok mellett Franciaország, Ausztrália és az Egyesült Államok érintettsége. Az alábbi ábrán az összes európai, észak-afrikai és kelet-ázsiai aktort megjelenítettük geolokációs adataik alapján.

Ezután szűkítettük az adatok körét. Kiszűrtünk minden 2011, azaz a polgárháború előtti eseményt, az aktorok közül pedig csak az alábbiakat vizsgáltuk tovább:

GOV, OPP, MIL, REL, CVL, REB, COP, SPY, REF, SEP,

azaz kormányzat (GOV), ellenzék (OPP), hadsereg (MIL), vallási csoportok (REL), civil csoportok (CVL), felkelők (REB), rendőrség (COP), hírszerzés (SPY), menekültek (REF) és szeparatisták (SEP). Az aktorok közötti viszonyok közül a visszautasítás, fenyegetés, ellenállás, erőszakos fenyegetőzés, kapcsolatok megszakítása/redukálása, kényszerítés, támadás, harc és nem-konvencionális tömeges erőszak történéseket tartottuk csupán meg. Még ezen megszorítások mellett is látható, hogy a szír polgárháború nagy hatást gyakorol a térségre.

Damaszkusz és térsége bővelkedik leginkább Szírián belüli eseményekben.

Ha az egyes aktorok közötti kapcsolatokat gráf formájában helyezzük a térképre, sokkal jobban kirajzolódik a közöttük fennálló számos összetett kapcsolat.

A GDELT remek eszköz társadalomtudósok és adatújságírók számára, de értő kezek más elemzésekben is jól felhasználhatják. Reméljük folyamatosan fog bővülni új és historikus adatokkal is.

Hasznos olvasmányok az adatbázis megértéséhez:

Commonly Used CAMEO Agents

CAMEO Conflict and Mediation Event Observations Codebook

A nagy sikerű Open Source BI és Innovative BI konferenciákra építve idén kétnapos rendezvénnyel várják az üzleti intelligencia és az adatbányászat iránt érdeklődőket a szervezők. A Budapest BI programja nagyon átfogó, mindenki találhat benne érdekes témát.

Előadónak is lehet még jelentkezni a konferencia CfP oldalán!

Patricia Greenfield a UCLA szociálpszichológusa The Changing Psychology of Culture From 1800 Through 2000 (sajnos nem szabad hozzáférésű) című tanulmányában a Google Ngram Viewer segítségével vizsgálta, hogy az individualizmusra ill. a kollektivizmusra jellemző szavak gyakorisága miképp változott 1800 és 2000 között. A kutató azt találta, hogy az amerikai angolban az individualizmusra jellemző szavak gyakorisága növekszik. További elemzésekkel szeretné megvizsgálni, hogy a brit angol, francia, spanyol és kínai Ngram korpuszokban is megfigyelhető-e hasonló jelenség. Mielőtt kitérnénk arra, mennyire lehet megalapozott egy ilyen vizsgálat, vessünk egy pillantást néhány példára Greenfield tanulmányából.

• Kötelesség (obliged) vs választás (choose)

• Adni (give) vs kapni (get)

• Engedelmesség (obedience) - tekintély (authority) - valahová tartozik (belong) - imádkozik (pray)

• Egyén/egyéni (individual) - én (self) - egyedi (unique) - gyerek (child)

Greenfield arra a megállapításra jutott, hogy a városiasodás és a modern életforma megjelenésével egyre individualistább lett a nyelvhasználat és a társadalom is. De következik-e bármi is egy szó vagy kifejezés gyakoriságából? Egy korábbi posztunkban már foglalkoztunk azzal a kérdéssel, hogy az Ngram Viewer segítségével tényleg megállapítható-e, hogy az emberek egyre individualistábbak, vagy egyáltalán van-e összefüggés a gyakoriság és a való világ között. Kedvenc példánk erre:

Az ún. flogiszton-elmélet a 17. és 18. században nagyon népszerű volt az égés magyarázatára míg Lavoisier meg nem cáfolta. A modern kategóriaelmélet megjelenését 1942-re datálják, de maga az elnevezés az 1960-as évekig nem terjedt el. Ugyanakkor a kategóriaelmélet tárgyalása során egészen a 19. században megjelenő algebrai geometriáig szokása visszamenni. Nézzük meg miképp alakul a "phlogiston theory" és a "category theory" kifejezések ngram-ja:

A flogiszton-elmélet fontosabb lenne a kategóriaelméletnél? Fektessünk flogisztonnal foglalkozó startupba? Akik ismerik a filozófiatörténetet tudják, hogy az említésgyakoriság fokozatos emelkedésének oka egyszerű; a tudományfilozófusok egyik kedvenc példájával állunk szembe. A kategóriaelmélet hiába az egyik legfontosabb kutatási terület napjainkban (főbb "felhasználási területei" mint például a matematika alapjai, a kvantumfizika matematikai modellezése, kompozícionális-disztribúciós jelentéselmélet, kvantumszámítógépek, probabilisztikus programozás, bioinformatika tkp. lefedik a leginnovatívabb kutatási irányokat) ennek ellenére nagyon alacsony a frekvenciája.

Az individualista nyelvhasználat egyik legelemibb esetének szoktuk tekinteni, ha valaki sokat hivatkozik magára. "Én úgy gondolom, hogy...", "Azt hiszem...", "Szerintem..." stb. A többes szám használatát pedig a kollektivizmus jelének tartjuk. Azonban ahogy Pennebaker is kimutatta, a mi (angolban we, magyarban ez gyakran lemarad és a többes szám utal rá) legalább négy jelentésben használatos:

1. (Mi) meg fogjuk oldani.
2. (Mi) megtudjuk ezt csinálni holnapra?
3. (Mi) sokkal jobbak vagyunk náluk.
4. Ezt a sikert mi magyarok közösen értük el.

A fentiek közül az 1. pont az, ami az igazi "kollektív mi" értelemben használatos. A 2. pont lehet egy főnök kérdése a beosztottak felé, amiben a többes szám használata félrevezető, hiszen a beosztottak dolgoznak a feladaton. A 3.-ban a "mi" a két csoport közötti különbségtétel hangsúlyozását szolgálja. A 4. pont a politikára jellemző, gyakran változó hatókörű "mi" egyik példája.

Nem szeretnénk cáfolni Greenfield és a hasonló módszertannal kutató tudósok munkáját, csupán arra szeretnénk felhívni a figyelmet, hogy a puszta gyakorisági adatokon túl más információkat is figyelembe kell venni.

Szerencsére a legtöbb adatot nem kell magunknak összeszedni, megteszik ezt helyettünk a linked data hívei. Jó esetben egy ún. SPARQL endpoint-on keresztül egy egyszerű SQL-szerű lekérdezőnyelvvel online is elérhetjük az ilyen adatbázisokat. Willem Robert van Hage, Marieke van Erp és Véronique Malaisé Linked Open Piracy SPARQL endpointja a nemzetközi kalóztámadásokat rendszerezi, posztunkhoz a készítők jegyzeteit használtuk, hogy megnézzük merre vannak a modern kalózok.

Merre kalózkodnak a legtöbbet?

Kalózkodásnak számít a próbálkozás, a hajóról ellopni valamit, vagy az egész hajó eltüntetése...

Egy megrakott kereskedelmi hajóra mindenhol pályáznak a latrok, ha ideális célpont. Az Ádeni-öbölben azonban tutira vehetünk egy kalóztámadást! 

Megnyugtatok mindenkit, Észak-Amerika sem mentes a kalózkodástól, csak nem szolgáltat sok adatot... Az egyes támadások elterjedtsége az alábbi képet mutatja:

Habár Indonézia és Malajzia vezeti a nemzetközi kalózkodási listát, Szomália partjai mentén divat RPG-vel, azaz páncéltörő rakétával támadni a hajókra.

Mire jó a linked data?

• A megfelelő linked data adatbázis segítségével értékes adatokkal gazdagíthatjuk meglévő adatbázisunkat (data enrichment néven emlegetik néha ezt)
• Időt is tudunk spórolni, ha nem nekünk kell strukturált formába hozni az adatokat
• A legtöbb linked data adatbázis egymáshoz is kapcsolódik így további összefüggésekre is bukkanhatunk