HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatok (12) adatújságírás (16) adatvizualizáció (12) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (44) bing (14) CEU (6) clustering (6) conTEXT (7) dashboard (6) data science (8) deep learning (10) egészség (7) egészség kereső (7) emócióelemzés (29) facebook (8) Facebook (9) gépi tanulás (8) Google (23) google (57) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (33) könyvajánló (18) korpusznyelvészet (12) közösségi keresés (8) közösségi média (6) különleges keresők (7) LDA (8) lda (8) live (13) magyar kereső (9) marketing (8) meetup (38) mesterséges intelligencia (9) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (27) nyelvtechnológia (68) open data (11) open knowledge (7) politikai blogok (22) Precognox (39) Precognox Labs (14) Python (10) R (19) spam (6) statisztika (10) számítógépes nyelvészet (6) szemantikus keresés (16) szemantikus kereső (9) szentimentelemzés (31) szövegbányászat (14) tartalomelemzés (46) tartalomjegyzék (6) tematikus kereső (19) twitter (15) Twitter (18) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Túl a szófelhőkön - szövegvizualizációs gyakorlatok @ NLP meetup

2017.05.25. 12:54 Szerző: zoltanvarju Címkék: előadás meetup adatvizualizáció NLP meetup szövegvizualizáció

Ma az NLP meetupon adunk elő szövegvizualizációs projektjeinkről. A nyesten már írtunk témánkról, a blogon pedig az adatvizualizáció címke alatt megtaláljátok összes jó és rossz próbálkozásunkat. Itt pedig a slideokat!

Kapcsolódó anyagok:

 

logo9_final.jpg

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

The Data Deluge, How Big Data Is Changing Our Life, Presentation @ Futurology Forum

2017.05.22. 11:00 Szerző: zoltanvarju Címkék: előadás big data AI

Ma  Magyar Országos Közjegyzői Kamar Futurology Forum-án adunk elő.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Mennyit ér a kecód? Medián négyzetméter árak vizualizálva!

2017.05.19. 08:15 Szerző: zoltanvarju Címkék: ingatlan adatbányászat crawling adatvizualizáció QGIS threejs

Arra voltunk kíváncsiak, hogy állnak a négyzetméter árak a magyar ingatlanpiacon. Legyűjtöttünk majdnem 200,000 hirdetést, kiszedtük belőlük a lényeget és egy 3D vizun mutatjuk az adatokat itt.

housing.png

Hogy?

A gyűjtés során figyeltünk arra, hogy ne sértsük a felhasználási feltételeket és tiszteletben tartottuk minden robots.txt kérését, a crawler nem merészkedett oda, ahol nem látják szívesen. A crawler Pythonban készült, az adattisztításhoz is maradtunk ennél a nyelvnél, mert szeretjük. A térkép QGIS-ben készült, OpenStreetMap shapefile-ok felhasználásával. A threejs 3D vizut a qgis2threejs plugin segítségével generáltuk, a generált kódba kicsit belekontárkodtunk kézzel.

Miért?

A Precognox kereséssel foglalkozik, ennek része a spatial search - ami mostanában nagyon menő. Az ingatlanokkal kapcsolatos adatok tökéletesek kísérletezésre. A jövőben ezért kicsit többet fogunk foglalkozni ezzel a területtel és még arra is kísérletet teszünk, hogy a képfeldolgozással is összekössük.

 

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Készülj fel a robotok támadására!

2017.05.05. 14:47 Szerző: zoltanvarju Címkék: könyvajánló AI

Lassan közhely, hogy a második gépkorszak alaposan át fogja alakítani az életünket. Akadnak szép számmal olyanok is, akik attól félnek, hogy a gépek egy szép napon az egész emberiséget leigázhatják és kiirthatják. A mesterséges intelligencia ma az érdeklődés középpontjában áll, de nem árt tudnunk, hogy többször is megélhettük már az AI winter néven elhíresült jelenséget, amikor a felfokozott elvárásoknak nem sikerült megfelelni és a finanszírozási források elapadtak. Persze sokak szerint most nem jön a tél, itt az örök tavasz. Ha az extrém utópiákkal és disztópiákkal nem is tudunk mit kezdeni és továbbra is várnunk kell az áttörésre, a technológia hatása mindennapi életünkre visszafordíthatatlan, ezért jó lenne tudni, mi várhat ránk. Ehhez ajánlunk most olvasmányokat.

17-cover-sub-master1050.jpg

Forrás

Az optimista

01kaplan.jpg

  • Jerry Kaplan: Humans Need Not Apply - A Guide to Wealth and Work in the Age of Artificial Intelligence
  • Yale University Press, 2015

Kaplan ott volt a klasszikus AI megszületésénél, kutatói pályáját az ipar csábításának engedve hagyta ott. Amellett, hogy személyesen is megtapasztalta, hogyan lesz egy-egy kósza ötletből komplett iparágakat felforgató termék, tudományfilozófiai hátterének köszönhetően rendkívül változatos perspektívákból világítja meg milyen hatása lesz, vagy éppen van a mesterséges intelligenciának társadalmunkra. Kaplan nagyon hisz abban, hogy a piac majd mindent megold előbb, vagy utóbb. Legyen szó arról, hogy a technológiai fejlődés gyorsulásával nem képes lépést tartani a jelenlegi oktatási rendszer, vagy arról, hogy a dolgozók egyre nagyobb tömegei érzik magukat a politikai döntéshozatalból kiszorítva. Kaplan szerint a kapitalizmus logikája is azt diktálja, hogy a cégek nyújtsanak tisztes megélhetést is biztosító hitelek a folyamatos átképzéshez, ösztönözzék dolgozóikat vállalati részesedéssel, hogy csak a két kedvencemet említsem. A kötet legizgalmasabb része amikor a mesterséges intelligencia kapcsán felmerülő jogi és etikai kérdéseket boncolgatja. Ilyenkor a legtöbben a sci-fi irodalomhoz nyúlnának. De nem Kaplan, aki szerint igen is van tapasztalatunk autonóm, de korlátozott ágensek és tulajdonosaik megítélésében, ha nem is valami szép hagyomány ez, de a rabszolgaságot szabályozó törvények jó kiindulási alapot nyújthatnak.

A pesszimista

02pasquale.jpg

  • Frank Pasquale: The Black Box Society - The Secret Algorithms That Control Money and Information
  • Harvard University Press, 2015

Ha valaki paranoiásan fél attól, hogy mindenféle adatokat gyűjtenek róla amíg online életét éli vagy éppen bankkártyájával fizet, az ne olvassa el ezt a könyvet, mert mire leteszi, kidobja a mobilját, lemondja internet előfizetését és ezentúl csak készpénzben veszi fel a fizetését. A többiek a szerzővel együtt fognak átfogó szabályozásért kiáltani. Elsőre úgy tűnhet, Pasquale  szépen összeszedte az összes horrorsztorit, az elutasított hitelkérelmektől a NSA által tévesen terrorista gyanúsnak talált emberek zaklatásán át a pénzügyi műveleteket manipuláló high frequency trading cégeken át. Azonban az éles felütések után ott vannak a kérdések, melyeket meg kell válaszolnunk, nem is a jövőben, hanem minél hamarabb; kihez fordulhatunk, ha egy algoritmus gyanúsnak talál minket, vagy elutasítja hitelkérelmünket? Az ingyenes szolgáltatások tényleg tovább adhatják adatainkat? Elektronikus lábnyomaink után eredhet bárki és összeszedhet rólunk minden információt, amit azután szabadon felhasználhat? A szerző inkább elgondolkodtatja olvasóját és nem ad kész válaszokat, de annyi nagyon is érződik, hogy erős kontrollt és szabályozást szeretne Pasquale.

A realista

03ford.jpg

  • Martin Ford: Robotok Kora - Milyen lesz a világ munkahelyek nélkül?
  • HVG Könyvek, 2017

Ford Kaplan-hoz hasonlóan átfogó képet tár elénk az automatizálási hullám rövid- és hosszútávú következményeiről, ami a fizikai és szellemi munka folyamatos gépi helyettesítése. Ford szerint vannak területek, pl. az egészségügy és az oktatás, ahol bizony még sokat kell várnunk, más területek, pl. a fuvarozás, azonban hamarosan megadják magukat. Ez önmagában még nem lenne baj, hiszen a világ már csak így működik, az innovációval jár a schumpeteriánus teremtő rombolás; az egyik iparág hirtelen átalakul, megszűnik, kevesebb embert foglalkoztat, ezzel párhuzamosan ugyanakkor újabb területek nyílnak meg. Azonban itt van egy apró bökkenő, az innováció felgyorsult, ezért nagyobb számban szűnnek meg állások, mint keletkeznek más szektorokban. Nem lehet hirtelen mindenkit átképezni informatikussá, bármekkora a hiány is ebben a szakmában. Még nagyobb baj, hogy az állásukat vesztő sofőröknek valószínűleg igen alacsony hányada vágna bele és végezné el az egyetemet, vagy akár egy manapság divatos gyorstalpalós programozó képzést, hiszen valószínűleg nincs akkora megtakarításuk, hogy minimum egy évig megéljenek és mellette tanulni is tudjanak. Ehelyett gyorséttermek, raktárak, biztonsági szolgálatok várják őket korlátozott számban, azaz alacsonyabb képzettségű társaikkal fognak versenyezni rosszul fizetett állásokért. Fel tudunk készülni egy hasonló helyzetre, azaz meg tud védeni minket a megfelelő oktatás attól, hogy az automatizálás következtében állásunkat elveszítve lecsússzunk? Erik Brynjolfsson Andrew McAfee nagyon optimista és abban hisznek, hogy a jövő azé, aki a gépekkel együtt tud majd működi. Ford, mint rendes szilícium-völgyi vállalkozó, azonban nem ennyire optimista, szerinte ugyanis minden cég abban érdekelt, hogy csökkentse költségeit, a gép és ember páros mindig drágább mint egy önálló gép, ezért amikor lehetséges, át kell állni az olcsóbb megoldásra, mert ha nem, akkor oda profit és bezárhat a bolt. Ezért egyre több ember fog kiszorulni a munkaerőpiacról, csökkenni fog a fogyasztás. Ford már-már Rosa Luxemburgot idézi, amikor arról ír, hogy a kapitalizmus saját magát számolja fel; az automatizálással növeli a profitot, koncentrálódik a tőke, miközben egyre többen kerülnek körön kívülre, hiszen jövedelem hiányában nem tudnak fogyasztani. Ezt a folyamatot Ford szerint a feltétel nélküli alapjövedelem tudja lassítani. Ezzel nincs egyedül, még a baloldalisággal egyáltalán nem vádolható pénzügyi körökben is felmerült az alapjövedelem bevezetésének szükségessége. Felmerül a kérdés, hogy meddig tartható ez a rendszer? Mi jön utána?

Szép új világ

A technológiai megmondóemberek és a szabályozási kérdéseken rágódó jogász könyvei alaposak a szakterületi kérdésekben, de egy kicsit felületesek a társadalmi vetület tárgyalásában. Ezért két szociológus könyvét is ajánljuk, akik egy kicsit jobban megvilágítják, mi várhat ránk.

four_futures-183ac70241fda54162674557095cf068.jpg

  • Peter Farse: Four Futures - Life After Capitalism
  • Verso, 2016

Farse a CUNY szociológusa és a Jacobin magazin szerzője nem rejti véka alá, hogy nagyon balos, nem is meglepő, hogy szerinte a legpozitívabb fejlemény az lenne, ha az ember megszabadulna a munkától és bekövetkezne az egyenlőség és bőség kora, azaz a kommunizmus. Ugyanakkor a jelenlegi trendek három másik forgatókönyvet is valóra válthatnak az egyenlőség vs hierarchikus berendezkedés és a bőség vs szűkösség tengelyek mentén, melyek a szocializmus (egyenlőség és a szűkösség), a járadékosság (rentism) (hierarchia és bőség), az extremizmus (hierarchia és a szűkösség). Habár a szerző nagyon magával tudja ragadni az embert, az nem igazán esik le, hogy miért ez a két tengely jelenti a fő csapásirányát a történelemnek és hogy hol van a klasszikus szabadság, mint érték. Az pedig végképp nem tudtuk megfejteni, hogy miért kell szélsőséges értékeket felvenni ezek mentén, nem-e lehetséges sokkal több kombinációja a bőség és az egyenlőség fokozatainak.

04streeck.jpg

  • Wolfgang Streeck: How Will Capitalism End?: Essays on a Failing System
  • Verso, 2016

Streeck is baloldali szociológus, könyve egy 2014-ben a New Left Review-ban megjelent cikkről kapta a címét (sietős olvasóinknak ajánljuk a rövid cikket, a könyv - habár tök jól és szerintünk élvezetesen - csak ezt színezi ki több cikkel összeszerkesztve). Ebben a kötetben nem annyira a technológiai fejlődésről, mint inkább a kapitalizmus pénzügyi logikájáról olvashatunk és arról, hogy a klasszikus liberalizmus hajnalán összekapcsolódott szabadpiac és demokrácia lassan elkezdett elválni egymástól. Az egyenlőtlenségek növekedésével egyre többen érzik úgy, hogy nincs befolyásuk a politikai döntéshozatalra, az egyre inkább a tőke kiszolgálójává válik, annak logikáját kezdi átvenni, erről kapunk sok adatot is.

Készüljünk a legrosszabbra?

Azt, hogy mit hoz a jövő, nem tudhatjuk. Ez azonban nem jelenti azt, hogy nem gondolkodhatunk el a jelenben zajló folyamatok hatásain és azon, hogy milyen jövőt szeretnénk a következő generáció számára. Technológiai oldalról nagyon fontos, hogy ne adjuk át saját előítéleteinket a tanulóadatokon keresztül a mesterséges intelligenciának (l. erről korábbi írásunkat a nyesten). A társadalmi változásokat azonban sokkal fontosabbnak tartjuk. Ha ezekre képesek vagyunk figyelni és aktívan reagálunk rájuk, akkor a mesterséges intelligencia előnyeit le tudjuk aratni, ha nem figyelünk, akkor könnyen egy megvalósult disztópiában találhatjuk magunkat. A népszerű ismeretterjesztő művek jók arra, hogy felhívják a figyelmet ezen jelenségekre, de ha ténylegesen cselekedni akarunk, akkor nem árt meghallgatnunk a területen tevékenykedő társadalomtudósok, bölcsészek és egyéb járadékvadászok szavait (ehhez szintén egy korábbi nyestes írásunkat ajánljuk). 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Miről beszélt Orbán Viktor?

2017.05.02. 09:40 Szerző: zoltanvarju Címkék: d3 tartalomelemzés adatvizualizáció korpusznyelvészet Orbán Viktor

Hol fordulnak elő egy szövegben bizonyos szavak? Hogyan változik használatuk időben? Hogyan lehet összevetni egy-egy szó használatát egy adott korpuszon belül? A legtöbben egy egyszerű idősort képeznének az adatokból, de a korpusznyelvészek erre fejlesztették ki a konkordancia plotot, ami igazából a DNS-ujjlenyomat megjelenítésével lett ismert vizualizációs technika. Interaktív konkordancia plotunkkal Orbán Viktor 1999 és 2015 közötti évértékelő beszédeit lehet felfedezni, reméljük hozzánk hasonlóan sokat fognak olvasóink is szórakozni egy-egy szó használati gyakoriságának változásán.

concordance_plot00.png
A konkordancia plotok először az ötvenes években váltak népszerűvé, majd az egyszerű, de komoly követői bázist kiépítő AntConc korpusznyelvészeti szoftver terjesztette el. Ahogy az alábbi példa is mutatja, egy funkcionálisan egyszerű plotról beszélünk, ami azonban nagyon hasznosnak bizonyult a kutatók számára.

concordance_plot03.png

Az elektroforézises DNS-ujjlenyomat megjelenítésére is hasonló technikát alkalmaznak, ami nem olyan nagy csoda, hiszen a DNS szekvenciák feldolgozása nagyon hasonlít a számítógépes nyelvészeti feladatokhoz. Vizualizációnkhoz is egy erre a területre készített D3 plugint használtunk, amit nagyon minimálisan módosítottunk csak.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

1 komment • Kövess Facebookon • Iratkozz fel értesítőre