HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati és big data megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Facebook scraper - Hogyan szedjük le egy Facebook oldal adatait?

2016.07.27. 13:26 Szerző: kittibalogh Címkék: scraping Facebook Python SQLite

Itt érhető el az a scraper, amit azzal a céllal készítettünk, hogy könnyedén le tudjuk szedni egy publikus Facebook oldal posztjait, kommentjeit, lájkjait, reakciót és az oldalon aktív felhasználókkal kapcsolatos adatokat.

A Pythonban íródott eszköz az adatokat egy SQLite adatbázisba tölti a következő séma szerint:

 scheme.png

A scraper elindításához három dologra van szükség:

  1. egy Facebook access tokenre,
  2. a leszedni kívánt Facebook oldal Facebook ID-jára és
  3. a SQLite adatbázis elérési útjára.

A telepítéshez és a használathoz bővebb információt itt lehet találni.

Egy következő bejegyzésünkben beszámolunk arról, hogy a scraperrel lenyert adatokat milyen fajta elemzésekre lehet használni, például hogy mennyire kötődnek az emberek egy oldalhoz, melyik felhasználókat tekinthetjük véleményvezéreknek, milyen témákról beszélnek az oldalon vagy hogy milyen érzelmek jelennek meg a diskurzusban.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Multimodális emócióelemzés a Hackathonon

2016.06.30. 13:41 Szerző: Szabó Martina Katalin Címkék: emócióelemzés hackathon multimodális emócióelemzés

Június 10-én tartott céges Hackathonunkon az egyik csapatunk egy igazán izgalmas projekten, multimodális emócióelemzésen dolgozott. 

A feladathoz rövid, angol és magyar nyelvű videórészleteket kerestünk. Olyan anyagokra volt szükségünk, ahol a kép, a hang és a szöveg is jó eséllyel elemezhető emóciókat mutat. Végül három videórészlet maradt fent a rostán: az angol nyelvre a Bladerunner Tears in rain monológja és a Closer egy jelenete, a magyarra pedig a Beugró Váltóláz nevű játékából egy részlet.

Első lépésként a videókat két perces anyagokra vágtuk, mert az API, amellyel a hangsávot elemeztük, csupán két perces anyagot fogad. A hangsáv elemzésével az alábbihoz hasonló eredményt kaptunk:

 kep1_5.png

Azokat az emóciókat, amelyeket a hangsávon felismertünk, felvittük a videóra annotációként. A női beszélők érzelmei rózsaszínű, a férfi beszélőké pedig kék szövegbuborékokba kerültek. 

A vizuális emóciók feldolgozását szintén egy API segítségével végeztük. Első körben a Google Cloud Vision-jét próbáltuk ki, de az számunkra nem bizonyult megfelelőnek. A képi anyag elemzési eredményeit szintén felvittük a videókra. 

Az eredményeink alább nézhetőek meg:

 

 

A magyar nyelvű videónkon az emóciószótáraink segítségével még szövegelemzést is végeztünk a hang és a kép feldolgozása mellett. Ez lett az eredmény:

 

A projekt eredményeivel és tapasztalataival a hátunk mögött most meg szeretnénk vizsgálni, hogy milyen összefüggésben van a három különböző típusú elemzés egymással. Azt gondoljuk, hogy egy multimodális elemzésben a három elemzési eszköz hatékonyan kiegészítheti egymást, és olyan emóciókat is megmutathat, amelyek a csak az egyik faktort figyelembe vevő elemzésben elvesznének. További terveink között szerepel annak feltérképezése is, hogy mit árul el a multimodális elemzés olyan trükkös jelenségek esetében, mint a hazugság, a káröröm, az irónia vagy a gúny. 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A JOY ajánlja a Receptkeresőnket!

2016.06.30. 09:29 Szerző: Szabó Martina Katalin Címkék: ajánló recept JOY receptkereső

A JOY júniusi számában ajánlja a Receptkereső alkalmazásunkat.

joy.jpg

 

A lap ajánlása egy olyan cikkben jelenik meg, amely a nőknek igyekszik hasznos tippeket adni ahhoz, hogyan maradjon több pénzük a hónap végén. Amint azt a népszerű női havi magazin közli, az ingyenes Receptkereső alkalmazás a spórolásban is segíthet. Idézzük:

Már csak egy kis sajt árválkodik a hűtőben? Nézd meg a Receptkereső alkalmazással, hogy mi mindent készíthetsz belőle rántott sajton kívül!

images_1.jpg

Egyszerű, átlátható felületű Receptkereső alkalmazásunk a hazai legnagyobb receptmegosztó oldalak receptjei közül alapanyag, elkészítési idő, nehézségi fok szűrésével ajánl recepteket, de a keresési források is módosíthatóak. Így tehát egyetlen kereséssel, sok különböző oldal receptjét kaphatjuk meg a keresési feltételek szerint. Nem kell a blogokon, weboldalakon egyenként keresgélni.

Alkalmazásunk elérhető itt

Jó keresgélést és finom falatokat mindenkinek!

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Ezt olvasd, ha a gépi tanulásba vágnád a fejszédet

2016.06.07. 10:04 Szerző: zoltanvarju Címkék: könyvajánló gépi tanulás R

A gépi tanulás, hipszter nevén data science, egyre több érdeklődőt vonz, sokak szerencsétlenségére a terület azonban nagyon szerteágazó; a gépi tanulás ma az, ami mindenre ráhúzható az egyszerű statisztikai adatelemzéstől kezdve a képfeldolgozáson át a nyelvfeldolgozásig minden bele tud férni. Bonyolítja a helyzetet, hogy ezeken a területeken különböző megközelítések versenyeznek, vannak bayesiánusok, konnekcionisták stb. Aki szeretné átlátni ezt a területet, az könnyen zavarba kerülhet; nekik nyújt segítséget két remek könyv, amelyek, habár kezdőknek íródtak, mindenkinek jó szolgálatot tehetnek.

Pedro Domingos: The Master Algorithm

Domingos a gépi tanulás egyik központi figurája, aki a tanuló algoritmusok szent grálját keresi, azaz azt az algoritmust, ami egyesíti az összes jelenlegi megközelítés erényeit - erről (is) szól ez az ismeretterjesztő könyv. Domingos saját bevallása szerint is távol áll még a mester algoritmus megtalálásától, de mániájának hála alaposan meg kellett ismerkednie a gépi tanulás különféle irányzataival (szimbolizmus, konnekcionizmus, evolúciós algoritmusok, bayesianizmus, analogizmus), melyeknek egy-egy fejezetet szentelt. Sajnos nem-felügyelt módszereket és a meta-tanulást egy fejezetbe sűríti, amit a saját kutatásáról (számomra) érthetetlenül megírt fejezet követ. A kötet zárása a gépi tanulás társadalmi hatásairól szól, amin érződik, hogy Domingos érdeklődik a téma iránt és olvassa a társadalomtudományokban zajló vitákat erről, de ennél több nincs benne.

01ma.jpg

Minden hibája ellenére csak ajánlani tudom a könyvet profiknak és kezdőknek egyaránt, hiszen a gépi tanulás ott van a mindennapjainkban, nem árt ismerni.

 

Brett Lantz: Machine Learning with R

Akik tudnak már valamennyire programozni és rendelkeznek némi statisztikai alapismeretekkel, azok számára ez a könyv a legjobb. Lantz nagyon élvezetesen magyarázza el a legalapvetőbb gépi tanulási algoritmusokat és illusztrálja működésüket egy-egy adathalmazon. A kötet végén az adatelemzői munkához kapunk gyakorlati tippeket, kezdve a kiértékeléstől, az egyszerű hatékonyságot növelő módszerektől az ensemble módszerekig.02mlr.jpg

A könyvet elolvasva és példákat követve még nem válik senki profi data scientist-é, de aki rendesen dolgozik, az megpróbálkozhat a terület alapkönyvének számító Introduction to Statistical Learning tanulmányozásával.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Magyar nyelvű tartalmak elemzése

2016.05.17. 10:51 Szerző: zoltanvarju Címkék: keresés tartalomelemzés nyelvtechnológia

Ma az MTA TK "Lendület" RECENS hálózati előadás-sorozat keretében Magyar nyelvű tartalmak elemzése címmel adunk elő. Korlátozott számban még akadnak férőhelyek, itt lehet regisztrálni. Az előadás az MTA TK Politikatudományi Intézetének tárgyalótermében (1014 Budapest, Országház utca 30.) lesz 15 órai kezdettel.

A Születésház Egyesület 2015. március 1. – 2016. április 30. között lezajlott projektje azt a célt szolgálta, hogy hozzájáruljanak a magyar szülészeti ellátórendszer egyenlő módon hozzáférhetővé válásához és a nők méltóságát tiszteletben tartó, szakszerű ellátás biztosításához. Ennek keretében négy közösségben (Pécs: Istvánakna, Györgytelep, Szakácsi, Told) készítettek mélyinterjúkat közel harminc nővel. Cégünk az interjúelemzői munka támogatásához, illetve kiegészítéséhez készített egy alkalmazást. A szoftver lehetővé teszi a dokumentumokban történő szabad szavas keresést, az interjú részleteket ún. facetekbe (kategóriákba) rendezi topik modellezés segítségével, továbbá a szövegek szentiment- és emócióelemzését is megjeleníti szófelhők formájában.

dashboard_sentiment.png

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre