HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatbányászat (6) adatok (12) adatújságírás (16) adatvizualizáció (16) AI (8) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (47) bing (14) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (8) deep learning (14) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (34) facebook (8) Facebook (9) gépi tanulás (10) Google (23) google (57) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (41) könyvajánló (21) korpusznyelvészet (14) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (6) lda (10) LDA (10) live (13) magyar kereső (9) marketing (8) meetup (40) mesterséges intelligencia (9) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (28) nyelvtechnológia (72) open data (11) open knowledge (7) Pennebaker (6) politikai blogok (22) Precognox (44) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (8) szemantikus keresés (18) szemantikus kereső (9) szentimentelemzés (33) szövegbányászat (14) társadalomtudomány (6) tartalomelemzés (53) tartalomjegyzék (6) tematikus kereső (19) topik modellek (6) twitter (15) Twitter (18) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Big Data-konferencián voltunk

2017.12.14. 16:44 Szerző: Szabó Martina Katalin Címkék: konferencia adatbányászat szemantikus keresés big data Precognox emócióelemzés TAS Pécsi Tudományegyetem Szentágothai János Kutatóközpont

November 30-án egy szuper konferencián szerepeltünk, egy igazán szuper helyen!

kutatokozpont_4.jpg

 p_greypixel_science_1047-1048_bachman-balint_pte-szentagothai-janos-kutatokozpont.jpg

 

 

 

 

 

 

Bár ez nem tartozik szorosan a konferencia tárgyához, megjegyezzük, hogy teljesen lenyűgözött minket a  a Pécsi Tudományegyetem Szentágothai János Kutatóközpontja, mind a technikáját, mind az építészeti sajátságait illetően.

sb2.jpg

A Big Datára idén 160-an regisztráltak! 

A plenáris előadásokra a "Kavics" előadóban került sor.

 

 

 

 

 

 

 

 

20171130_100504.jpg

Polyák Gábor (PTE BTK, SZKK, habilitált doktor, egyetemi docens) bemutatta a Szentágothai János Kutatóközpont Big Data kutatócsoportját. Botz Lajos (PTE GYTK, PhD, habil, egyetemi tanár, főgyógyszerész, intézetigazgató) a Big Data jelenségről az egészségügy szempontjából, a gyógyszerezéssel összefüggő adatelemzések lehetőségéről beszélt. Végül Feldmann Ádám (PTE Big Data kutatócsoport, ÁOK Magatartástudományi Intézet) tartott egy rendkívül érdekes előadást a Personogram projektről, amely személyiségvonások kinyerését célozza strukturálatlan szövegekből. 

Ezután párhuzamos szekciók következtek. A precognoxos csapat a „Szövegbányászat, Duo-mining” szekcióban adott először elő.
Magam a magyar és orosz nyelvű írott szövegek alapján végzett érzelemkivonatolási projektjeinkről beszéltem, Tavali Gábor kollégám pedig a strukturálatlan adatok kezelésének a kérdéséről a Solvonak végzett közbeszerzési témájú feladatunk kapcsán, valamint röviden bemutatta cégünk TAS nevű feldolgozó rendszerét.

20171130_113730.jpg

20171130_115748.jpg

 

 

 

 

 

 

A szekció vezetői Feldmann Ádám (PTE Big Data kutatócsoport, ÁOK Magatartástudományi Intézet) és Kruzslicz Ferenc (PTE Big Data kutatócsoport, KTK egyetemi docens) voltak.

Köszönjük a sok érdeklődőnek, aki meghallgatott bennünket, és izgalmas dolgokat kérdezett tőlünk :)

 20171130_121603.jpg

Az előadások után standoltunk és beszélgettünk.

20171130_124450.jpg

 20171130_124432.jpg

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Dálután, az ún. Big Data Labor” workshopot Gazdag András és Katona Richárd kollégáink vezették. És hogy miről volt szó, arról a következő rövid összefoglaló ad képet:

„Mind az újságírás, mint a tudományos munkák, kutatások területén igen fontos szerepe van manapság az Internetnek. Rengeteg releváns információ érhető el a világhálón, de ezek megtalálása, begyűjtése és rendszerezése nem is olyan egyszerű feladat. Ezt a területet célozza meg az adatbányászat, melynek eszközeit és módszertanát egy készülő projektünkön keresztül szeretnénk bemutatni. A project az atlatszo.hu Közhasznú Nonprofit Kft. megbízásából készül és a 2003. évi XXIV. törvény ("Üvegzseb törvény") végrehajtásának monitorozását tűzte ki célul.” 

20171130_144427.jpg

20171130_145208.jpg

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Nagyon szuper és eredményes napot zártunk!
Hálásan köszönjük a rendezvényt és a meghívást a szervezőknek!

20171130_152539.jpg

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Rendhagyó nyelvészeti TDK-konferencia a Szláv Nyelvészeti Kör találkozóján

2017.12.06. 14:04 Szerző: Szabó Martina Katalin Címkék: konferencia orosz nyelvészet meetup adatbázisok narratíva alkalmazott nyelvészet számítógépes nyelvészet szentimentelemzés emócióelemzés кружок Сегедский лингвистический кружок по славистике

November 15-én harmadik alkalommal rendeztük meg a Szegedi Szláv Nyelvészeti Kör (Сегедский лингвистический кружок по славистике) találkozóját, amelyet most rendhagyó módon egy nyelvészeti témájú TDK-felolvasással kötöttünk egybe.

mockup-03.jpgA meetupokat hárman, Nyíri Zsófival és Lázár Bernivel együtt szervezzük a Szegedi Tudományegyetem Bölcsészettudományi Karának épületében.

A csoport 2016. októberében alakult Szegeden, a Szegedi Tudományegyetem Bölcsészettudományi Karán. Célja, hogy platformot teremtsen arra, hogy a szláv nyelvészet iránt érdeklődő vagy azzal foglalkozó hallgatók és kutatók eszmét cserélhessenek, együtt gondolkodhassanak.

A találkozó programja rendhagyó volt: egy TDK-fordulót rendeztünk a keretében, amelyen két nyelvészeti tárgyú kutatás mutatkozott be. 

zsofi_es_berni.jpg

A bemutatott kutatásokat Nyíri Zsófi és Lázár Berni, a Precognox munkatársai végzik, akikre nagyon-nagyon büszkék vagyunk :) Munkájukat témavezetőként van szerencsém követni.

A találkozó programja a következő volt:

Először Nyíri Zsófi (Orosz nyelv és irodalom MA) bemutatta TDK-pályamunkáját a következő címmel: Orosz nyelvű szövegek narratívaelemzése automatikus tartalomelemzési módszerek segítségével. Ezt követően Lázár Bernadett (Szlavisztika – orosz BA) ismertette folyó TDK-kutatását, munkatervét. A prezentáció címe az Orosz és magyar mozgást jelentő igék argumentumszerkezetének összevető vizsgálata volt.

Az alábbiakban röviden bemutatjuk a két kutatást.

 

 Zsófi előadásában egy orosz nyelvű szentiment- és emóciólexikon, valamint egy szépirodalmi korpusz, a NarRu létrehozásának tapasztalatairól és felhasználásának első eredményeiről számolt be. A korpusz és az elemzési eszközök létrehozásának elsődleges célja az volt, hogy a szövegek emóció- és szentimentelemzésével feltárjuk azok narratívastruktúráit. Az előadásban bemutatta a korpusz felépítését és a létrehozás legfontosabb szempontjait, valamint a szótárak készítésének eszközeit, módszereit, alapelveit és adatait.

Figyelembe véve a forradalom, valamint az annak hatására született művek közötti időrést, a szövegek határának az 1895-1955 közé eső időszakot választottuk. Ezt a későbbiekben további három periódusra osztottuk: az 1. korszakot 1895-1910, a 2. korszakot 1910-1920, a 3. korszakot pedig 1920-1955 közé helyeztük. Az 1. periódus a forradalom előtti, a 3. periódus a forradalom utáni időszakot reprezentálja, míg a 2. periódus a forradalom hatására vagy az azt közvetlen megelőző években létrehozott szövegeket foglalja magába.

Ezt követően ismertette a korpuszszövegek emóció- és szentimentelemzési eredményeit. Áttekintést adott arról a megoldásról, amellyel a kapott elemzési eredmények alapján a szövegek narratívaszerkezeteit feltártuk, és a leggyakoribb narratívatípusokat definiáltuk.

Végezetül szólt arról az interaktív dashboardról, amelynek segítségével a korpuszt a létrehozott eszközökkel a szentimentek, az emóciók, valamint a narratívaszerkezetek szempontjából vizsgálhatóvá tettük. 

A kutatás reményeink szerint hamarosan bemutatkozik az MSZNY-konferencián! Emellett sikerült az OTDK-kvalifikáció is, Zsófi tehát hamarosan az oroszágos versenyen is bemutathatja eredményeit! Ezúton is nagyon gratulálunk neki, büszkék vagyunk rád!

∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝

Berni előadásában az átjön/bejön, valamint az átmegy/bemegy igekötős igepárok argumentumszerkezeteit vizsgálta a Szeged és a Dívány korpusz adatai alapján. A téma az elmélet nyelvészet mellett nyelvtechnológiai szempontból azért is fontos, mert az igekötős igék argumentumszerkezetének automatikus kezelése kimerítően még nem megoldott, azok bizonyos problémáira megoldás még nem született.

Az előadás két fontos céllal bírt: Egyrészt a korpuszadatok segítségével fel kívánta tárni a vizsgált igék argumentumszerkezeteinek kvantitatív és kvalitatív sajátságait a korpuszadatok alapján, azaz a tényleges nyelvhasználatban. E munka során azt is megvizsgálta, hogy mutatkozik-e valamiféle eltérés a két, szöveganyagukat tekintve jelentősen különböző korpusz adataiban. Másrészt a korpuszvizsgálati tapasztalatokat össze kívánta vetni a szótárak, valamint a vonatkozó elméleti nyelvészeti szempontú tanulmányok megállapításaival.

Berni sok támogató tanácsot kapott, már lelkesen készülünk a további szereplésekre. 

∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝∝

Aki szeretne csatlakozni a Szláv Nyelvészeti Körhöz, írjon egy e-mailt nekünk bártan, vagy keressen minket a Facebookon! 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Beszámoló a Számítógépes Társadalomtudomány (Computational Social Science) témacsoport bemutatkozó konferenciájáról

2017.11.21. 11:38 Szerző: Szabó Martina Katalin Címkék: konferencia szociológia társadalomtudomány nyelvtechnológia korpuszok korpusznyelvészet számítógépes nyelvészet Computational Social Science

A Magyar Tudományos Akadémia november 14-én, kedden egy igazán nagyszabású konferenciával tisztelgett a Magyar Tudomány Napja előtt: bemutatkozott az újonnan alakult Számítógépes Társadalomtudomány (Computational Social Science) témacsoport. 

 
20171114_120145_2.jpg

A kezdeményezést magától értetődően üdvözölte a magyar tudomány, hiszen a társadalomtudományi kutatások nyelvtechnológiai támogatottsága ma már nélkülözhetetlen. E tudományterületek együttműködésének az eredményességét mára számos jelentős kutatási eredmény, figyelemre méltó publikáció igazolta.

A konferencián kiváló előadásokat hallhattunk, most csupán néhányat említenék közülük.   

Novák Attila (PPKE-ITK, Natural Language Processing Group) Segíthetnek-e a szóbeágyazási modellek a társadalomtudósoknak? című előadásában arról beszélt, hogy milyen elemzési lehetőségeket adnak a szóbeágyazási modellek a különböző szövegek szemantikai tartalmának feltárására. Számos, rendkívül érdekes ábrát mutatott olyan fogalmi összefüggésekről, amelyek e megoldással ismerhetőek meg. 

 

Persze mi is ki szeretnénk próbálni a módszert az újonnan elkészült orosz nyelvű korpuszunkon, és ugyancsak új orosz nyelvű emóció- és szentimentszótárunkkal! Már régóta komolyan bele szeretnénk vetni magunkat az emóciók és a funkciószók összefüggéseinek a vizsgálatába, és most úgy gondoltuk, megpróbáljuk ezt szóbeágyazási modellek segítségével. 

Varjú Zolival azt feltételezzük, hogy az emóciók és a funkciószók hasonló mintázatot fognak rajzolni a térben, lévén, hogy Pennebaker (2011) alapján e két nyelvi jelenség számos fontos összefüggést mutat.

Hamarosan elmondjuk, mire jutottunk. 

Magam munkatársaimmal, Takács Károllyal (az MTA TK RECENS Kutatócsoport vezetője) és Galántai Júliával (az MTA TK RECENS Kutatócsoport tudományos segédmunkatársa) egy nagy méretű, magyar spontán beszélt nyelvi adatbázis, a HuTongue létrehozásáról számoltam be, a következő előadásunkban: A pletyka a társas rend szolgálatában. Az informális kommunikáció szerkezetének mélyebb megértéséért a Computational Social Science eszközeivel. 

 20171114_110624_1.jpgA körülbelül 500 órányi hanganyagon feldolgozása a következő munkafolyamatokból áll: a verbális közlések rögzítéséből, a nem verbális hanghatások kódolásából, valamint egy, a kutatás szempontjából kardinális, szemantikai‒pragmatikai jellegű sajátság jelöléséből. Mindez egy rendkívül komplex feldolgozási folyamattá áll össze, amelytől azt reméljük, hogy a kutatási kérdés, vagyis a pletyka sokrétű és automatikus megoldásokkal hatékonyan támogatott vizsgálatát fogja lehetővé tenni a a jövőben.

Az előadásban érveltünk a korpuszok társadalomtudományi jelentősége mellett, majd indokoltuk a HuTongue korpusz létrehozását. Bemutattuk, milyen automatikus feldolgozási lépéseket tervezünk a HuTongue korpuszon, és ismertettük a korpusz adatait, a létrehozás menetét, eszközét és módszerét. Ezt követően szóltunk arról, milyen megoldásokkal tervezzük a pletykát azonosítani és annak szövegkörnyezetét elemezni a korpuszban. Végezetül, a továbblépési lehetőségek között tárgyaltuk azokat a további társadalomtudományi kérdéseket, amelyek vizsgálata megvalósulhat a HuTongue korpusz létrejöttével.

 

 

 

 

 

Simon Eszter (az MTA Nyelvtudományi Intézet tudományos munkatársa) a Magyar nyelvtechnológiai infrastruktúra a társadalomtudományok szolgálatában című előadásában olyan nyelvfeldolgozó eszközöket mutatott be, amelyek fontos támogatói lehetnek a különböző társadalomtudományi kutatásoknak. 

20171114_132045.jpg

 

A rendezvényt Péli Gábor, az MTA TK főigazgató-helyettese foglalta össze és zárta, a Számítógépes Társadalomtudomány témacsoport további tevékenységeire vonatkozó gondolataival.

Mi már nagyon várjuk a folytatást!

 

IRODALOM

Pennebaker, James W. 2011. The Secret Life of Pronouns: What Our Words Say About Us. USA, Bloomsbury.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Big Data Konferencia @ Pécs 2017.11.30

2017.11.10. 09:54 Szerző: zoltanvarju Címkék: konferencia big data Precognox emócióelemzés

A hónap végén egy remek konferencia lesz Pécsett, amin kollégáinkkal is találkozhattok. A Precognox a szövegek érzelmi elemzéséről, lead generálásról és scrapingről fog beszélni. Részletes program elérhető itt. 

tas_text_analytics_sytem_webversion.jpg

 

 

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Ki hogy beszél és milyen képet vág hozzá? @ conTEXT 2017

2017.11.07. 09:49 Szerző: zoltanvarju Címkék: konferencia migráns ATM topik modellek conTEXT LDA author-topic model

Ma a conTEXT-en adunk elő. Továbbra sem sikerült lejönnünk a topik modellezésről, de most nem a szokásos LDA lesz, hanem ATM (azaz Author-Topic Model). 

A migrációs válság során megjelent hírekből készült korpuszunkkal kapcsolatban a leggyakoribb kérdés az volt, hogy az egyes topikok mely hírodalakhoz tartoznak leginkább. Pl. az ilyen szép életképek a készülő, vagy éppen már elkészült határzárról mely oldalakra jellemzőbbek.

context_20171107.jpg

Az Author-Topic Model segít nekünk a fenti kérdés megválaszolásában.Sőt! Reménykedünk abban, hogy az ATM a mindennapi munkánkba is beépíthető!

 

A korpuszon végzett korábbi elemzéseinkről bővebben az alábbi linkeken:

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre