HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) facebook (8) Facebook (9) gépi tanulás (18) google (59) Google (33) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) Twitter (18) twitter (15) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

R meetup prezentáció

2013.11.28. 00:07 Szerző: Zoltán Varjú Címkék: meetup szövegbányászat R

Mivel sokan kértétek, itt közzé is teszem az előadásomhoz kapcsolódó prezentációt. Szeretném felhívni a figyelmet arra, hogy a twitteR csomag interaktív autentikációja nem működik RStudio alatt! A szervezőknek pedig ezúton is köszönöm a remek találkozót, élmény volt sok lelkes R fan között tölteni az estét!

 
photo 4.JPG

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

1 komment • Kövess Facebookon • Iratkozz fel értesítőre

Telenor Okostelefon Akadémia 2013. november 27.

2013.11.25. 10:17 Szerző: Kereso75 Címkék: mobil keresés konferencia okostelefon Telenor

2013. november 27-én tartja a Telenor Okostelefon Akadémia idei utolsó összejövetelét, melyet a kontextus alapú keresésről szóló előadásom nyit. További információk a rendezvény Facebook oldalán.

telenorakademia.jpg

Hogyan változtatták meg az okos eszközök a keresés fogalmát? Hogyan keresünk? Mit keresünk? Hol keresünk? MENNYIT keresünk? Milyen technológiák, algoritmusok segítik a legjobb találatok elérését? Ha ma az okos eszközök megpróbálják kitalálni következő kérdéseinket, mit tartogat a jövő?

18.00-tól várunk benneteket, a programot 18.30-kor kezdjük.
A fenti témákat meghívott szakértőinkkel, többek között 
Jóföldi Endrével a Precognox ügyvezetőjével, és a kereses.blog.hu szerzőjével járjuk körül, aki a kontextus alapú keresésről, a keresés külföldi, és hazai kísérleteiről mesél majd. Jelen lesz Pintér Róbert, az eNET mobil kutatások vezetője is, aki az okostelefonok, és a piackutatás módszereiről beszél majd. Az előadások közül természetesen nem maradhat ki a Google, mint korunk egyik legnépszerűbb keresője Dojcsák Dániel, a HWSW újságírójának ígéretes előadásában, illetve a Firefox OS keresésben nyújtotta előnyeire is fény derül Dencs Gábor előadásában. És ha már keresés… adatokon, eseményeken, és hasznos információkon, célpontokon kívül az utóbbi években már a társkeresés sem tabu téma. Berényi Konrád az onlinemarketing.blog.hu szerzője beszél a társkeresés XXi. századi mobilos megoldásairól. Gyurkó Szilvi az UNICEF applikációjának bemutatásával szembe megy témánknak: nem kell keresni, itt a témában mindent megtalálsz! Az est végéhez közeledve Várnagy Priszcillától megtudhatjátok, hogyan keres egy startup – azaz mit kell tenni, ha van egy jó ötletetek, már csak egy befektető hiányzik. A színpad záróeseményeként egy izgalmas keresőversenyen vehettek részt, illetve izgulhattok az Okostombola sorsoláson! :)

A rendezvény EXPO területére ismét a legmenőbb gyártók hozzák el újdonságaikat, illetve a keresés témájához kapcsolódó hazai fejlesztőcsapatok munkáival ismerkedhettek meg – a legérdekesebb megközelítésben. 

A belépés ingyenes, de regisztrációhoz kötött: részvételi szándéktokat jelezzétek az oa@eurolex.hu email címen, OA4 tárggyal! Regisztrációkat 2013. november 26. 17:00-ig dolgozunk fel.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Data science kicsit másképp

2013.11.22. 08:00 Szerző: Zoltán Varjú Címkék: big data computational social science data science compSS

A Stanford IRiSS Computational Social Science központja harmadik alkalommal rendezte meg konferenciáját, ami a big data legizgalmasabb felhasználási területeit mutatja be - igaz a társadalomtudományok álruhájába bújtatva. A konferencia összes előadása megtekinthető a YouTube-on, ezért mi itt személyes kedvenceinket emeljük ki.

Susan Athey az internetes hírgazdaságról szóló előadása kifejezetten üdítő és az olyan új aggregátorok megjelenésével mint Prismatic, Zite stb. van benne valami aktualitás is.

Az előadás címe önmagában érdekes; Peer Effects and Social Product Design! Eytan Bakshy egy másik kutatásáról már beszámoltunk korábban, most a Facebook kutatójától azt tudhatjuk meg, mire érdemes a közösségi termékek tervezése során figyelni.

Percy Liang személyes hősünk, mivel a mostanában mellőzött szemantika területén igyekszik új (és használható!) eredményeket elérni.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Miért buknak el nemzetek? - és mi köze van ennek a nyílt adatokhoz?

2013.11.21. 08:00 Szerző: Zoltán Varjú Címkék: open data nyílt adatok


A poszt eredetileg az Open Data blogon jelent meg. Ha érdekelnek a nyílt adatok, akkor az opendata.hu oldalon találhatsz érdekes adatokat, vagy linkelheted/feltöltheted az általad érdekesnek talált adathalmazokat.

Mi köze a nyílt adatoknak és a nyílt kormányzásnak egy nemzet sikeréhez és hogy áll Magyarország ezen a téren? Daron Acemoglu és James A. Robinson magyarul is olvasható Miért buknak el nemzetek? (Why Nations Fail?) című könyvükben arra keresik a választ, miért sikeresek egyes országok, míg mások úgy tűnik menthetetlenül elbuktak. A szerzőpáros könyvével azonos című blogján a nyílt kormányzást (open government) a befogadó intézményrendszer fontos részeként írják le, ami alapvetően befolyásolja az egyes nemzetek sikerességét.

letöltés.jpg

We are delighted to see the Prime Minister emphasize the importance of inclusive political institutions. He even went further and recognized that making political institutions inclusive is not the natural instinct of politicians (stating that “Transparency brings risks”).

In fact, many politicians and elites actively work to maintain extractive institutions in place.

This will not change overnight, but more political and intellectual leaders emphasizing the importance of inclusive institutions and the role of politicians and elites in creating and maintaining the institutions that are at the root of much of the poverty around the world is a very very important first step. [forrás]

A könyv rengeteg példán keresztül támasztja alá a sikeresség főbb tényezőit, melyek a

  • schumpeteriánus teremtő rombolás, azaz az új technológiák, eszmék stb. folyamatos megjelenése
  • tulajdonjog tisztelete
  • jogállamiság (rule of law)
  • demokrácia
  • jól működő és megbízható intézmények

A kötet legnagyobb érdekessége az, hogy sokkal tágabb perspektívába helyezi a jólét és a sikeresség fogalmát. A legtöbben általában a szabad vállalkozásban látják a jóléthez vezető utat és szeretik a GDP növekedés és a vállalkozás könnyedsége (ease of doing business) közötti összefüggést túlmisztifikálni. A Világbank adatkatalógusából a 2013-as GDP növekedési adatokat a "Doing Business Ranking" rangsorral összevetve azt látjuk, hogy a lista elején álló országok növekedése általában pozitív és a középmezőnytől kezdve egyre nagyobb a negatív eltérés. A trendvonal ellenben jól jelzi, hogy az államok többsége átlag körüli növekedést produkált.

gdp_business.png

Sokkal érdekesebb képet kapunk, ha a The Economist Democracy Index-ét vetjük össze az üzlet szabadságával. Nagyon egyértelműen látszik, hogy a vállalkozás szabadsága és a demokrácia összetartozik, további meglepetés, hogy a GDP változást megjelenítő ábrához képest nincs nagy különbség az élbolyban (hiszen az x-tengely ugyanaz mindkét esetben).

business_democracy.png

A World Justice Project jelentésének Open Government indexét vetjük össze az alábbi ábrán a demokrácia indexszel. Látható, hogy az "érett" demokráciákban a nyílt kormányzás már elterjedt, de a jelenség annyira új, hogy  az élmezőnyben is akadnak későn ébredők és a demokratikusnak tekinthető középmezőny is még rosszul teljesít.

democracy_open.png

Mivel a különböző indexek nem listáznak minden államot, ezért 88 országot tudtunk megvizsgálni. Az ábrákon a nagyobb EU tagállamok, a hazánkkal szomszédos országok és pár olyan ország szerepel, melyeket Acemoglu és Robinson könyve tárgyal.

Külön figyelmet érdemel, hogy külföldi, független intézetek által egész szép helyezéseket ért el hazánk mindegyik rangsorban! Reméljük minden évben jobban fogunk teljesíteni és az opendata.hu is hozzájárulhat ehhez. Azonban érdemes megjegyezni, hogy Robinson a HVG-nek adott interjújában felhívja a figyelmet arra, hogy bizony vigyázni kell az eddigi eredményekre és kemény munka árán lehet tovább javítani a jelenlegi viszonyokon.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Adatok, statisztika, üzlet

2013.11.20. 08:00 Szerző: Zoltán Varjú Címkék: statisztika big data data science

Habár napjainkban az újdonság erejével hat az üzleti felhasználók körében az ún. data science vagy adattudomány, az igazság az, hogy az üzleti életben már régóta bevett dolog az adatok módszeres gyűjtése és elemzése. További kérdést vet fel, hogy tudománynak nevezhetjük-e azt a gyakorlatot, amikor csupán mintázatokat keres valaki egy hatalmas adatbázisban.

 

Statisztika és tudomány

Scientific'Method'.JPG

Chris Anderson híres The End of Theory című cikkében egyenesen arra az álláspontra jut, hogy a big data értelmetlenné teszi a tudományos módszert, hiszen a számok immár magukért beszélnek és a mögöttük megbújó mintázatok mindent elmondanak nekünk. Így a minden statisztika órán ismételt a "korreláció nem oksági kapcsolat" mantra helyét felváltja a "nekem elég a korreláció, mivel nagyon sok adatom van" szemlélet. Ezzel szemben George E. P. Box, a modern statisztika egyik atyja úgy gondolja, a statisztikának különös helye van a tudományban, hiszen a módszeresen tervezett kísérletek nyitnak ablakot a világra, teszik lehetővé elméleteink tesztelését, a tesztek pedig alkalmat nyújtanak elméleteink korrigálására.

2013-11-17 11.52.47.png

Box Science and Statistics esszéjében a modern statisztika egy másik megalapozója, Ronald Fisher életútján keresztül szemlélteti a statisztika szerepét a tudományban és az alkalmazott kutatásokban. Fisher a Rothamsted Experimental Station mezőgazdasági kutatóintézetnél kezdte meg pályafutását, ahol olyan nagyon gyakorlati kérdésekkel került szembe, mint pl. az éves termés mennyiségének előrejelzése, az egyes növényfajták termelékenységének összevetése stb. A fiatal tudós annyira komolyan vette munkáját, hogy tkp. megteremtette a modern kutatásmódszertant!

R._A._Fischer.jpg

Box rövid írásában Fisher életművéből kiemeli, hogy az alkalmazott statisztika nem csupán matekzsonglőrködés (mathematistry), vagy a módszerek receptszerű követése (cookbookery), hanem együttműködés az adott terület szakértőivel, hogy az adatok megfelelően értelmezhetőek legyenek. Ez pedig egy iteratív munkát követel meg, melyben a modell kidolgozása, a kísérletek megszervezése és az adatok elemzése egy körfolyamat, amiben a statisztika egy eszköz egy probléma jobb megértéséhez.

Karl-Popper-Quotes-1.jpg

Box elképzelése tkp. Karl Popper tudománymodelljével egyezik meg, mely szerint minden valamennyire komolyan vehető tudományos elméletnek meg kell adnia cáfolhatóságának feltételeit. A tudományos elméletek lényege így nem csupán bizonyos mintázatok megtalálása és egyes események előrejelzése, hanem valamilyen magyarázattal is kell szolgálniuk, s egyben a téves előrejelzésekre is reagálniuk kell (ilyenkor általában az adatokban, vagy az elemzésben van a hiba, de előfordulhat az is, hogy magát az elméletet kell módosítani, mert falszifikálódott, azaz megcáfolódott). Lehetnek hasznosak az Anderson által is említett mintázatok, és a korrelációk hozhatnak jó előrejelzéseket, de nagyon ingatag lábakon állnak önmagukban, mivel pont a tudomány önkorrekciójára képtelenek!

Tudományos menedzsment

Az adatok gyűjtése és tanulmányozása egyidős a modern vezetéstudomány megszületésével. A tudományos menedzsment, vagy taylorizmus megalapítója Frederick W. Taylor minden munkafolyamat aprólékos tanulmányozásában látta az ipari termelés maximalizálásának kulcsát. 

800px-Musterarbeitsplatz.png

Alfred P. Sloan a General Motors-nál tökélyre fejlesztette a taylorizmust és az autógyártás minden munkafolyamatára kiterjedő aprólékos mérésekre alapozva szervezte át az általa vezetett gyáróriást. A pontos mérések és nyilvántartások statisztikai elemzése a GM-et a világ vezető vállalatává tette több évtizedre.

Blog-1-pic-1-Harbin-Henry-Ford-Changed-the-World.jpg

A nyolcvanas években a Motorola a tudományos menedzsment eredményeire támaszkodva dolgozta ki a Six Sigma módszertanát, mely célja, hogy 99.9999998 % legyen a hibamentes termékek aránya a gyártásban.

200px-Six_sigma-2.svg.png

A tudományos menedzsment eszközeit lassan minden üzleti szereplő átvette, mind a munkaszervezés, mind a piackutatás területén. A kilencvenes évektől megjelentek az üzleti intelligencia csoportok is, melyek elkezdték összefogni egy adott cégen belül az adatok gyűjtését és elemzését, ami nagyban megnövelte a statisztikákra alapozott döntések hatékonyságát. Immár nem egy-egy különálló részleg hoz adatokra alapozott döntést, hanem lehetőség van a különböző adatok közötti összefüggések feltárására is. 

Big data és data science

Technikai értelemben mindenképpen váltásról beszélhetünk a big data kapcsán, hiszen hihetetlen mértékben növekedett meg a begyűjthető és tárolható adatok köre az utóbbi években. Azonban Box arra figyelmeztet minket, hogy az adatelemzés nem merülhet ki előre megírt receptek követésében és számmisztikában! Miképp a jó statisztikus részt vesz az általa segített kutatásban, úgy a rendes adattudósnak is értenie kell hogyan kapcsolódik munkája cégéhez, a "tudós" jelző használata pedig csak akkor indokolt, ha a mintázatokon túl magyarázatokat és előrejelzéseket is képes adni, továbbá képes tanulni kudarcaiból is.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

süti beállítások módosítása