HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatok (12) adatújságírás (16) adatvizualizáció (15) AI (7) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (45) bing (14) CEU (6) clustering (6) conTEXT (7) dashboard (6) data science (8) deep learning (13) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (29) facebook (8) Facebook (9) gépi tanulás (10) Google (23) google (57) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képfeldolgozás (7) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (34) könyvajánló (20) korpusznyelvészet (13) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (6) LDA (9) lda (10) live (13) magyar kereső (9) marketing (8) meetup (39) mesterséges intelligencia (9) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (27) nyelvtechnológia (69) open data (11) open knowledge (7) politikai blogok (22) Precognox (42) Precognox Labs (14) Python (12) R (19) spam (6) statisztika (11) számítógépes nyelvészet (6) szemantikus keresés (16) szemantikus kereső (9) szentimentelemzés (31) szövegbányászat (14) tartalomelemzés (53) tartalomjegyzék (6) tematikus kereső (19) Twitter (18) twitter (15) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Nézzünk az adatokba!

2017.09.19. 13:05 Szerző: zoltanvarju Címkék: Python machine learning imbalanced-learn Facets

A machine learning esetében hatványozottan igaz a garbage in, garbage out elve. Az iparban nagy erőforrásokat teszünk abba, hogy az adatokat legyűjtsük, transzformáljuk, kitisztítsuk, majd a legtutibbnak mondott algoritmusokba dobjuk, hogy végül bosszankodjunk mert "a 99%-os pontosság csak az akadémiai világban létezik". Ilyenkor indul megint egy kör, még több adatot akarunk, vakarjuk a fejünket, hívjuk kutató barátainkat. Ezeknek a köröknek a jelentős része megspórolható, ha néha belenézünk az adatainkba.

nem_akadalymentesitett_num.jpeg

A fenti ábra egy jelenleg futó projektünkhöz készült. A projekthez van minden, amit szeretünk, szép feldolgozó pipeline, feature extraction, stb. Leszedünk több gigányi lakáshirdetést, hogy a végén legyen egy hatvanezer soros csv fájlunk. A feldolgozott adatokra aztán lesz minden, egy csodás report, modell mert prediktálni is kell és biztos vagyok benne, hogy menet közben sok más dolog is eszünkbe fog még jutni. Amíg a feldolgozósor elnyeri végső formáját, addig is lehet nézegetni az adatokat, nem árt egy leíró statisztika hogy lássuk mivel állunk szembe. Erre találták ki a Jupyter Notebook-ot.

test3_1.png

Ha nincs kéznél lelkes kolléga, aki alapos riportot készít Jupyter-ben, akkor van látványos és könnyen használható alternatíva; a Facets. A Google PAIR Code projektje a Jupyter notebookok használatát gondolta tovább, pár sorba sűríti a szokásos adatfelfedezést és egy interaktív felületet generál nekünk. Így tényleg szinte ránézésre látszik mivel is van dolgunk.

animation_1.gif

Habár elsőre megszerettük a Facets, úgy gondoljuk a munka első fázisában igazán hasznos, amikor sokat pörgünk az adatok beszerzésén és reszelésén, mi nem dobnánk el a szokásos riportot még.

 

De miért is olyan fontos folyton az adatainkat nézni? A legtöbb algoritmus amiről olvasunk remekül előkészített adatokon lett tanítva az őket bemutató publikációhoz. Ez annyit tesz, hogy pl. egy osztályozó minden osztályból kb. ugyanannyi példát lát. A "való világban" azonban nem ilyen adataink vannak, a legtöbb ügyfelünknél egy osztályból rengeteg, másból meg alig akad, ez egyenes út a "Class Imbalance Problem"-hez. Ha megismerjük alaposan az adatainkat, akkor egyrészt jó tippjeink lesznek arra, milyen eljárásokat érdemes bevetni majd a kívánt eredmények elérésére, másrészt felkészülhetünk lelkileg arra, hogy majd be kell vetnünk az imbalanced-learn-t.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Hogy olvas újságot a mesterséges intelligencia és mit lát a képeken? @ Budapest Science Meetup

2017.09.14. 16:46 Szerző: zoltanvarju Címkék: meetup tartalomelemzés képfeldolgozás AI lda deep learning lda2vec

Ma a Budapest Science Meetupon találkozhattok velünk, ahol legújabb tartalomelemzési projektjeinkről fogunk beszélni. Kapcsolódó diánkat pedig itt találjátok:

mynetarch.png

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

10 éves a Kereső Világ

2017.09.11. 10:06 Szerző: zoltanvarju Címkék: évforduló Precognox Kereső Világ

Tíz éve jelent meg az első poszt blogunkon. A kezdetek a keresőkről szóltak, azóta viszont kibővítettük témáinkat, megjelent a nyelvtechnológia, a mesterséges intelligencia és a gépi tanulás, meg minden más. Az alapító Jóföldi Endre mellett az évek során tizenketten csatlakoztak rövidebb vagy hosszabb időre rendszeres szerzőnek és számtalan vendégposztot is kaptunk. A blogban azt szeretjük a legjobban, hogy kapcsolatba kerülhetünk veletek, kedves olvasókkal; az idők során számtalan konferenciára jutottunk el, öt éve elindítottuk az NLP meetupot, rendszeresen együttműködünk a Nyelv és Tudománnyal, ott vagyunk a K-Monitor minden hackathonján. Köszönjük, hogy olvastok minket! Nem tudjuk kellően megköszönni kollégáink munkáját, akik nélkül nem tudnánk izgalmas projekteken dolgozni, melyek nélkül nem tudnánk nektek miről írni. Minden posztban, minden konferencia-előadásban ott van a Precognox csapatának munkája, köszönjük nektek!

05.jpg

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

1 komment • Kövess Facebookon • Iratkozz fel értesítőre

A migráció arcai @ nyest.hu

2017.09.04. 19:39 Szerző: zoltanvarju Címkék: tartalomelemzés képfeldolgozás adatvizualizáció AI

A nyest.hu-n elérhető legújabb tartalomelemzésünk melyben a migrációs válság során a magyar nyelvű online médiában megjelent képeket vizsgáltuk. A projekt során korábban már elemeztük a szöveges tartalmakat és beszámoltunk a képekkel kapcsolatos vizsgálódásaink előzetes eredményeiről itt. 

facesofmigration.png

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Az elméleti minimum...

2017.09.01. 11:50 Szerző: zoltanvarju Címkék: statisztika matek könyvajánló logika AI elmefilozófia machine learning

... azoknak, akik szeretnének a gépi tanulás és a mesterséges intelligencia alapjairól többet tudni.

img_20170901_103335.jpg

Morris Kline: Mathematics for the Nonmathematician

Talán a legtöbbünknek az a baja az absztrakt matematikával, hogy nem tudjuk mire is találták ki. Kline könyve a matematika főbb területeit történeti kontextusba ágyazva mutatja be, ami rendkívül izgalmassá teszi az olvasást. Persze vannak feladatok dögivel, ezeken érdemes végigmenni, ami viszont nem minden esetben annyira szórakoztató. Senki nem válik egy könyvtől egy terület szakértőjévé, de Kline segítségével kaphat az olvasó egy kis térképet, ami segít tájékozódni.

Bertrand Russel: Introduction to Mathematical Philosophy

A 19. század végére a matematika válságba került. Persze ezt a válságot csak pár ember élte meg igazi válságként, ők dolgozták ki a modern logika alapjait. Russel könyve érthetően, minden formalizmustól mentesen foglalja össze röviden mi okozott problémát és hogyan is oldották ezt meg.

Charles Petzold: Code: The Hidden Language of Computer Hardware and Software

A matematika válsága megoldódott, de megannyi nyitott kérdést hagyott maga után. Ilyen pl. az Entscheidungsproblem, azaz a eldöntésprobléma, azaz annak megállapítása, hogy egy adott kijelentés bizonyítható. Ennek megoldására Turing és Church vállalkozott, aminek eredménye a modern számítógépek megjelenése lett. Shannon megírta minden idők legjelentősebb MSc tézisét, amiben a logikai műveleteket áramköri kapcsolók segítéségével modellezte megnyitva ezzel az utat a modern számítástudomány előtt. Petzold könyve nem lebutítva, nagyon okosan és didaktikusan mutatja be, hogyan juthatunk el az egyszerű logikai kapuktól a számítógépekig és a rajtuk futó programokig. 

Charles Wheelan: Naked Statistics

Tudjuk, a statisztika megkerülhetetlen. Wheelan könyve annyira alaposan mutatja be a statisztika alapjait, amennyire csak lehetséges ez képletek nélkül. Aki a fenti videót bírja, annak a szerző stílusa be fog jönni és képletek hiánya ellenére is értékes tudásra tehet szert.

David Salsburg: The Lady Tasting Tea

Ahogy az absztrakt matematikával is sokszor az az átlagember problémája, hogy nem tudja elképzelni mire is lehet használni az eredményeit, a statisztikával sem más a helyzet. Salsburg könyve sem az elméleti háttérben erős, ellenben megtudhatjuk belőle, hogy nagyon szorító kérdés tud lenni a jövő évi termés megtippelése, vagy egy sörfőzdében is alakulhatnak úgy a dolgok, hogy kell egy brilliáns statisztikus.

Rudolf Carnap: An Introduction to the Philosophy of Science

Hogyan találkoznak össze a szigorú deduktív rendszerek és statisztika? Ez a tudomány világa, de ennek modellezésével foglalkozik a gépi tanulás is. A tudományfilozófia klasszikus korában nagyon sokat foglalkozott a valószínűségszámítás elméleti hátterével, az empirikus mérésekre alapozott következtetések természetével és ezekre épített rendszerek konzisztenciájával. A kötet eredeti címe Philosophy of Physics volt, mivel a legtöbb benne található példa a fizika világából való, de ettől nem kell félni, ez egy bevezető könyv, amiben a formalizmus a minimálisra van szorítva.

Pedro Domingos: The Master Algorithm

Ezt a könyvet korábban már bemutattuk itt, továbbra is csak azt tudjuk mondani róla, hogy alap.

Tim Crane: The Mechanical Mind

Ha valaki szeretne túllépni a közhelyszerű "a gépek majd egyszer ellenünk fordulnak" és "a gépek mindig hülyék maradnak" toposzokon, annak érdemes elgondolkoznia az elme és a tudatosság fogalmán. Megannyi kérdés merül fel, amire az elmefilozófusok évszázadok óta keresik a választ. Mit jelent tudni valamit? Hogyan reprezentáljuk a tudás különböző fajtáit? Milyen problémákat vet fel, ha szimbolikusan reprezentáljuk az információt, vagy ha éppen elosztottan? Az elme függ a hordozójától, vagy tök mindegy hogy egyes funkcióit sejtek, másokat meg áramkörök valósítják meg? Vigyázat! A filozófia természeténél fogva nem ad feltétlenül végleges válaszokat, hanem egy-egy megközelítési módot jár körül, annak pozitívumait és negatívumait bemutatva - de nincs ennél jobb szórakozás és egyáltalán nem haszontalan (legalábbis szeretnénk ezt hinni....)

 

Bónusz

Az Elméleti mimimum (The Theoretical Mimimum) Leonard Susskind fizikus előadásai a matematikailag nem kezdő érdeklődőknek szólnak, melyek rendkívül népszerűek. Az előadások anyagából készül könyvek magyarul is megjelentek (I. és II.). Mivel a gépi tanulás (meg a deep learning) eszközkészletének egy jelentős része a statisztikus mechanikából jött, ezért nem haszontalan ezt az elméleti minimumot elsajátítani valamennyire.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre