HTML

Precognox

precognox_logo_190.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás megoldásokat.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldhatjuk problémáidat, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Facebook oldaldoboz

Meetup ajánló

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Az opendata.hu oldalt a Magyar OpenData Alapítvány/Egyesület hivatalos megalakulásáig - lelkes önkéntesek segítségével a
K-Monitor Közhasznú Egyesület (K-Monitor) működteti, az üzemeltetést a Precognox végzi.

Főbb témák

adatbányászat (6) adatok (12) adatújságírás (16) adatvizualizáció (16) AI (8) alternatív (6) alternatív keresőfelület (24) beszédtechnológia (13) big data (47) bing (14) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (8) deep learning (14) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (34) Facebook (9) facebook (8) gépi tanulás (10) google (57) Google (23) gyűlöletbeszéd (7) hackathon (9) hálózatelemzés (14) internetes keresés (26) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (57) kereséselmélet (7) keresés jövője (55) keresés problémái (38) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (41) könyvajánló (21) korpusznyelvészet (14) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (6) LDA (10) lda (10) live (13) magyar kereső (9) marketing (8) meetup (40) mesterséges intelligencia (9) metafora (6) mobil (37) mobil keresés (17) Neticle (8) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (28) nyelvtechnológia (72) open data (11) open knowledge (7) Pennebaker (6) politikai blogok (22) Precognox (44) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (8) szemantikus keresés (18) szemantikus kereső (9) szentimentelemzés (33) szövegbányászat (14) társadalomtudomány (6) tartalomelemzés (53) tartalomjegyzék (6) tematikus kereső (19) topik modellek (6) Twitter (18) twitter (15) vertikális kereső (9) vizualizáció (11) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Keresés és big data

2012.06.12. 12:00 Szerző: zoltanvarju Címkék: google keresés adatok weblib big data InfoHarvester Hadoop

Egyre több kereséssel foglalkozó cég fordul az ún. big data, vagyis a nagy adatok begyűjtése és elemzése felé. Blogunkon is egyre többet foglalkozunk olyan szolgáltatásokkal, melyek az adatok körül mozognak. De hogyan is jutottunk el a kereséstől a big data-hoz?

 

bigdata03.png

 

A híres PageRank keresési algoritmus az egyes potenciális találati oldalakat rangsorolja annak tükrében, hogy hány külső link mutat rájuk. Mivel tulajdonképpen az egész Google e köré épül belátható, hogy egész jól működik ez az eljárás. Igen ám, de ahhoz, hogy az egész webre vonatkozóan tudjuk rangsorolni az oldalakat, meg kell vizsgálnunk a közöttük lévő linkeket, amihez be kell gyüjetni minden oldal forráskódját, hogy lássuk ezeket az információkat. Ez önmagában hatalmas adatmennyiség, ami időben változik (egy weboldal általában frissül, bővül, új oldalak születnek nap mint nap stb). Így időről-időre ún. crawlerek, automatikus programok mentik el az oldalak tartalmát.

 

bigdata04.jpg

 

A begyűjtött adatok mennyisége gyorsan hatalmasra duzzadhat, különösen ha az egész webet figyeljük így. Ebből kell kiszámítanunk, hogy egy keresési kifejezéshez, mely oldalak milyen PageRank értékkel párosíthatóak. Ez rendkívül erőforrásigényes feladat. Sokáig úgy gondolták a szakemberek, hogy speciális hardver szükséges ehhez, de később a hardver árak csökkenésével egyszerűbbé vált nagy tömegben viszonylag olcsó eszközök alkalmazása. A Google 2004-ben fedte fel megoldását híres MapReduce: Simplified Data Processing on Large Clusters című tanulmány publikálásával. Az eljárás lényege, hogy két, jól elkülöníthető feladatként fogalmazzuk meg az adatok feldolgozását. Az első lépésben ugyanazt a feladatot "visszük ki" az elosztott rendszer minden tagjához (map fázis), majd összesítjük az adatokat. Képzeljük el, hogy gyorsan szeretnénk gyöngyöt fűzni egy csapattal. Minden tag megkapja a csomag gyöngyöt. Kérjük meg őket, hogy válasszák ki a kék gyöngyöket, majd csakis a kék gyöngyöket fűzzék rá a damilra, amit körbe adunk. A map fázist a csoport tagjai végzik, a reduce pedig a kiválasztott gyöngyök felfűzése. Az előző feladathoz hasonlóan a gyöngyök színeiről is készíthetünk összesítését. Kérjünk meg minden tagot számolja meg melyik színből hány van a csomagjába, ez a map fázis. Így nem kell minden csomagot külön-külön feldolgoznunk, hanem ha pl a zöld gyöngyök száma érdekel minket csak megkérdezzük kinél hány darab van, pl. 9, 9, 9, 8, 5 és összeadva megkapjuk hogy 40 (reduce fázis).

 

bigdata01.png

 

Miután a Google kutatói közölték tanulmányukat az Apache alapítvány a Yahoo! támogatásával megalkotta a Hadoop keretrendszert, mely egy nyílt forráskódú mapreduce implementáció ami köré egy kis ökoszisztéma alakult ki és egyre több cég nyújt támogatást is. A felhőalapú szolgáltatások terjedésével immár a kedves olvasó is pár perc alatt olcsón felállíthat egy Hadoop klasztert, amivel több gigabájtnyi adatot is elemzhet. Ahogy adatpiac sorozatunkban bemutattuk egyre többféle és egyre nagyobb mennyiségű adat érhető el olcsón vagy akár ingyen is.

Azonban a Hadoop csak egyik oldalát oldja meg a problémának, nevezetesen az adatelemzést. Az adatok beszerzése ellenben külön probléma marad. Vehetünk adatokat, gyakran egy cég működése során is rengeteg adat keletkezik, de sokszor magunknak kell beszerezni az elemezni valót. Ezzel vissza is jutottunk a crawlerekhez.

 

bigdata05.jpg

 

Az InfoHarvester a WebLib új terméke tkp. irányítottan képes összeszedni és a Hadoop számára elemezhető formában eltárolni a szükséges adatokat. Így rögtön kereshetővé és elemezhetővé is válik az adatbázis.

A big data tehát a keresés egyik speciális problémája, nem csoda, hogy egyre több eredetileg keresőkkel foglalkozó cég fordul a terület felé.

A Kereső Világ a precognox_logo_190.jpg Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

http://kereses.blog.hu/api/trackback/id/tr494581297

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben.

Nincsenek hozzászólások.