HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adatbányászat (10) adatelemzés (6) adatok (13) adatújságírás (16) adatvizualizáció (18) AI (15) alternatív (6) alternatív keresőfelület (26) beszédtechnológia (13) big data (52) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (15) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (15) Google (27) google (57) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) internetes keresés (29) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (73) kereséselmélet (8) keresés jövője (55) keresés problémái (40) keresők összehasonlítása (9) keresőmotor (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (24) korpusznyelvészet (14) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (7) LDA (10) lda (10) live (13) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (14) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (30) nyelvtechnológia (73) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (59) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (8) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (36) szöveganalitika (6) szövegbányászat (19) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (19) topik modellek (6) Twitter (18) twitter (15) vertikális kereső (9) vizualizáció (13) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Hogyan valósítható meg a teljes szöveges keresés japán nyelv esetén?

2020.11.26. 09:07 Szerző: Hódi Péter Címkék: keresés japán nyelv keresés problémái keresőmotor szöveges keresés Precognox Elasticsearch

tokio.jpg
Mi a teljes szöveges keresés?

A teljes szöveges keresés a számítógépen tárolt (kizárólag szöveges) dokumentumok keresésére szolgáló technikák összessége. Az ilyen típusú keresés esetében megpróbálunk megtalálni egy szót vagy kifejezést bárhol is rejtőzzön az az adott adatkészletben. A teljes szöveges keresést megkülönböztetjük a metaadatokon vagy az eredeti szöveg részeit (például címek, kivonatok, vagy bibliográfiai hivatkozások) tartalmazó adatbázisokban történő kereséstől.

Probléma a japán nyelvvel

A legtöbb európai nyelv esetében a szavakat szóközzel választjuk el, ami nagyban megkönnyíti a mondatok szavakra történő bontását. Így a kifejezések visszakereshetősége is meglehetősen egyszerű.
A japán nyelvben azonban az egyes szavakat nem választja el szóköz, amely rendkívüli módon megnehezíti a keresést. Ebben az esetben kizárólag több módszer közös használatával érhetünk el megfelelő eredményt. De mi határozza meg ezt az eredményességet, illetve minőséget?

kanji2.jpg

Pontosság (Precision) és visszahívás (Recall)

A pontosság és a visszahívás a teljes szöveges keresőrendszer minőség mérésének két általános módja. A pontosság azt jelzi, hogy „milyen kicsi a keresési kihagyás”, a visszahívás pedig azt, hogy „mekkora a keresési zaj”.
A pontosság és a visszahívás minősége tekintetében mindig kompromisszumot kell kötni, annak függvényében, hogy mi a keresési folyamatnál az elérendő cél.

Két módszer jobb mint az egy

Visszatérve a japán nyelv sajátosságához, könnyen belátható, hogy pusztán egy keresési technika alkalmazásával nem érhetjük el a kívánt találati minőséget. Tehát mit is kell tennünk? Két módszert kell egyidejűleg bevetnünk a japán szavak elemzésére.
Az egyik, az ún. n-gram elemzés esetében kevesebb a keresési kihagyás, de több a keresési zaj, míg a morfológiai analízis során kisebb keresési zajjal, de több keresési kihagyással kell számolnunk.

A fenti elemzési hiányosságokból következik, hogy a japán teljes szövegű keresésnél mindkét elemzési típus alkalmazása szükséges, az egyik módszer erősségével pótolva a másik gyengeségeit. A két módszer együttműködésével tehát megvalósítható a teljes szöveges keresés a japán nyelv esetén is.

Többet is szeretne tudni a témáról?

A fent leírtak technikai alkalmazásáról többet megtudhat az Elasticsearch* cikkéből, amely jelen blogbejegyzésünk alapjául is szolgált.

* Az Elasticsearch a világ vezető keresőmotorja, melyre olyan megoldások épülnek, mint a Precognox által fejlesztett TAS Enterprise Search.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

https://kereses.blog.hu/api/trackback/id/tr9216302226

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása