HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) facebook (8) Facebook (9) gépi tanulás (18) Google (33) google (59) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) twitter (15) Twitter (18) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Szemantikus keresés – négy példa

2009.08.31. 17:33 Szerző: siklosib Címkék: szemantikus keresés kereséselmélet

A szemantikus web világában a szemantikus keresés gyakran a szemantikai információkkal kiegészített, előre feldolgozott adathalmazokból való információkinyerést jelenti. Ilyen például az RDF (Resource Description Framework) metaadat-adatmodellje, melyek létrehozása körülményes és sok munkát igényel. A nem ilyen módon rendelkezésre álló szövegek jelentés alapján való keresése a szemantikus keresés egy másik irányába vezet, ahol a nyelvészeti adottságokból eredő szemantikai összefüggések, ontológiai tudásreprezentációk és statisztika alapú megközelítések játszanak elsődleges szerepet.


1.PowerSet - szintaktikai megközelítés
A keresés tárgyaként szolgáló adathalmazok nagy része természetes nyelvű szövegként áll rendelkezésre. Ebből adódik, hogy ezek, illetve a rájuk irányuló szintén emberi nyelvű lekérdezések feldolgozásához az adott nyelv tulajdonságaiból adódó jelenségek kezelése szükséges jelentés alapú kereső rendszerek megvalósítása során. Ilyen nyelvi jellemzők a szintaktikai szabályok, szemantikai következések, többértelműség.

  • Szintaktikai szabályok: A szintaktika érvényesülése független attól, hogy milyen témájú szövegről, esetleg szakszövegről van szó, illetve attól is, hogy mikor keletkezett, ezért egy viszonylag állandó tényező.  Ezzel szemben szemantikai információt is hordoz. Például az angol passzív formák esetén arra a kérdésre, hogy „Who did Peoplesoft aquire?”  jó válasz lehet, hogy „Peoplesoft aquired JD Edwards.”, a következő azonban nem a kérdésre válaszol: „ Peoplesoft was aquired by Oracle.”. Kulcsszavas keresés esetén általában a "was" és "by" stopword listára kerül, tehát jó eredményként jelenik meg a második válasz is, hiszen a szavak megfelelnek a kérdésnek.
  • Szemantikai következés: Bár a nyelvtan állandó, mégsem elégséges, hiszen megváltozhat egy mondat jelentése bizonyos szavak megváltoztatása során, hogy közben a szintaktika nem változik. Például „Peoplesoft managed to buy JD Edwards.”, „Peoplesoft failed to buy JD Edwards” mondatok szintaktikai szerkezete azonos, jelentésük mégis eltér. Az ilyen esetek kezelésére fogalmi hierarchiák, lexikai és tartalomtól függő következtetések bevezetése növelik a fedés mértékét, de a pontosságot ronthatják.
  • Többértelműség: Egy több jelentést hordozó mondat vagy kifejezés különböző értelmezései nem feltétlenül logikai diszjunkcióként ábrázolhatók. Például a „John knows the chicken is ready to eat.” mondatban John tudása nem felel meg annak a „vagy” feltételnek, hogy „John knows the chicken is [hungry or cooked]”. Ezért nem pusztán logikai sémák alkalmazása, hanem összetettebb, valószínűségen, szövegkörnyezet figyelembevételén alapuló módszer alkalmazása szükséges.

A PowerSet által megvalósított szemantikai indexelés lépései, mely lehetővé teszi, hogy a rendszer a lekérdezés során gyors legyen, a következők:

  • A dokumentumokban szereplő mondatok elemzése, mondatrészek közötti kapcsolatok, összefüggések meghatározása.
  • Nevezetes entitások meghatározása (személyek, nevek, stb)
  • Kibővítés hasonló, illetve általánosabb osztályba sorolható entitásokra, absztrakció.
  • Minden mondathoz az előző lépések során kapott felépítés alapján a lehető legtöbb információ hozzárendelése.


Példa:"Sir Edward Heath died from pneumonia" megfelel annak a mondatnak az elemzés és kibővítés után, hogy "A politician killed by a disease", ezért a rendszer választ fog találni benne arra a lekérdezésre, hogy "diseases that killed politicians".


2.RiverGlass - ontológiai megközelítés
A szintaktikai szabályok elsősorban a felszínen érvényesülnek, míg a jelentés, a szemantika ennél mélyebb fogalmat takar. A szintaktika, kulcsszavak kinyeréséből alkotott statisztika, szöveg megjelölés, címkézés tehát nem szemantikai fogalmak. A szemantika, jelentés megértéséhez a nyelv ismeretére (lexikon) és a világ ismeretére (ontológia) van elsősorban szükség.
A RiverGlass felépítése:

  • Morfológiai, szintaktikai elemző rendszer végzi az előfeldolgozást.
  • Lexikon és adatbázis alapján a tulajdonnevek kinyerése után egy „szemantikai szöveget” hoz létre, ontológia megfeleltetésével.
  • Az így kapott jelentés reprezentációkat eltárolja. A RiverGlass rendszer nem a teljes web feldolgozását célozza meg, így ez az eltárolás viszonylag könnyen megvalósítható, természetesen minél bővebb a feldolgozandó szöveghalmaz, úgy növekszik az itt szükséges tárigény.
  • Lekérdezés során a kérdéses szöveget ugyanígy elemzi, a tárolt minták megfeleltetése alapján keresi a megfelelő válaszokat.

3. Hakia - szintén ontológiai megközelítés
Mérnöki szemszögből közelítve itt az elsődleges hangsúly a platform optimalizálásán van. A hagyományos indexelési technikák nem alkalmasak a szemantika kezelésére a weben található hatalmas mennyiségű dokumentumhalmaz miatt. Ezért alulról felfelé közelíti a problémát: a dokumentumokból meghatározza, hogy milyen kérdésekre adhatnak választ, így sokkal kisebb lesz a lekérdezés során feldolgozandó adatmennyiség, melynek köszönhető a hatékonyság és a sebesség növelése a minőség megtartása mellett.

A feldolgozás lépései:

  • A dokumentumok tartalma alapján meghatározza a dokumentumra vonatkozó lehetséges lekérdezéseket (mind szintaktika szabályok, mind ontológia felhasználásával).
  • Horizontális kiterjesztés: meghatározza, hogy adott kifejezések esetén melyek azok, amik szintén arra az eredményre kell  hogy vezessenek, tehát a keresés során figyelembe kell venni. (treat = cure, heal, help...)
  • Vertikális kiterjesztés: meghatározza, hogy adott kifejezések esetén melyek azok, amik esetleg speciálisabb vagy általánosabb formában szintén jó eredményt jelentenek.   (drug -> painkiller -> aspirin...)
  • Tulajdonnevek esetén szükséges a jelentéskör meghatározása (Saturn: bolygó vagy autó).


4. TextWise - statisztikai alapú megközelítés
Az előző példákkal ellentétben sem teljes nyelvtani elemzést (csak felszíni elemzést), sem ontológiát nem alkalmaz, hanem "környezeti szemantikán" alapul. Egy kifejezés jelentését a szövegkörnyezet határozza meg, többértelmű szavak esetén is egy magasabb szintű szövegkörnyezet egyértelműen meghatározza a jelentést. Például a „bank” szó jelentése egyértelművé válik a következő környezetekben: „bank regulators" - pénzügyi intézmény, „on the left bank” - folyópart.
Statisztikai tanulási módszerek segítségével helyezi el a dokumentumokat a megfelelő jelentés terekben (vektorterek) a dokumentumban szereplő kifejezések alapján. Célja a magasabb szintű szövegkörnyezetek meghatározása, nem a konkrét válasz egy adott lekérdezésre. Az így elért témacsoportok és a lekérdezések közötti hasonlóságot, összefüggést vizsgálja a megfelelő eredmény elérésére.

Ez az összefoglaló az alábbi konferencia video alapján készült.

 

Semantic Search Beyond RDF from Semantic Universe on Vimeo.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

https://kereses.blog.hu/api/trackback/id/tr261351211

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása