HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adat (8) adatbányászat (11) adatelemzés (9) adatok (13) adatújságírás (16) adatvizualizáció (19) AI (19) alternatív (6) alternatív keresőfelület (28) analitika (6) beszédtechnológia (13) big data (55) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (9) deep learning (18) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (18) Google (33) google (59) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) intelligens keresés (6) internetes keresés (35) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (87) kereséselmélet (8) keresési felület (6) keresés jövője (57) keresés problémái (41) keresők összehasonlítása (9) keresőmotor (16) keresőoptimalizálás (8) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (25) korpusznyelvészet (14) közösségi keresés (8) közösségi média (8) különleges keresők (7) kutatás (9) LDA (10) lda (10) live (13) machine learning (9) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (19) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP (8) NLP meetup (17) Nuance (9) nyelv (7) nyelvészet (32) nyelvtechnológia (76) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (65) Precognox Labs (14) Python (14) R (19) spam (6) statisztika (12) számítógépes nyelvészet (9) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (37) szöveganalitika (7) szövegbányászat (22) társadalomtudomány (7) tartalomelemzés (56) tartalomjegyzék (6) tematikus kereső (20) topik modellek (6) twitter (15) Twitter (18) vállalati kereső (7) vertikális kereső (9) vizualizáció (13) yahoo (27) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Mire jók a tudományos modellek?

2013.09.27. 08:00 Szerző: Zoltán Varjú Címkék: tudomány komplexitás data science Schelling NetLogo

Az adatokban minden ott van! De akkor mire jók a tudományos elméletek? Igaza volt Chris Anderson-nak, amikor a tudományos módszer végéről írt? A szegregáció kapcsán megvizsgáljuk mi értelme van az íróasztal mellett valós adatok nélkül elméleteket gyártani, de előbb kitérünk arra, hogyan is vélekedik az elméletekről az egyik legismertebb adattudós Drew Conway.

Data_Science_VD.png

Conway data science Venn diagramja rendkívül népszerű, érdemes azonban kiemelni a kapcsolódó posztból a veszélyzónáról (Danger Zone!) szóló részt (kiemelés tőlünk):

Finally, a word on the hacking skills plus substantive expertise danger zone. This is where I place people who, "know enough to be dangerous," and is the most problematic area of the diagram. In this area people who are perfectly capable of extracting and structuring data, likely related to a field they know quite a bit about, and probably even know enough R to run a linear regression and report the coefficients; but they lack any understanding of what those coefficients mean. It is from this part of the diagram that the phrase "lies, damned lies, and statistics" emanates, because either through ignorance or malice this overlap of skills gives people the ability to create what appears to be a legitimate analysis without any understanding of how they got there or what they have created. Fortunately, it requires near willful ignorance to acquire hacking skills and substantive expertise without also learning some math and statistics along the way. As such, the danger zone is sparsely populated, however, it does not take many to produce a lot of damage.

Az adatok értelmezéséhez és elemzéséhez elméleti háttér szükséges tehát. Ez nem csupán a statisztika alapos ismeretét feltételezi! Thomas Schelling nyomán a szegregáción keresztül próbáljuk meg azt szemléltetni, hogy nagyon is elméleti megfontolások mentén kell értelmezni a statisztikai adatokat. 

Thomas_Schelling.jpg

Hogyan adhatjuk meg a szegregáció definícióját? X város, iskola stb. mihez képest szegregált? A teljes lakossághoz viszonyítva, egy térséghez képest? Ha egy adott kisebbség tagjainak arány egy településen 20%, de egyes kerületekben arányuk 25% feletti akkor beszélhetünk szegregációról? Egyáltalán, van olyan ideális helyzet, amikor nincs szegregáció? Schelling híres Dynamic Models of Segregation tanulmányában abból indult ki, hogy egy tökéletesen deszegregált környezetben mindenki véletlenszerűen választ magának lakhelyet. Tegyük fel, hogy egy adott város lakói egyáltalán nem rasszisták, de jellemző rájuk a homofília azaz a velük egy csoportba tartozóakat preferálják bizonyos mértékig (bővebben l. korábbi posztunkat). Ha ezután az emberek elkezdenek költözködni, bizony kis homofília preferencia mellett is kialakulnak homogén szigetek egy adott területen belül! Mindez nem jelenti azt, hogy a szegregáció "természetes" jelenség, csupán azt szemlélteti, hogy a homofília miatt egy ideális helyzetben is megjelenik némi elkülönülés. 

NetLogo.png

A NetLogo program segítségével modelleztünk egy világot, melyet egyenlő arányban népesítenek be zöld és piros háromszögek és preferenciájuk szerint azt szeretik, ha minimum 30%-a a szomszédaiknak hasonló színű. A kiindulási helyzetben véletlenszerűen népesítik be a rendelkezésükre álló területet. 

netlogo01.png

Ezután "megengedjük" a lakóknak hogy elköltözzenek. Pár költözés után már látszik, hogy elkezdenek kialakulni homogén területek.

netlogo02.png

Több költözési ciklus után szabályos zöld és piros "negyedek" alakulnak ki.

netlogo03.png

Érdemes egy pillantást vetni a Pro Publica szegregációról szóló Living Apart sorozatának térképeire. Az 1940-es években még éltek a szegregációs törvények és a fekete népesség a déli államokban összpontosult. Az északi iparvárosokban is egyértelműen egy-egy nagy tömbben összpontosultak a feketék.

segregation01.png

A polgárjogi mozgalomnak hála sokat változott a helyzet délen. Az északi városokba egyre több fekete költözött a gazdasági változások hatására, de meglepő módon továbbra is etnikailag homogén lakókörnyezetbe érkeztek az új migránsok. Schelling modelljének értelmében ez a diszkrimináció és a szegregáció nyilvánvaló jele, hiszen messze túlmutat a preferenciákon alapuló véletlen mintázatokon.

segregation02.png

Ha csupán az adatokat néznénk, akkor szinte minden esetben szegregációt kiálthatnánk. Mivel nincs tökéletesen deszegregált társadalom, nehéz megtalálni azt a pontot, amikor szegregációról beszélhetünk - a klasszikus elméletek pontosan az ilyen viszonyítási pontok megtalálásában segítenek.

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A bejegyzés trackback címe:

https://kereses.blog.hu/api/trackback/id/tr995534633

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása