HTML

Precognox

 precognox-logo-cmyk-620.jpg

A blog készítői a Precognox Kft. keretein belül fejlesztenek intelligens, nyelvészeti alapokra épülő keresési, szövegbányászati, big data és gépi tanulás alapú megoldásokat.

Az alábbi keresődoboz segítségével a Precognox által kezelt blogok tartalmában tudsz keresni. A kifejezés megadása után a Keresés gombra kattintva megjelenik vállalati keresőmegoldásunk, ahol további összetett keresések indíthatóak. A találatokra kattintva pedig elérhetőek az eredeti blogbejegyzések.

Ha a blogon olvasható tartalmak kapcsán, vagy témáink alapján úgy gondolod megoldással tudunk szolgálni szöveganalitikai problémádra, lépj velünk kapcsolatba a keresovilag@precognox.com címen.

Precognox Blogkereső

Document

opendata.hu

opendatahu45.jpg

Az opendata.hu egy ingyenes és nyilvános magyar adatkatalógus. Az oldalt önkéntesek és civil szervezetek hozták létre azzal a céllal, hogy megteremtsék az első magyar nyílt adatokat, adatbázisokat gyűjtő weblapot. Az oldalra szabadon feltölthetőek, rendszerezhetőek szerzői jogvédelem alatt nem álló, nyilvános, illetve közérdekű adatok.

Facebook oldaldoboz

Blog figyelése (RSS)

 Add hozzá az RSS olvasódhoz

Ha levélben szeretnél értesülni az új cikkekről:

Star Wars text mining

visualizing_star_wars_movie_scripts_precognox.jpgA long time ago, in a galaxy far, far away data analysts were talking about the upcoming new Star Wars movie. One of them has never seen any eposide of the two trilogies before, so they decided to make the movie more accessible to this poor fellow. See more...

Főbb témák

adatbányászat (9) adatelemzés (6) adatok (13) adatújságírás (16) adatvizualizáció (18) AI (14) alternatív (6) alternatív keresőfelület (26) beszédtechnológia (13) big data (51) bing (14) blogkereső (6) CEU (6) clustering (6) conTEXT (8) dashboard (6) data science (8) deep learning (15) egészség (7) egészség kereső (7) előadás (7) emócióelemzés (35) Facebook (9) facebook (8) gépi tanulás (15) google (57) Google (24) gyűlöletbeszéd (7) hackathon (10) hálózatelemzés (14) internetes keresés (27) internet hungary (6) képfeldolgozás (8) képkereső (8) keresés (68) kereséselmélet (8) keresés jövője (55) keresés problémái (39) keresők összehasonlítása (9) keresőoptimalizálás (6) kereső szándéka (11) kereső tanfolyam (9) kereső teszt (15) kognitív nyelvészet (12) konferencia (46) könyvajánló (24) korpusznyelvészet (14) közösségi keresés (8) közösségi média (6) különleges keresők (7) kutatás (7) lda (10) LDA (10) live (13) magyar kereső (9) marketing (8) meetup (41) mesterséges intelligencia (14) metafora (7) mobil (37) mobil keresés (17) Neticle (9) NLP meetup (17) Nuance (9) nyelv (6) nyelvészet (30) nyelvtechnológia (73) open data (12) open knowledge (7) orosz (6) Pennebaker (6) politikai blogok (22) Precognox (55) Precognox Labs (14) Python (13) R (19) spam (6) statisztika (11) számítógépes nyelvészet (8) szemantikus keresés (19) szemantikus kereső (9) szentimentelemzés (35) szövegbányászat (18) társadalomtudomány (7) tartalomelemzés (55) tartalomjegyzék (6) tematikus kereső (19) topik modellek (6) Twitter (18) twitter (15) vertikális kereső (9) vizualizáció (13) yahoo (26) Címkefelhő

A blog tartalmai CC licenc alá tartoznak

Creative Commons License
Kereső Világ by Precognox Kft. is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Based on a work at http://kereses.blog.hu/.
Permissions beyond the scope of this license may be available at http://precognox.com/.

A Kereső Világ blogon közölt tartalmak a Precognox Kft. tulajdonát képezik. A tartalom újraközléséhez, amennyiben nem kereskedelmi céllal történik, külön engedély nem szükséges, ha linkeled az eredeti tartalmat és feltünteted a tulajdonos nevét is (valahogy így: Ez az írás a Precognox Kft. Kereső Világ blogján jelent meg). Minden más esetben fordulj hozzánk, a zoltan.varju(kukac)precognox.com címre írt levéllel.

Creative Commons License

Nevezd meg! - Ne add el! - Ne változtasd!

 

Milyen megoldások kínálkoznak a web-es tartalmak összegyűjtésére?

2019.06.18. 09:33 Szerző: Hódi Péter Címkék: internet adatok adatbányászat adatmennyiség adatminőség big data Precognox

Az Interneten található adatokat (szöveges tartalmakat) több módon is összegyűjthetjük. Akár magunk is megpróbálhatjuk az adatokat felkutatni és letölteni, vagy választhatunk kész megoldások közül is. A döntést több tényező is befolyásolja, ezeket és a lehetséges megoldásokat járjuk most körbe.

 access-data-436712_1280.jpg

A legmeghatározóbb tényezők az adat mennyisége, minősége és elérhetősége.

 

Adatmennyiség

Az összegyűjtendő tartalmak mennyisége alapvetően meghatározza, hogy milyen módszert választunk. Kisebb adatmennyiség összegyűjtése esetén természetesen mi magunk is elvégezhetjük a feladatot. Gondoljunk csak arra az esetre, amikor például kizárólag a múlt hónap nyertes lottószámait szeretnénk megtudni, illetve azokat adatbázisba rendezni. Ilyenkor a feladat megoldható lényegében minimális szakértelemmel. De mi van akkor, ha egy vezető tudományos oldal több ezer cikke lenne az alapja egy nagyobb lélegzetű tanulmány megírásának vagy egy fejlesztési projektnek? Ilyenkor mindenképpen tömeges legyűjtésre van szükség, melyhez célzott megoldásra van szükség.

 

Adatminőség


Az adatok összegyűjtése során a mennyiség mellett fontos tényező lehet az adatminőség is, ez is befolyással van arra, hogy milyen megoldás mellett tesszük le voksunkat
Az adatminőség alatt azt értjük, hogy az adat milyen mértékben felel meg a vele szemben támasztott követelményeknek.
Ilyen követelmények lehetnek például:

  • minden rekordnak tartalmaznia kell a közzététel dátumát
  • minden cikknek adóügyekről kell szólnia
  • ne legyenek duplikátumok.

Számtalan esetben előfordul, hogy a gyűjtés mellett egyéb munkafolyamatok – adattisztítás, adatgazdagítás - elvégzésére is szükség van annak érdekében, hogy az elvárásoknak meg tudjunk felelni. Ilyen kritérium lehet például a kimeneti formátum, melyet a következő munkafolyamat (pl.: vizualizáció egy business intelligence eszközzel) megkövetel, vagy a különböző forrásokból származó dátumadatok formátumának egységesítése.
Bizonyos esetekben a letöltött adat kizárólag egy másik forrásból származó információ hozzáfűzésével válik értékes adattá (például pénzügyi adatoknál az aktuális devizaárfolyamok segítségével történő átváltás, ha a forrásoldal nem az elvárt devizával számol).

Az adat elérhetősége


A tartalmakhoz való hozzáférés bonyolultsága is behatárolja a választható adatgyűjtő eszközöket
Az Internetes oldalak eltérő felépítése (dinamikus és scrollozással betöltődő, vagy trükkös lapozással elérhető, esetleg bejelentkezést igénylő oldalak) nagyon megnehezítik az adatgyűjtést. Negatívan befolyásolja az adatgyűjtést az is, amennyiben az adatgyűjtés csak több adatforrás egyidejű letöltésével valósítható meg.
Emellett figyelembe kell venni a robots.txt által megjelölt oldalakat, tartalmakat.

privacy-policy-445157_1280.jpg

 

 

Az adatmennyiség, minőség és elérhetőség függvényében tekintsük át, hogy milyen megoldások kínálkoznak és mik ezeknek az előnyei és hátrányai!

 

Csináld magad, avagy open source megoldások


Ma már komoly open source eszközök állnak rendelkezésre, mint a például a Scrapy vagy a Mechanical soup. Ezek kimondottan hasznos, ingyenesen elérhető eszközök, azonban nem alkalmasak például a dinamikus oldalak tartalmainak gyűjtésére, ami azért is komoly probléma, mert jelenleg az ilyen jellegű oldalak aránya közel 30% a weben. Így ezen megoldások használata nem garantál kimagasló eredményt, illetve hatékonyságuk növelése komoly fejlesztői-programozói tudást igényel.

Kompakt megoldások


A nemzetközi piacon találhatóak már havi pár száz dolláros előfizetés mellett elérhető kész megoldások – ilyenek például a Diffbot és az import.io. Ezek kimondottan felhasználóbarát és szűkebb keretek között testreszabható eszközök, azonban mégsem alkalmasak az egyedi és magasabb igények kielégítésére, illetve az extra szolgáltatásokat is csak magasabb díjszabás mellett tudják biztosítani. Emellett ezek a szolgáltatások nem nyújtanak további kapcsolódó szöveganalitikai megoldásokat (pl.: egyedi vállalati keresőmotor az összegyűjtött szöveges tartalmak keresésére).

Egyedi megoldás


Az olyan eszközök, mint a Precognox TAS Data Collector tökéletes megoldást kínálnak abban az esetben, ha nagyobb webes adatmennyiség összegyűjtésére van szükség magas adatminőség mellett és még az adatok hozzáférhetősége is komoly kihívást jelent. A komplex követelményeknek kizárólag ilyen, a feladatra specializált adatgyűjtő megoldással lehetséges megfelelni.
Emellett a Data Collector egy komplex szöveganalitikai platform része, így nem csak a szöveges tartalmak gyűjtésére, hanem az adatokkal történő munkavégzésre is különleges megoldásokat kínál. Mindezt nagyon kedvező árképzés mellett, hiszen akár havi néhány tízezer forintos díjszabással is elérhető - ismétlődő adatlegyűjtés esetén). A TAS – Text Analytics System mögött álló Precognox informatikai háttere, szoftverfejlesztési és szöveganalitikai tapasztalata pedig garantálja az egyedi megoldás magas minőségét.

 

stress-2860025_1280.jpg 

 

Hogyan döntsünk?


Az internetről történő adatletöltéshez megfelelő eszköz kiválasztása előtt alapvetően fontos meghatározni, hogy mekkora adatmennyiségre van szükség, milyen jellemzői vannak a forrás oldalnak és milyen kritériumai vannak az elvárt adatnak. Emellett tekintetbe kell venni azt is, hogy mennyire bonyolult az adatforrás elérhetősége és milyen további szöveganalitikai munkafolyamatokat kell elvégezni a letöltött tartalmakkal. A követelmények tisztázása után könnyebben tudunk választani megfelelő eszközt, legyen szó akár open source, kompakt vagy egyedi megoldásról.

Amennyiben egyedi adatletöltési vagy szöveganalitikai megoldásra van szüksége, akkor keresse fel a Precognox oldalát, vagy a szöveganalitikai megoldásokat bemutató TAS termékoldalt.

 

További információk: 

A Data Collector részletes leírása

 

Képek: Pixabay

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A Business Intelligence eszközök

2019.05.24. 14:51 Szerző: Hódi Péter Címkék: szövegbányászat adatvizualizáció adatelemzés business intelligence Precognox RapidMiner Tableau szöveganalitika Power BI

A Business Intelligence, avagy üzleti intelligencia alatt azon adatfeldolgozást és megjelenítést támogató eszközöket értjük, melyek elősegítik a megfelelő üzleti döntések meghozatalát. Természetesen a BI kifejezés magába foglalja az adatgyűjtés- és elemzés módszertanát is. Mostani írásunkban a vezető BI eszközökre fókuszálunk.

 

Korábbi cikkünkben írtunk már arról, hogy belevágtunk a Keresővilág Blog elemzésébe, amihez a Precognox TAS Platform szolgáltatásait és BI eszközöket hívtunk segítségül. Most is a Blog szöveges tartalmának segítségével mutatjuk be, hogy melyek a vezető adatvizualizációs BI eszközök.

 

Rapid Miner

A RapidMiner egy olyan adatkezelő platform, mely integrált környezetet biztosít az adatok előkészítéséhez, a gépi tanuláshoz és a prediktív elemzéshez. A RapidMiner ezeken felül alkalmas a vállalati belső adatforrások tartalmának vizualizációjára is.

5.PNG

A RapidMiner alkalmazás által készített vizualizáció

 

Microsoft Power BI

A Power BI – mint a Microsoft Business Intelligence eszköze – adatbázisok részletes elemzését és látványos vizualizációját teszi lehetővé. Ezzel, a ma már igen elterjedt eszközzel az esetek nagy részében a vállalati struktúrán belül elérhető adatokat elemezzük.

5_1.PNG

 Egyszerű vizualizáció a Power BI-ban

 

Google Data Studio

Data Studio a Google saját Business Intelligence eszköze, mellyel adatbázisok elemzését és vizualizációját valósíthatjuk meg. Ezzel az egyszerűen használható eszközzel többnyire a vállalati struktúrán belül elérhető adatokat elemezzük.

9.png

Gyorsan és egyszerűen készítetünk diagramokat a Data Studio-ban

 

Tableau

A Tableau az egyik legkedveltebb analitikai (adatelemző) platform, mely szinte megkerülhetetlen eszköz, amennyiben vállalati adatainkat szeretnék elemezni. Szinte minden méretű vállalat számára megfelel, legyen szó energetikai, banki, kiskereskedelmi vagy egyéb szektorról.

 

tableau_vizu.jpg

A korábban már bemutatott Tableau vizualizáció

 

Érdemes a fenti Business Intelligence eszközöket kipróbálni, hiszen a vállalkozások egyre több és több adattal dolgoz(hat)nak és ezekkel az analitikai eszközökkel lehetséges az adatokban lévő üzleti potenciál kiaknázása. Amennyiben a felhasználni kívánt adatok a weben érhetőek el, akkor pedig a TAS Data Collector segítségével lehetséges az adott internetes oldal tartalmának legyűjtése és strukturált adatbázisba történő rendezése, így szinte bármely webes tartalomból hasznos elemzések és vizualizációk készíthetők.

További BI eszközök a teljesség igénye nélkül:

Sisense

Qlik

Dundas

Zoho

 

Az említett BI eszközök közül bármelyiket is próbálja ki, hasznos adatelemzést és látványos vizualizációkat kívánunk!

Következő cikkünkben pedig már a keresőmotorok világába fogjuk Önt elkalauzolni, természetesen akkor is a Keresővilág tartalmán keresztül.

 

Képek: RapidMiner, Power BI, Google Data Studio és Tableau vizualizációk

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

A puding próbája – a Keresővilág blog analitikus szemmel – 1. rész

2019.04.16. 12:32 Szerző: Hódi Péter Címkék: blog adat adatbányászat tartalomelemzés szövegbányászat vizualizáció tableau Precognox szöveganalitika

Több, mint 12 évet ölel fel a Keresővilág Blog története. Ez a hosszú időszak - úgy gondoltuk - megér egy objektív áttekintést. Ennek megvalósításában volt segítségünkre a TAS (Text Analytics System). A Precognox saját fejlesztésű szöveganalitikai platformja kimondottan ilyen feladatok megoldására (is) alkalmas.

De mit is tud akkor, ha a fennállásának 12. születésnapját ünneplő Keresővilág Blog az adatforrás? A TAS szöveganalitikai rendszer szolgáltatásai által legyűjtésre és elemzésre került blogunk tartalma analitikus szemmel. A letöltött adatok alapján készült vizualizációk remek betekintést nyújtanak a Keresővilág tartalmába.

 

A módszer

A tartalom legyűjtése a TAS Data Collector-ral történt, ezt a folyamatot az adattisztítás követte. Az így kinyert tisztított adatok vizualizálására a Tableau programot és a WordCloud-ot hívtuk segítségül.

Íme az eredmény:

 

puding_probaja_szofelho.jpg

 Szófelhő a használt címkékből

(nagyításért katt a képre!)

 

puding_probaja_szofelho_2.png 

Szófelhő a cikkekben használt szavakból

(nagyításért katt a képre!)

 

 

Cikkek száma / szerző / év

 (interaktív vizualizáció)

 

Lájkok száma / szerző / év

  (interaktív vizualizáció)

 

A képekből is jól látszik, hogy mennyi hasznos információ nyerhető ki nagyobb adat (szöveg) tartalomból – ne feledjük, hogy a Keresővilág Blogon 12 év alatt közel 900 publikáció jelent meg!

A megvalósítás

A Keresővilág Blogról legyűjtött tartalmakat a TAS rendszer az adattisztítást, validálást követően strukturált adatbázisba rendezni, az adatbázist pedig egy biztonságos és authentikált csatornán keresztül teszi elérhetővé. Ezek az adatbázisok azonnal integrálhatóak a vezető Business Intelligence eszközökbe, mint a Tableau, a Rapid Miner vagy a Power BI.

Újabb kihívás

A Precognox szöveganalitikai rendszere tehát kiállta a pudingpróbát, de hamarosan újabb feladat elé állítjuk majd, ezekről a feladatokról és a megoldásról következő cikkünkben fogunk – szintén sok vizuális tartalom segítségével – beszámolni.

 

A Keresővilág Blog tartalmának adatletöltését és az abból készült vizualizációkat a Precognox készítette a TAS Platform segítségével.

Vizualizációs eszközök: WordClouds, Tableau

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Sakk-matt az embernek?

2019.03.22. 12:00 Szerző: Hódi Péter Címkék: játék sakk mesterséges intelligencia neurális hálók

 robot-2993561_1280.jpg

 

Az 1997-es év egy fontos időpont a sakk történetében, ekkor győzte le először egy computer – az IBM Deep Blue - az uralkodó sakkvilágbajnokot, Garri Kaszparov-ot. 

Húsz évvel később a Google - Alpha Zero nevű tanuló algoritmusa csupán 4 óra tanulás után már megverte a 2016-os év legjobb sakkgépének kikiáltott Stockfish 8-at egy 100 játszmából álló játékban, mindezt úgy, hogy 28 győzelem mellett 72 döntetlent ért el. Az előre megadott szabály szerint 3-4 ismétlődő (mindkét gép részéről azonos, oda-vissza történő lépés) után automatikus döntetlen következik.

 

Hogyan történhetett meg mindez?

Míg a korábbi gépek számítási tudásuk – körülbelül 200 millió pozíció számítása alig 1 másodperc alatt – miatt voltak kimagasló eredményre képesek az emberek ellen, addig a modern gépek már mély neurális hálóra épülő – az emberi agy működését mintázó – algoritmusok.

Matthew Lai Imperial College London-on végzett munkája által kifejlesztett Giraffe elnevezésű mesterséges intelligenciája például képes saját magát tanítani mégpedig oly módon, hogy a különböző állásokat az emberhez hasonló módon értékeli, különbözve ezzel az eddigi sakkgépektől.

A Giraffe technikai hátterét biztosító neurális hálózat olyan színvonalú játékra képes, mint a korábban évekig tartó finomhangolást igénylő gépek. A több rétegből álló idegi háló hangolása-tanítása számos példával – álláshelyzettel – történik.

A neurális hálók térnyerése egyrészről a tanulási folyamat jobb megértése általi precízebb finomhangolásnak, másrészről a tanításhoz rendelkezésre álló hatalmas annotált adathalmaznak köszönhető.

Lehetővé vált, hogy az un. mély neurális hálók ma már jobban teljesítsenek mintafelismerésben (például arc- és kézírás felismerés) mint az emberek. Nem is csoda, hogy a minták beazonosítása által képesek legyőzni az embert egy olyan bonyolult gondolkodásmódot igénylő játékban is, mint a sakk.

A Lai által alkotott háló 4 rétegű és minden helyzetet 3 különböző módon vizsgál meg. A teljes kép (globális állapot – a bábuk típusa és mennyisége a két oldalon, a mozgási lehetőségek) mellett vizsgálja azok helyzetét, illetve a pozíciókat, melyeket a bábuk támadnak avagy védenek.

A gép kimondottan életszerű sakkállásokkal lett trenírozva, így pontosabban és célratörőbben képes a következő lépést meghatározni. Természetesen a profi sakkvilágban ritkán fordulnak elő nagyon egyenlőtlen állások, de ezen szituációk (adathalmazok) megadása a gép számára szintén relevánsak, hiszen a tanulási folyamat alatt ilyen helyzetek is előfordulhatnak.

A neurális háló finomhangolásához irdatlan méretű adatbázisra volt szükség, Lai ezt 5 millió véletlenszerűen kiválasztott helyzetből állította össze és az ezekhez szintén véletlenszerűen hozzáadott lépésekkel összesen 175 millió pozíciót kreált. Ekkora adatbázisból már egy hagyományos sakkgép is sikereket ért volna el, de Lai célja az volt, hogy gépe magától tanuljon. A gép önmaga ellen játszott azzal a céllal, hogy minél jobban megtanulja kiértékelni a jövőbeni állásokat. Ez igen jól működött, hiszen a sakkban vannak jól körülhatárolható referenciapontok, melyek meghatározzák egy állás értékét, annak függvényében, hogy az adott helyzet a játék megnyeréséhez, elvesztéséhez vagy döntetlenhez vezet. Így a gép megtanulja, hogy mely pozíciók gyengék, illetve erősek.

 

Az eredmény

Az elérhető 15.000 pontból a Giraffe már rövid időn belül 6.000 pontot ért el, 72 óra elteltével pedig 9.700-at, mely az addig legerősebb sakkgép eredményével vetekedett. Ez azért volt hihetetlen, mert ilyen eredményt korábban kizárólag a gépek évekig tartó manuális és automatikus hangolásával lehetett elérni.

A Giraffe egyetlen hátránya, hogy a neurális hálónak nagyjából tízszer tovább tart az adatfeldolgozás, mint egy hagyományos sakkgépnek.

Azonban a Giraffe nem attól válik különlegessé, hogy számtalan jövőbeni lépést és helyzetet tud analizálni, hanem attól, hogy trükkös helyzeteket is az embertől elvárható intuitív módon képes értékelni. Ilyen helyzetek általában a nyitólépések, illetve a végjáték, melyben a Giraffe kimagaslóan teljesít.

Ekkor 2015-öt írtunk. És 2017-ben jött az Alpha Zero:

A mesterséges intelligencia kutatásával foglalkozó Deepmind által megalkotott algoritmus 24 órán belül szintén legyőzte a Stockfish világbajnok programot. Az Alpha Zero új korszakot nyit a sakkgépek világában. Arról, hogyan nyit az Alpha Zero, a Sakkvilág oldalán bővebben elolvasható.

 

Sakk-matt?

A neurális hálót alkalmazó, új generációjú sakkgépek teljes mértékben megreformálhatják a sakkot és a sakkjátszmák menetéről eddig alkotott elképzeléseket. E módon tanulhat az ember a saját maga által alkotott mesterséges intelligenciától. Így lesz egy sakk-matt helyzetből egy win-win szituáció.

 chess-316657_1280.jpg

 

Érdekes videók a témáról:

AlphaZero vs. Stockfish

Alpha Zero és a francia védelem

 

Források:

https://www.technologyreview.com/s/541276/deep-learning-machine-teaches-itself-chess-in-72-hours-plays-at-international-master/

http://sakkvilag.hu/uj-hireink/Az_Alpha_Zero_megnyitastanulasanak_rejtelmei

https://en.wikipedia.org/wiki/AlphaZero

 

Képek:

Pixabay

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre

Tedd zsebre a világot! A digitális adattárolás története

2019.03.08. 12:00 Szerző: Hódi Péter Címkék: adat adattárolás adatbiztonság

Napról-napra egyre több digitális adat keletkezik, elég csak a közösségi média felületeken generált posztokra gondolni. A megosztott dokumentumok (képek, videók, szövegek) hatalmas adattárolási igényt generálnak, ezért a minél fejlettebb megoldások kidolgozása alapvető fontossággal bír az emberiség számára.

Az első számítógépek megjelenése óta komoly kihívást jelent a hatékony adattárolás. Hogyan fejlődött és melyek voltak a meghatározó lépcsőfokai ennek a folyamatnak?

 

Az első lépés

Az lyukkártyákat még a XVIII. században kezdték hasznosítani, akkor még szövőszékek irányítására használták, ezáltal „programozva” azokat minták létrehozására. Ehhez hasonló lyukkártyákat használtak az első egyszerű számítógépeknél adatok rögzítésére és olvasására.

 

A közelmúlt

Az első, un. véletlen hozzáférésű digitális memória a Freddie Williams és Tom Kilburn feltalálók által kifejlesztett Williams- vagy Williams-Kilburn cső volt a már – a yottabyte-os világban - nevetségesnek tűnő 0.0625 kB-os megközelítőleges kapacitásával.

A dobra emlékeztető formájú Drum Memory már a modern merevlemezek megjelenésének előfutára volt. Az 1932-es feltalálása ellenére alkalmazása az 50-es és 60-as években terjedt el. Tárolókapacitása megközelítőleg 10 kB volt.

A szekrény méretű mágnesszalagos adattároló, mint például az Uniservo vagy az első lemezmeghajtó, az IBM 350 megjelenése után azonban igen sokat kellett várni a kompaktabb méretű adathordozókra, így a magnókazettára, illetve a floppy lemezre.

isolated-316393_1280_1.jpg

 

Ezt követően a 80-as, 90-es évek hoztak jelentős előrelépést a merevlemezek és a hordozható adattárolók fejlődésében, elég csak az írható (később újraírható) cd lemezre, a MiniDisc-re vagy a később zsákutcába futott DAT kazettára gondolni. A személyi számítógépek merevlemezeinek hatalmas lépésekkel történő fejlesztése is ekkorra datálható. Természetesen a hard disk-ek hatékonyabbá tételére még a mai napig is folynak kísérletek.

open-hard-drive-1200164_1280.jpg

Az un. szilárdtest meghajtókat (SSD) már az különbözteti meg a merevlemezes meghajtóktól (HDD), hogy ezek már nem tartalmaznak forgó alkatrészeket (disk) és mozgó író-olvasó fejeket. Az SSD-k sikerüket nemcsak tárolókapacitásuknak, hanem gyorsaságuknak is köszönhetik.

 micro-sd-card-72141_1280.jpg

Jelen és jövő

Meg kell említenünk még a mai napig használt pendrive-okat, illetve SD-kártyákat, melyek kapacitása - fizikai méretük csökkenése ellenére - jelentősen megnőtt. Nagy előnyük kompakt méretük és egyszerű hordozhatóságuk.

Az eddigiekben említett fizikai adathordozók személyes használatát az internet elterjedésével és elérhetőségének fejlődésével (Wi-fi, mobilnet) mára már szinte teljesen kiváltják a felhőszolgáltatások. Természetesen a felhőszolgáltatások biztosításához jelentős adatparkok létesítésére volt / van szükség.

A felhőszolgáltatások elterjedése ellenére továbbra is szükség van fizikai adattárolókra – gondoljunk csak a biztonsági kockázatokra.

A digitális adattárolás története a szemünk előtt íródik, fejlődése az igények növekedését tekintetbe véve megállíthatatlan.

 

A cikk alapjául a Mashable.com oldalon megjelent információk szolgáltak. A poszt megírásához egyúttal az említett adattárolókról szóló Wikipédia cikkek kerültek felhasználásra.

A képek forrása a PIXABAY

A Kereső Világ a Precognox Precognox szakmai blogja A Precognox intelligens, nyelvészeti alapokra építő keresési, szövegbányászati és big data megoldások fejlesztője.

Szólj hozzá! • Kövess Facebookon • Iratkozz fel értesítőre