big data – milyen hatással van a társadalomra az elemzési eredmények váratlansága?
A big data reflektorfénybe került az elmúlt néhány évben. Ennek az az oka, hogy az emberek azt várják, hogy a big data elemzése révén racionálisan meg tudják csinálni azokat a dolgokat, amelyek eredetileg tapasztalaton és intuíción alapultak. Röviden magyarázzuk el a big data és a big data-hoz szorosan kapcsolódó adatbányászat definícióját, és vegyük figyelembe a big data elemzés társadalomra gyakorolt hatását. Megemlítjük kapcsolatunkat az élszámítógéppel.
Mi az a big data?
Mi az a big data? Általánosságban elmondható, hogy „a valós időben előforduló nagy mennyiségű strukturált vagy strukturálatlan adat felhalmozására, elemzésére és feldolgozására szolgáló technikák, vagy magának az adatnak egy általános kifejezése”.
A strukturált adatok hagyományosan adatbázisokban
kezelt adatok, úgynevezett szervezett adatok. A strukturálatlan adatok viszont olyan nyers adatokra utalnak, amelyeket még nem szerveztek meg.
A big data elemzése előtt a területről származó információkat emberek elemezték, és ez alapján születtek a vállalati döntések. Ott több éves emberi tapasztalat és intuíció szükséges. Az elmúlt években azonban az információs berendezések fejlődésének köszönhetően felgyorsult a terepen vásároljon mobiltelefonszámlistát automatikusan gyűjtött adatok mennyisége és típusa, és az emberre nehezedő teher is megnőtt Az elemzéshez szükséges tapasztalat és intuíció nem érhető el egyik napról a másikra. Vagyis miközben növekszik az elemző forrásból származó adatok száma, csökken a kellő tapasztalattal és intuícióval rendelkezők száma.
Ezért az adatbányászati technológiát az
adatelemzés és a döntéshozatal támogatására fejlesztették ki. Az adatbányászat olyan technológia, amely segít összefüggéseket találni az adatok között, és hasznos kapcsolatokat fedez fel nagy mennyiségű adat között. Ez elválaszthatatlan a nagy adatelemzéstől. Más szóval, ez egy olyan technológia, amely támogatja a döntéshozatalt azáltal, hogy olyan folyamatok nevében jár el, mint az emberi a blogírás történelmi fejlődése és jövőbeli kilátásai intuíció és a tapasztalat, amelyeket eddig elemzések levezetésére használtak.
Adatbányászati koncepciók a nagy adatok elemzéséhez
Nézzük meg közelebbről a big data adatbányászati elemzését. Általánosságban elmondható, hogy a big data elemzése általában a következő modellen (DIKW modell) alapul.
Ezt nevezzük az összegyűjtött nyers adatok
megőrzésének. Ez is strukturálatlan adat. Mérete általában a terabájt tartománytól kezdve petapit.
“Információ. Információ ”
Ez az eredeti adatok szervezett változata, és alapvetően ebben a szakaszban az adatbányászat segíthet. Ez is strukturált adat.
Nehézsége az, hogy az adatok elemzésének ismerete (statisztikai elemzés, mesterséges intelligencia stb.) mellett ismerni kell az aktuális piaci trendeket és az emberi azb címtár viselkedést, pszichológiát is. Ezen a rendkívül speciális tudáson túlmenően szükség van arra is, hogy az adatok összefüggéseiből a jelenségekre következtessenek. Elmondható, hogy ez egy olyan szakma, amelyben a szakértelemnek egyensúlyban kell lennie a legkülönbözőbb területeken. Ráadásul az ilyen humánerőforrást nem lehet egyik napról a másikra kitermelni, és humánerőforráshiány is van. Vitathatatlanul ez a probléma a big data elemzésének jelenlegi állapotában.