Objašnjena su podataka

Revolucija velikih podataka redefinirala je način rada poduzeća; podaci podupiru sve. Ne samo da su alati otvorenog koda, poput Apache Hadoop i Spark, olakšali ogromne količine podataka u prikupljanju, obradi i pohrani u stvarnom vremenu, već su nam poslovna inteligencija (BI) i alati za vizualizaciju podataka počeli pomagati u grebanju po površini analize i pretvaranje tih podataka radi informiranja o osnovnim poslovnim odlukama.

Iako se, unatoč tome koliko se razvijala Big Data i BI tehnologija, još uvijek bavimo se tako velikim količinama podataka koji se neprestano miješaju da pronalaženje pravih točaka za analizu i dalje je poput ronjenja igala u neprestanom senu. Rješenje? Redizajnirajte stogu sijena.

Unesite podatkovna jezera, novu vrstu arhitekture poduzeća temeljene na oblaku koja strukturira podatke na skalabilniji način i olakšava eksperimentiranje; čini ga otvorenijim za istraživanje i manipuliranje, a ne zaključanim u čvrstim shemama i silosima. Nasry Angel, istraživač arhitekture poduzeća iz tvrtke Forrester Research, objasnio je zašto poduzeća prihvaćaju arhitekture jezera podataka.

"Zvuči klišejno, ali kad razmišljate o učinkovitom modernom okruženju podataka, to je puno eksperimentalnije", rekao je Angel. "Morate biti u stanju brzo učiti i brzo uspjeti. U prošlosti je upravljanje podacima, posebno u skladištu, sve bilo o kvaliteti, sve do decimalne točke; pazite da je sve potpuno točno i istinito. To se zove potjera za jednim verzija istine. Tada se stvara izvještaj savršen za piksele i objavljuje se 5.000 korisnika.

"Danas je to znanstveniji proces. Ulazite u hipotezu o podacima koje želite testirati i želite se igrati s podacima, miješati i slagati, isprobavati različite stvari prije nego što nešto krenete i producirate."

Što je podataka u jezeru?

Jezero podataka je skladište. Iako je, za razliku od skladišta podataka ili "marca podataka", Angel objasnio da se jezgra podataka distribuiraju na više čvorova umjesto u fiksnom, strukturiranom okruženju skladišta podataka oslanjajući se na sheme (vidi infografiku u nastavku).

"Jezero podataka omogućuje vam primjenu sheme kada pišete podatke u odnosu na skladište podataka koje zahtijeva da napravite shemu na read. Dakle, u osnovi, skladište podataka zahtijeva od vas da modelirate podatke prije nego što shvatite njezin kontekst, što ne Zaista nema smisla ", rekao je Angel.

Izvor: JustOne Database, Inc. (Kliknite na gornju grafiku da vidite cjelovit prikaz.)

"Obično u skladištu imate IT stručnjake koji dolaze sa onim što smatraju najboljim modelom podataka, a oni nisu krajnji korisnici podataka. Brzo možete vidjeti kako to ometa produktivnost i poslovnu vrijednost", dodao je, "Konačno, vi i poslovni korisnici morate biti ti koji donose odluke o strukturi podataka, a, u jezeru podataka, prvo možete istražiti i shvatiti što postoji, a zatim smisliti shemu kako to najbolje organizirati."

Podatkovna jezera obično se grade na Hadoopu, a poduzeća Hadoop distribucije poput Hortonworks i MapR nude arhitekture podataka na jezeru. Poduzeća također mogu graditi podatkovna jezera koristeći oblake Infrastructure-as-a-Service (IaaS), uključujući Amazon Web Services (AWS) i Microsoft Azure. Amazonov Elastic Compute Cloud (EC2) podržava podatkovna jezera, dok Microsoft ima namjensku platformu Azure Data Lake za pohranu i analizu podataka u stvarnom vremenu. Angel je rekla da podatkovna jezera sazrijevaju do točke u prostoru Big Data gdje tvrtke mogu započeti ulagati u njih s razumnim povjerenjem.

"Prije nekoliko godina Hadoop je bio sav bijes. Sada dolazimo do točke kada je Hadoop komodiziran", rekao je Angel. "Pitanje nije da li je Hadoop, nego kada i što ćete s tim učiniti. Koje ćete sve vrste aplikacija graditi na vrhu Hadoopa nakon što podatke unesete u zajedničko mjesto poput jezera podataka? Trenutno je riječ o korištenju podataka za razvoj aplikacija u skladu s vašim specifičnim poslovnim potrebama."

Gradnja na vrhu spremnika podataka

Najuzbudljiviji dio Big Data-a je sva mogućnost koju otključa. Jednom kada postavite podatkovno jezero u kojem će se igrati i eksperimentirati s različitim kombinacijama podataka i poslovnim rezultatima, možete započeti s slojevitim inovativnim analizama.

Algoritmi strojnog učenja (ML) već postaju sastavni dio infrastrukture oblaka, a istraživači kontinuirano poboljšavaju tehnike dubokog učenja i neuronske mreže kako bi obučili strojeve i podatkovne sustave kako bi prepoznali složene obrasce. Prediktivna analitika uključena je u sve više alata za podatke i poslovnih platformi, koji se koriste za sve, od prediktivnog bodovanja i automatizirane segmentacije za upravljanje odnosima s klijentima (CRM) do identificiranja trendova na financijskom tržištu i pretpostavljenog hvatanja mehaničkih kvarova u strojevima.

Sve se to događa povrh svega što pohranjuje podatke koje vaše poslovanje hrani i mjeri u skladu s potrebama. Angel je govorio o nekim slučajevima upotrebe u stvarnom svijetu u kojima je vidio da podatkovna jezera mijenjaju način na koji organizacije funkcioniraju.

"Radio sam s izdavačkom kućom koja ima portfelj različitih časopisa - imaju publikaciju za odvjetnike, drugu za računovođe, drugu za savjetnike itd. - i svaka je publikacija imala svoje skladište podataka. Učinkovito, svaka publikacija imala je vlastiti silosa ", objasnio je Angel.

"Dakle, izvadili smo sve podatke iz skladišta i stavili u podatkovno jezero, a podatkovno jezero im je omogućilo da vide preko silosa. Oni su mogli istražiti podatke i otkriti podatke, i shvatili smo da su u svim tim različitim publikacijama, kupci iz svih časopisa bili su zainteresirani za cybersecurity. Čitateljstvo o cyber-sigurnosti bilo je snažno u svim tim različitim ulogama. Pa što su učinili? Postali su cybersecurity temom njihove godišnje konferencije."

Drugi primjer o kojem je Angel razgovarao je e-trgovina. Drugi klijent, internetski trgovac umjetninama, bacao je tonu informacija u jezero s podacima i koristio ih ne samo kao skladište, već kao svojevrsno platno kako bi sastavio poslovne uvide. Trgovac je u jezero donio podatke o transakcijama (narudžbe, fakture, plaćanja itd.), Klikovne podatke (slijedeće klikove i stranice svakog posjetitelja web mjesta) i podatke iz skladišta podataka prodavača, sve u jezeru, a koncertirao ih je u borbi protiv košarica. napuštanje i pretvaranje.

"Želite nadograditi na vrhu podatkovnog jezera i upotrijebiti ga za formuliranje složenih poslovnih uvida", rekao je Angel. "Trgovac umjetnosti je mogao pogledati korisničke podatke o klikovima i uskladiti klikove s profilima kupaca, a zatim upotrijebiti transakcijske podatke da vidi što je kupac kupio u prošlosti i pomoću tih uvida pokrenuo vrlo specifične kampanje e-pošte. Dakle, ako je kupac odustao Njihova kolica, maloprodaja bi mogla potražiti dva sata kasnije i reći: "Vidjeli smo da provjeravate ovaj Picasso; evo linka ako ga želite ponovo pogledati."

Data lakovi su univerzalno primjenjivi u svim vrstama slučajeva poslovne upotrebe. No, za glavnog tehničkog službenika (CTO) ili glavnog službenika za informacijsku sigurnost (CISO) koji razmišlja o migraciji na arhitekturu, Angel je naglasio da skladišta podataka još uvijek nisu zastarjela, niti za koju ruku. Za većinu korporativnih organizacija, bilo da koristite davatelja oblaka ili prilagođenu Hadoop distribuciju, tvrtkama su i dalje potrebne i jedno i drugo.

Jezera podataka pružaju vam pristup nenadmašnom uvidu uklanjanjem ograničenja usklađenosti podataka s određenom shemom i dolaze s puno nižim ukupnim troškovima vlasništva s obzirom na korištenje jeftinog, fleksibilnog pohranjivanja u oblaku, poput AWS-a, za skaliranje prema gore i dolje - dok samo plaćanje snage obrade koju stvarno koristite. Tržište podatkovnih skladišta je skuplje i, samim tim, IT profesionalci čine selektivnijim u pogledu podataka koji dolaze i koji podaci ulaze. Ali za podatke o najvažnijim kritičnim podacima o poduzeću, to nije loše.

"Skladište podataka ima prednosti u pogledu sigurnosti i predstavlja vrlo jednostavan alat za kontrolu upravljanja podacima", rekao je Angel. "Dakle, i dalje želite čuvati svoje najosjetljivije podatke u skladištu, kritične stvari. Ali kad su u pitanju nove poslovne mogućnosti i otkrivanje skrivenih uvida, želite iskoristiti podatkovno jezero."