Prezentare generală a Data Lake
Un lac de date este un depozit în care putem stoca o mare cantitate de date semistructurate, structurate și nestructurate. Un ID unic cu un set de etichete de metadate extinse este atribuit tuturor elementelor de date ale unui lac de date. Când apare o întrebare de afaceri, puteți solicita datele relevante și apoi puteți analiza date mai mici pentru a ajuta la răspunsul la întrebare. Lacul are o arhitectură plană, spre deosebire de un depozit de date ierarhic în care datele sunt stocate în fișiere și foldere. Fără prima structurare a datelor, puteți stoca informațiile așa cum sunt și putem derula diverse tipuri de analiză, cum ar fi tablouri de bord și vizualizări, la o mare procesare a datelor, analize în timp real și învățare automată pentru a informa mai bine deciziile.
Un lac este folosit de profesioniști precum oamenii de știință de date, dezvoltatorii de date și analiștii de afaceri pentru a stoca o cantitate mare de date.
Este folosit într-un lac este relațional și relațional de pe dispozitive IoT, site-uri web, aplicații mobile etc. În Schemă, este scris în timpul analizei, adică schema de citire. Rezultatul după executarea interogării este mai rapid.
De ce avem nevoie de un lac de date?
Prin construirea unui lac, oamenii de știință de date pot vedea viziunea nerefinată a datelor.
Motivele pentru utilizarea acestuia sunt următoarele:
Corporația care produce beneficii de afaceri din datele lor depășește cu succes colegii lor. Într-un sondaj Aberdeen, corporația care a înființat un Data Lake a fost cu 9% peste performanța de creștere a veniturilor organice ale unor companii similare. Acești lideri au reușit să efectueze noi tipuri de analitice, cum ar fi învățarea automată prin noi surse, cum ar fi fișierele de jurnal, datele de pe clic, datele de socializare și conectivitatea la Internet în lac.
Acceptă importul de date care vin în timp real. Datele sunt colectate din mai multe resurse și apoi mutate în lac în formatul inițial. Un lac oferă o scalabilitate mai mare a datelor. De asemenea, puteți ști ce tip de date se află în lac, prin indexare, accesare crawling, catalogare a datelor.
Acordă guvernarea datelor care gestionează disponibilitatea, capacitatea de utilizare, securitatea și integritatea datelor.
Poate ajuta echipele de cercetare și dezvoltare să își testeze ipoteza, să perfecționeze ipotezele și să evalueze rezultatele.
Nu este disponibilă nicio structură de siloz.
Oferă clienților o vedere de 360 de grade și o analiză robustă.
Calitatea analizei crește, de asemenea, odată cu creșterea volumului de date, a calității datelor și a metadatelor.
- Motoarele de stocare, cum ar fi Hadoop, au facilitat stocarea informațiilor disparate. Nu este necesară modelarea datelor cu un lac într-o schemă la nivel de companie.
- Calitatea analizelor crește, de asemenea, odată cu creșterea volumului de date, a calității datelor și a metadatelor.
- Oferă agilitate de afaceri
- Este posibil să folosiți învățarea mașinii și inteligența artificială pentru a face predicții profitabile.
Arhitectura lacului de date pe Hadoop, AWS și Azure
Un lac de date are două componente: stocare și calcul. Depozitarea și calcularea pot fi localizate fie pe site, fie în cloud. Aceasta duce la proiectarea unei arhitecturi a lacului de date în mai multe combinații posibile.
1. Hadoop
Un cluster de server distribuit Hadoop rezolvă cea mai mare problemă de stocare a datelor. MapReduce este modelul de programare Hadoop utilizat pentru divizarea și procesarea informațiilor în subseturi mai mici din clusterul serverului.
2. AWS
Gama de produse AWS pentru soluția sa de lacuri de date este cuprinzătoare. Amazon S3 se află în centrul soluției de funcționare. Aceste instrumente de ingerare a datelor care ne permit să transferăm cantități masive de date în S3 sunt Kinesis Stream, Kinesis Firehose, Snowball și Direct Connect.
Pe lângă Amazon S3, baza de date NoSQL, Dynamo DB și Elastic Search oferă un proces simplificat de interogare. AWS oferă o gamă largă de produse cu o curbă de învățare inițială abruptă. Cu toate acestea, caracteristicile complete ale soluției sunt utilizate pe scară largă în aplicațiile de informații comerciale.
3. Azur
Micro-soft a oferit lacul de date. Lacul de date Azure are un strat de analiză și de stocare se numește Azure Store (ADLS) și cele două componente pe care stratul analitic le are Azure Analytics și HDInsight. Standardul ADLS a fost construit în HDFS și sunt stocate capabil de nelimitate. Poate economisi trilioane de fișiere mai mari decât dimensiunea unui petabyte cu un singur fișier. Azure Store face posibilă stocarea și securizarea datelor și scalabilitatea în orice format.
Beneficii
Câteva puncte importante sunt prezentate mai jos
- Oferă valoare nelimitată de tip de date
- Adaptabil la schimbări rapid
- Costurile de proprietate pe termen lung sunt reduse
- Principalul său avantaj este centralizarea diferitelor surse de conținut
- Utilizatorii din diferite departamente din întreaga lume pot avea acces flexibil la date
- Oferă scalabilitate și flexibilitate economică
Risc
- Ar putea pierde relevanța și impulsul după ceva timp.
- La proiectare există un risc mai mare
- De asemenea, crește costul de depozitare și produse
- Cel mai mare risc este controlul securității și accesului. Uneori, datele pot fi plasate într-un lac fără supraveghere, deoarece unele date pot fi protejate și reglementate.
Articole recomandate
Acesta a fost un ghid pentru Ce este un lac de date ?. Aici am discutat Conceptul, de ce avem nevoie de Lake Lake împreună cu avantajele și riscurile acestora. De asemenea, puteți parcurge și celelalte articole sugerate pentru a afla mai multe-
- Integrare modernă a datelor
- Ce este Data Analytics
- Ce este încălcarea datelor?
- Data Scientist vs Big Data
- Data Lake vs Data Warehouse | diferenţe