Introducere în arhitectura depozitului de date
- Un depozit de date este un loc de stocare care conține colecții de mai multe tipuri diferite de date obținute din mai multe tipuri de surse.
- Întregul proces în care sursele externe de date sunt achiziționate, procesate, stocate și analizate la informații utilizabile are loc în cadrul unui set de sisteme care sunt unificate de o schemă unică cunoscută sub numele de Data Warehouse Architecture.
Arhitectura depozitului de date
Arhitectura de depozitare a datelor cuprinde, în general, trei niveluri.
- Nivel de top
- Nivel mediu
- Nivelul de jos
Nivel de top
- Top Tier constă în partea din față a clientului la sfârșitul arhitecturii.
- Informațiile aplicate transformate și logice stocate în depozitul de date vor fi utilizate și achiziționate în scopuri comerciale în acest nivel.
- Mai multe instrumente pentru generarea și analiza raportului sunt prezente pentru generarea de informații dorite.
- Exploatarea datelor care a devenit o tendință mare în aceste zile se face aici.
- Toate documentele de analiză a cerințelor, costurile și toate caracteristicile care determină o afacere de afaceri bazată pe profit se realizează pe baza acestor instrumente care folosesc informațiile privind depozitul de date
Nivel mediu
- Nivelul de mijloc este format din serverele OLAP
- OLAP este un server de prelucrare analitică online
- OLAP este utilizat pentru a oferi informații analiștilor și managerilor de afaceri
- Întrucât este localizat în nivelul mediu, acesta interacționează corect cu informațiile prezente în nivelul inferior și transmite informațiile despre instrumentele de nivel superior care procesează informațiile disponibile.
- OLAP în mare parte relațional sau multi-dimensional este utilizat în arhitectura de depozit de date.
Nivelul de jos
Nivelul de bază constă în principal din sursele de date, instrumentul ETL și depozitul de date.
1. Surse de date
Surse de date constă în Sursa de date care este achiziționată și furnizată instrumentelor Staging și ETL pentru proces ulterior.
2. Instrumente ETL
- Instrumentele ETL sunt foarte importante, deoarece ajută la combinarea Logicului, a datelor brute și a schemei într-unul singur și încarcă informațiile în Data Warehouse Or Data Marts.
- Uneori, ETL încarcă datele în Data Marts și apoi informațiile sunt stocate în Data Warehouse. Această abordare este cunoscută drept abordarea Bottom Up.
- Abordarea în care ETL încarcă informații în depozitul de date direct este cunoscută sub denumirea de abordare de sus.
Diferența dintre abordarea de sus în jos și abordarea de jos
| Abordare de sus în jos | Abordarea de jos în sus |
| Oferă o vizualizare definită și consecventă a informațiilor, deoarece informațiile din depozitul de date sunt utilizate pentru a crea date Marte | Rapoartele pot fi generate cu ușurință, deoarece primele creări de date sunt create mai întâi și este relativ ușor să interacționezi cu marts-ul de date. |
| Model puternic și deci preferat de companiile mari | Nu este la fel de puternic, dar depozitul de date poate fi extins și numărul de marts de date poate fi creat |
| Timpul, costul și întreținerea este mare | Timpul, costul și întreținerea sunt reduse. |
Data Marts
- Data Mart este, de asemenea, o componentă de stocare folosită pentru a stoca date dintr-o anumită funcție sau parte referitoare la o companie de către o autoritate individuală.
- Data mart colectează informațiile din Data Warehouse și, prin urmare, putem spune că data mart stochează subsetul de informații din Data Warehouse.
- Data Marts are dimensiuni flexibile și mici.
3. Depozitul de date
- Data Warehouse este componenta centrală a întregii arhitecturi Data Warehouse.
- Acționează ca un depozit pentru stocarea informațiilor.
- Cantități mari de date sunt stocate în depozitul de date.
- Aceste informații sunt utilizate de mai multe tehnologii, cum ar fi Big Data, care necesită analizarea subseturilor mari de informații.
- Data Mart este, de asemenea, un model de Data Warehouse.
Diferite niveluri de arhitectură a depozitului de date
Există patru tipuri diferite de straturi care vor fi întotdeauna prezente în Arhitectura de depozitare a datelor.
1. Strat sursă de date
- Stratul sursă de date este stratul în care datele din sursă sunt întâlnite și ulterior trimise celorlalte straturi pentru operații dorite.
- Datele pot fi de orice tip.
- Datele sursă pot fi o bază de date, o foaie de calcul sau orice alt tip de fișier text.
- Datele sursă pot fi de orice format. Nu ne putem aștepta să obținem date cu același format, având în vedere că sursele sunt foarte diferite.
- În viața reală, pot fi câteva exemple de date sursă
- Fișiere de jurnal ale fiecărei aplicații specifice sau ale unui loc de muncă sau de intrare a angajatorilor într-o companie.
- Date de sondaj, date bursiere etc.
- Datele browserului Web și multe altele.
2. Strat de date
Următorii pași se desfășoară în Layer Staging Data.
1. Extragerea datelor
Datele primite de stratul sursă sunt introduse în Staging Layer, unde primul proces care are loc cu datele dobândite este extragerea.
2. Baza de date de debarcare
- Datele extrase sunt stocate temporar într-o bază de date de aterizare.
- Acesta preia datele după extragerea datelor.
3. Zona de înscenare
- Datele din baza de date de debarcare sunt luate și se efectuează mai multe verificări de calitate și operațiuni de stadializare în zona de stadializare.
- Structura și schema sunt, de asemenea, identificate și se fac ajustări la datele neordonate, încercând astfel să obțină o comunitate între datele care au fost obținute.
- A avea un loc sau a fi configurat pentru date chiar înainte de transformare și schimbări este un avantaj adăugat care face ca procesul de Etajare să fie foarte important.
- Simplifică prelucrarea datelor.
4. ETL
- Este o extracție, transformare și încărcare.
- Instrumentele ETL sunt utilizate pentru integrarea și procesarea datelor unde logica este aplicată la date destul de brute, dar cumva ordonate.
- Aceste date sunt extrase conform naturii analitice care sunt necesare și transformate în date care sunt considerate adecvate pentru a fi stocate în Data Warehouse.
- După transformare, datele sau mai degrabă o informație sunt în cele din urmă încărcate în depozitul de date.
- Câteva exemple de instrumente ETL sunt Informatica, SSIS etc.
3. Strat de stocare a datelor
- Datele procesate sunt stocate în Data Warehouse.
- Aceste date sunt curățate, transformate și pregătite cu o structură definită și oferă astfel angajatorilor oportunități de a utiliza datele cerute de afaceri.
- În funcție de abordarea Arhitecturii, datele vor fi stocate în Data Warehouse, precum și în Data Marts. Datele Marte vor fi discutate în etapele ulterioare.
- Unele includ, de asemenea, un magazin de date operaționale.
4. Strat de prezentare a datelor
- Acest strat în care utilizatorii ajung să interacționeze cu datele stocate în depozitul de date.
- Interogările și mai multe instrumente vor fi folosite pentru a obține diferite tipuri de informații bazate pe date.
- Informația ajunge la utilizator prin reprezentarea grafică a datelor.
- Instrumentele de raportare sunt utilizate pentru a obține date de afaceri și logica de afaceri este, de asemenea, aplicată pentru a aduna mai multe tipuri de informații.
- Operațiunile și performanțele Sistemului pentru informații și date meta sunt, de asemenea, menținute și vizualizate în acest strat.
Concluzie
Un punct important despre Data Warehouse este eficiența acesteia. Pentru a crea un depozit de date eficient, construim un cadru cunoscut sub numele de Business Analysis Framework. Există patru tipuri de opinii în ceea ce privește proiectarea unui depozit de date.
1. Vedere de sus în jos: această vizualizare permite selectarea numai a informațiilor specifice necesare pentru un depozit de date.
2. Vizualizarea sursei de date: această vizualizare arată toate informațiile de la sursa de date până la modul în care acestea sunt transformate și stocate.
3. Data Warehouse View: Această vizualizare arată informațiile prezente în Data Data Storage prin tabele de fapt și tabele de dimensiuni.
4. Vizualizarea interogării de afaceri: aceasta este o vizualizare care arată datele din punctul de vedere al utilizatorului.
Articole recomandate
Acesta a fost un ghid pentru Arhitectura de depozitare a datelor. Aici am discutat despre diferitele tipuri de vizualizări, straturi și niveluri de arhitectură a depozitului de date. Puteți parcurge și alte articole sugerate pentru a afla mai multe -
- Cariera în depozitul de date
- Cum funcționează JavaScript
- Întrebări de interviu pentru depozitul de date
- Ce este Pandas