Cum se instalează stupul?
Apache Hadoop este o colecție a cadrului care permite procesarea datelor mari distribuite prin cluster. Conform lui Apache Hive, este un proiect software de depozit de date construit pe partea de sus a Apache Hadoop pentru furnizarea de interogare și analiză a datelor. Apache Hive oferă interfață asemănătoare SQL pentru interogare și procesare a unei cantități mari de date numite HQL (limbaj de interogare Hive). Stupul Apache rulează deasupra ecosistemului Hadoop, iar datele stocate sub formă de fișier înseamnă sistemul de fișiere distribuit Hadoop (HDFS). Apache Hive oferă o interfață excelentă utilizatorului pentru a accesa și efectua o operație pe date sub forma unui tabel, oferind o tehnică de optimizare excelentă pentru a îmbunătăți performanța. Este foarte dificil să faceți întrebarea mai rapid cu date mari și credeți-mă, contează într-un mediu de producție.
În backend, compilatorul a convertit interogarea HQL în hartă pentru a reduce lucrările și apoi a fost trimis în cadrul Hadoop pentru execuții.
Diferența dintre Hive și SQL
Apache Hive este foarte asemănătoare cu SQL, dar așa cum știm, stupul rulează pe deasupra ecosistemului Hadoop și transformă intern joburile în MR (Map Reduce joburi), face o anumită diferență între Hive și SQL.
Hive nu ar fi cea mai bună abordare pentru acele aplicații în care este nevoie de un răspuns foarte rapid și este foarte important să înțelegem că Hive este mai potrivită pentru procesarea lotului pe seturi foarte mari de date imuabile și ar trebui să remarcăm că Hive este un RDBMS obișnuit și în cele din urmă. dar nu în ultimul rând stupul apache este o schemă a mijloacelor de citire (în timp ce introduceți date în tabelul stupului, nu va deranja nepotrivirea tipului de date, dar în timp ce citiți datele va arăta valoare nulă dacă tipul de date nu este asociat cu tipul de date al coloanei specifice).
Cerință anterioară pentru instalarea stupului
Așa cum am spus mai devreme, este foarte important să înțelegem că apache rulează în vârful Ecosistemului Hadoop și Hadoop Ar trebui să fie în funcțiune cu toți demonii.
Unii dintre demonii de bază Hadoop sunt următoarele:
- Numele nodului
- Nodul de date
- Manager de resurse
- Manager nod
Pentru a verifica versiunea Hadoop de mai jos este comanda:
Tastați → Versiunea Hadoop în promptul de comandă, vă va oferi versiunea Hadoop.
Pentru a verifica declanșatorul raportului de cluster Hadoop sub comanda:
Tastați → Hadoop dfsadmin - raport în promptul de comandă, vă va oferi raportul întregului cluster dacă serverul dvs. rulează.
Dacă Hadoop nu este instalat pe mașina dvs., vă rugăm să urmați instrucțiunile apache pentru a instala Hadoop pe sistemul dvs.
Sper că java a fost instalat deja pe sistemul tău. pentru a verifica versiunea java, vă rugăm consultați imaginea de mai jos.
Pași pentru instalarea stupului pe Ubuntu
Mai jos sunt pașii pentru instalarea Hive pe Ubuntu sunt următorii:
Pasul 1 : Putem descărca din tarul stupului folosind comanda de mai jos în terminal pe care îl putem descărca direct și de pe terminal.
Comandă: obținem http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Pasul 2 : Extrageți fișierul tar folosind comanda de mai jos în terminal, putem extrage direct tarul descărcat deasupra fișierului gudron.
Comandă: tar -xzf apache-hive-2.1.0-bin.tar.gz
Vă voi sugera să verificați cu comanda ls despre fișierul extras din stup.
Pasul 3: Editați fișierul „ .bashrc ” pentru a actualiza variabilele de mediu pentru utilizator.
Comandă: sudo the .bashrc
Adăugați următoarele la sfârșitul fișierului:
# Set HIVE_HOME
Executați comanda de mai jos pentru a finaliza lucrările modificărilor în terminalul curent.
Comandă: sursă .bashrc 
Pasul 5 : Trebuie să creăm directoare Hive în locația HDFS, iar acest „depozit” de director va fi locația pentru a stoca informațiile legate de metadate ale tabelului stupului și a datelor referitoare la stup.
Comandă :
- hdfs dfs -mkdir -p / user / hive / warehouse
- hdfs dfs -mkdir / tmp
Pasul 6 : Pentru a seta permisiunea de citire și scriere pentru tabelul stup, executați sub comanda.
Comanda:
În comanda de mai jos, oferind permisiunea de scriere grupului de utilizatori:
- hdfs dfs -chmod g + w / user / stup / depozit
- hdfs dfs -chmod g + w / tmp
Configurarea stupului: Este foarte important să punctați instalarea stupului pentru a configura cu Hadoop. Trebuie să edităm hive-env.sh, un fișier care este plasat în directorul $ HIVE_HOME / conf. Următoarele comenzi redirecționează către folderul Hive conf și copiați fișierul șablon:
Pasul 7 : Setați o cale Hadoop în hive-env.sh
Editați fișierul hive-env.sh adăugând următoarea linie:
Acum, prin acest proces, am terminat aproape, iar instalările stupului au fost finalizate cu succes, este important să configurați Metastore cu serverul de baze de date extern și implicit, cadrul Apache Hive utilizează baza de date Derby. Utilizând comanda de mai jos Inițializarea bazei de date Derby.
Comandă: bin / schematool -initSchema -dbType derby
Pasul 8 : Lansați stupul .
Comandă: stup (tipul stup în terminalul din terminalul al doilea stup se va deschide.)
Lucrul cu Hive: Acum vom vedea unele dintre operațiunile din stup pentru a vedea câte tabele avem în baza de date implicită în baza de date se referă mai jos la capturile de ecran din capturile de ecran de mai jos, nu arată tabele, înseamnă că nu avem tabele în baza de date implicită. .
Pentru a crea o tabelă în stup este foarte important să faceți referire la baza de date necesară, altfel orice tabel va fi creat sub baza de date implicită.
Comenzi importante în stup
1: afișează baze de date (va afișa toate bazele de date create până în prezent).
2: creați baza de date dacă nu există mydb (această comandă va crea o bază de date cu numele de „ mydb” dacă „ mydb” nu există și dacă „ mydb există deja, nu va da nicio eroare”)
3: să utilizăm baza de date ori de câte ori trebuie să utilizăm o anumită comandă DDl pe baza de date particulară, ar trebui să folosim comanda „utilizați baza de date” în cazul nostru am creat deja „show mydb” ar fi folosit mydb.
Comandă DDL Hive importantă
CREAȚI, DROPEAZI, TRUNCAȚI, ÎNVĂȚAȚI, DESCRIȚI .
- Create : - Creați o declarație folosită pentru a crea o bază de date sau pentru a crea o tabelă în stup.
Exemplu: stup> creare bază de date Companie; (crearea bazei de date)
Stup> companie de utilizare ;
Hive> create table angajat (id int, nume String, salariu String); (acest lucru va crea un tabel angajat în baza de date Compania, deoarece am executat deja comanda Utilizați baza de date.)
- Descrieți oferă informații despre schema tabelului.
Hive> descrie angajat; (aceasta va oferi detaliile schemei tabelului angajaților în detalii)
- TRUNCATE va șterge datele din tabel.
Stup> angajat tabel truncate;
Putem instala și Hive-ul pe o fereastră, dar pentru cele mai bune practici, voi prefera utilizarea Ubuntu, va oferi o viziune mai bună a mediului producțiilor, iar datele dvs. vor crește în viitor, ușor de gestionat.
Articole recomandate
Acesta a fost un ghid pentru Instalarea stupului. Aici am discutat diferiți pași pentru instalarea Hive, comanda DDL, etc. De asemenea, puteți consulta următoarele articole pentru a afla mai multe:
- Cum se instalează SQL Server
- Cum se instalează MATLAB
- Comenzile și caracteristicile stupului
- Întrebări de bază pentru interviu stup
- Arhitectura stupului | WorkFlow
- Utilizarea funcției ORDER BY în stup
- Instalarea stupului