Introducere în întrebările și răspunsurile la interviu Hive
În noua eră a datelor Hive este un pachet de instrumente ETL pe scară largă de petabyte și un depozit de date pentru infrastructura de stocare a datelor pentru a stoca date structurate și nestructurate pe sistem distribuit de fișiere (HDFS)
pentru analiza, interogarea și extragerea seturilor de date de volum uriaș, permițând un limbaj asemănător SQL numit HiveQL (HQL) și executarea ușoară a interogărilor prin planificarea Hadoop MapReduce.
Hive este construit pe partea de sus a Hadoop pentru a procesa și analiza Big Data și simplifică interogarea.
Stupul a fost inițial creat de Facebook, mai târziu a fost îmbunătățit și dezvoltat ca o sursă deschisă de către Apache Software Foundation și a numit-o Apache Hive. Există acum multe companii care utilizează Apache Hive pentru soluțiile Big Data.
Dacă sunteți în căutarea unui loc de muncă care are legătură cu stupul, trebuie să vă pregătiți pentru întrebările de interviu pentru stupul 2018. Deși fiecare interviu este diferit, iar sfera unui loc de muncă este diferită, vă putem ajuta cu cele mai bune întrebări și răspunsuri la interviu Hive 2018, care vă vor ajuta să faceți saltul și să vă obțineți succes în interviu.
Mai jos este lista de sus a întrebărilor pentru interviu Hive care sunt adresate mai ales într-un interviu. Aceste întrebări sunt împărțite în două părți:
Partea 1 - Întrebări la interviu în stup (de bază)
Această primă parte acoperă întrebările de bază și răspunsurile la interviu Hive.
1. Enumerați diferitele componente ale arhitecturii stupului?
Răspuns:
Mai jos sunt enumerate cinci componente de bază în arhitectura stupului:
• Interfață utilizator (UI): acționează ca un comunicator între utilizatori și drivere atunci când utilizatorul scrie interogările UI îl acceptă și îl rulează pe driver, există două tipuri de interfață disponibile, acestea sunt linia de comandă și interfața GUI.
• Driver: menține ciclul de viață al interogării HiveQL. Primește întrebările de la interfața utilizatorului și creează sesiunea pentru a procesa interogarea.
• Compiler: primește planurile de interogare de la șofer și primește informațiile necesare de la Metastore pentru a executa planul.
• Metastore: Stochează informațiile despre date ca un tabel; poate fi dintr-un tabel intern sau extern. Acesta trimite informațiile despre metadate compilatorului pentru a executa interogarea.
• Execute Engine: Serviciul stup va executa rezultatul în motorul de execuție; execută interogarea în MapReduce pentru a procesa datele. Este responsabil pentru controlul fiecărei etape pentru toate aceste componente.
2. Care sunt diferitele tipuri de moduri pe care le poate opera Hive?
Răspuns:
Aceasta este întrebarea comună a interviului Hive adresată într-un interviu. Stupul poate funcționa pe două moduri bazate pe dimensiunea datelor,
Aceste moduri sunt:
• Modul Reducere hartă
•Mod local
3. Care sunt scenariile în care stupul poate fi folosit și nu poate fi utilizat?
Raspuns :
Când creați aplicații de tip Data Depoas când datele dvs. sunt statice, atunci când aplicația dvs. nu are nevoie de timp mare de răspuns, când volumul de date este imens, când datele nu se schimbă rapid și când utilizați interogări în loc de scripturi. Hive acceptă numai tranzacția OLAP, nu este potrivită pentru tranzacțiile OLTP.
Haideți să trecem la următoarea întrebare pentru interviu Hive.
4. Care sunt formatele de fișiere pe care le suportă Hive? Enumerați tipul de aplicații care sunt acceptate de HIVE?
Răspuns:
În mod implicit, Hive acceptă formatul File File și acceptă, de asemenea, formatul de fișiere binare, cum ar fi fișierul de secvență, fișiere ORC, fișiere parchet, fișiere Avro Data.
• Fișier de secvență: este, în general, un fișier format binar, care poate fi comprimat și care poate fi divizibil.
• Fișier ORC: Fișierul Coloană optimizat cu rânduri este înregistrat pe fișier pe coloană și fișier de stocare orientat pe coloană.
• Fișier parchet: este un fișier binar orientat pe coloană, este extrem de eficient pentru interogări la scară largă.
• Fișier de date Avro: este același format al fișierului de secvență, care este un fișier divizibil, compresibil și orientat pe rând.
Dimensiunea maximă a tipului de date șir admise în stup este de 2 GB.
Hive este un cadru de depozit de date care este potrivit pentru acele aplicații care sunt scrise în Java, C ++, PHP, Python sau Ruby.
5. Care sunt diferitele tipuri de tabele disponibile în Hive?
Răspuns:
Există două tipuri de tabel în aplicația Hive, acestea sunt:
• Tabele gestionate: Datele și schema controlează Hive.
• Tabele externe: numai schema este controlată de stup.
Partea a 2-a - Întrebări despre interviu (avansat)
Haideți să aruncăm o privire asupra întrebărilor avansate de interviu Hive.
6. Ce este un metastore în stup? Enumerați și explicați diferitele tipuri de configurare a metastorelor stupului?
Răspuns:
Metastore in Hive este utilizat pentru a stoca informațiile despre metadate, este un depozit central în Hive. Permite stocarea informațiilor de metadate într-o bază de date externă. În mod implicit, Hive stochează informații despre metadate în baza de date Derby, dar poate fi stocată și în alte baze de date, cum ar fi Oracle, MySql etc.
Există trei tipuri de configurare Metastore, acestea sunt:
• Metastore încorporate: este un mod implicit; se poate accesa local biblioteca Hive, toate operațiunile în linia de comandă se fac în modul încorporat. Serviciul Hive, serviciul metastore și baza de date rulează în același JVM.
• Metastază locală: Stochează date într-o bază de date externă precum MySql sau Oracle. Serviciul Hive și metastore rulează în același JVM, se conectează la baza de date care rulează în JVM separat.
• Metastore de la distanță: Utilizează modul de la distanță pentru a rula interogări, aici serviciul metastore și serviciul stup se rulează într-un JVM separat. Puteți avea mai multe servere metastore pentru a crește disponibilitatea.
7. Ce este un procesor de interogare stup? Care sunt diferitele componente ale procesorului de interogare a stupului?
Răspuns:
Aceasta este întrebarea frecventă a interviului Hive într-un interviu. Procesorul de interogare Hive este folosit pentru a converti SQL în joburi MapReduce. Pe baza ordinii dependențelor, joburile sunt executate.
Componentele Hive Query Processor sunt enumerate mai jos:
• Analizor semantic
• UDF și UDAF
• Instrumentul de optimizare a
•Operator
• Parser
• Motor de execuție
• Verificare tip
• Generarea planului logic
• Generarea planului fizic
8. Care este funcționalitatea Object-Inspector din stup?
Răspuns:
Este compus din stup care este utilizat pentru a identifica structura coloanelor individuale și structura internă a obiectelor de rând. Obiectele complexe care sunt stocate în mai multe formate pot fi accesate folosind Object-Inspector în stup.
Object-Inspector va identifica structura unui obiect și modalitățile de accesare a câmpurilor interne din interiorul obiectului.
Haideți să trecem la următoarea întrebare pentru interviu Hive.
9. Care sunt diferitele moduri de conectare a aplicațiilor la serverul Hive?
Răspuns:
Există trei modalități de conectare a aplicațiilor la serverul Hive, acestea sunt:
• Thrift Client: Acesta este folosit pentru a rula toate comenzile stupului folosind un limbaj de programare diferit, cum ar fi Java, C ++, PHP, Python sau Ruby.
• Driver ODBC: Acesta acceptă protocolul ODBC
• Driver JDBC: Acesta acceptă protocolul JDBC
10. Care este clasele implicite de citire și scriere în stup?
Răspuns:
Mai jos găsiți clasele de citire și scriere disponibile în stup:
• TextInputFormat - Această clasă este utilizată pentru citirea datelor în format text simplu.
• HiveIgnoreKeyTextOutputFormat - Această clasă este utilizată pentru a scrie date în format text simplu.
• SequenceFileInputFormat - Această clasă este utilizată pentru citirea datelor în format de fișier Hquadop Sequence.
• SequenceFileOutputFormat - Această clasă este folosită pentru a scrie date în formatul fișierului Hadoop Sequence.
Articol recomandat
Acesta a fost un ghid la Lista întrebărilor și a răspunsurilor la interviu stup, astfel încât candidatul să poată împărți cu ușurință aceste întrebări de interviu stup. De asemenea, puteți consulta următoarele articole pentru a afla mai multe -
- Top 5 Întrebări utile și răspuns la interviu DBA
- 12 Cele mai grozave întrebări la interviu și răspuns la GitHub
- 15 Cele mai importante întrebări și răspuns la Ruby Interviu
- Top 10 Cele mai utile întrebări pentru interviu HBase