Comenzi Sqoop - Comenzi de bază cu sfaturi și trucuri

• Introducere în comenzile Sqoop

Introducere în comenzile Sqoop

În comenzile Sqoop, fiecare rând este tratat ca înregistrări, iar sarcinile sunt subdivizate în subtasco-uri de către Task Map. Bazele de date acceptate de sqoop sunt MYSQL, Oracle, IBM, PostgreSQL. Sqoop oferă o linie de comandă simplă, putem prelua date din diferite baze de date prin comenzi sqoop. Sunt scrise în Java și utilizează JDBC pentru conectarea la alte baze de date.

Reprezintă „SQL la Hadoop” și Hadoop la SQL și un instrument sursă deschisă. Este un instrument de conectivitate pentru aplicații care transferă date în vrac între sistemul de baze de date relaționale și Hadoop (Hive, map map reduce, Mahout, Pig, HBase). Acestea permit utilizatorilor să specifice locația țintă în interiorul Hadoop și să facă sqoop pentru a muta datele de la RDMS la țintă. Oferă conectori MySQL optimizați care utilizează API specifică bazei de date pentru a efectua transferuri în vrac complet. Utilizatorul importă date din surse externe precum Hive sau Hbase. Sqoop are două formate de fișiere: format de fișier text delimitat și format de fișier de secvență.

Iată Comenzile de bază ale comenzilor Sqoop:

1. Tabel listă:

Această comandă listează tabelul particular al bazei de date din serverul MYSQL.

Exemplu:

2. Directorul țintă:

Acest tabel de import de comenzi într-un director specific în HDFS. -m denotă argumentul mapper. Au o valoare întreagă.

Exemplu:

3. Protecție cu parolă:

Exemplu:

4. sqoop-EVAL:

Această comandă rulează rapid interogări SQL ale bazei de date respective.

Exemplu:

5. sqoop - versiune:

Această comandă afișează versiunea sqoop.

Exemplu:

6. sqoop-locuri de muncă

Această comandă ne permite să creăm un job, parametrii care sunt creați pot fi invocați în orice moment. Ei iau opțiuni precum (-creare, -delete, -show, -exit).

Exemplu:

7. Încărcarea fișierului CSV în SQL:

Exemplu:

8. Conector:

Exemplu:

9. cod gen:

Această comandă Sqoop creează fișiere de clasă java care încapsulează înregistrările importate. Toate fișierele java sunt recreate și sunt generate versiuni noi ale unei clase. Acestea generează cod pentru a interacționa cu înregistrările bazei de date. Preia o listă cu toate coloanele și tipurile de date ale acestora.

Exemplu:

10.List-baze de date:

Aceste liste de comenzi Sqoop au toate bazele de date disponibile în serverul RDBMS.

exemplu:

Comenzi intermediare ale comenzilor Sqoop:

1.sqoop -meta store:

Această comandă găzduiește un depozit de metadate partajat. Utilizatorii multipli / la distanță pot executa mai multe joburi.

Comanda:

$ sqoop .metastore.client.autoconnect.url

exemplu: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. mp-suport:

Această comandă listează instrumentele disponibile în sqoop și scopul acestora.

Comanda:

ajutor de $ mp

$ import bin / sqoop import

3. Export:

Această comandă exportă date de la HDFS la baza de date RDMS. În HDFS datele sunt stocate ca înregistrări.

Comanda:

$ sqoop export \ –connect jdbc: mysql: // localhost / inventar - nume utilizator jony –table lib –export -dir / user / jony / inventar.

4. Introduceți:

Această comandă introduce o nouă înregistrare de la HDFS la tabelul RDBMS.

Comanda

$ sqoop export - conectați JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000

5. Actualizare:

Această comandă Sqoop actualizează înregistrările din RDBMS din datele HDFS.

Comanda

$ sqoop export - conectați JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000 –data-id ID

6. Opțiunea lot:

Această comandă inserează mai multe rânduri împreună, ele optimizează viteza de inserare folosind driverul Sqoop JDBC.

Comanda

$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir

7. Split:

Când se folosește această comandă, clauza unde se aplică întregului SQL.

Comanda

$ sqoop import -D mysql: // jdbc: // unde.clause.location = SPLIT - tabel JUNK - unde „rownum <= 12”

8. Fișier AVRO în HDFS:

Stocă datele RDBMS ca fișier Avro.

Comanda

$ sqoop import - conectați JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 - tabel de plată -m1 –target -dir / sqoop_data / Payment / avro / == ca -avrodatfile.

Comenzi avansate ale comenzilor Sqoop:

Comenzi de import:

Comenzile de import au argumente de control Import. diferitele argumente sunt următoarele:

• graniță: folosită pentru crearea divizărilor.
• as - fișier text: importă date cu text simplu
• -columns (: coloanele de import pentru tabel
• -m, - num: pentru a importa activități de mapare paralelă
• split-by: Split column of the table
• -z, - comprima: compresia datelor este activată.

Argumente de import incremental:

• check - column: Indică coloane pentru a determina ce rânduri trebuie importate.
• incremental (mod): indică rânduri noi (include anexă și ultima modificare a rândurilor)

Argumente de linie de ieșire:

• linii -terminate -by: setează caracterul eol
• MySQL - delimitatori: setează \ n câmpuri: linii:

Importați în stup

-hive - import: importă tabele în stup

-hive - partition-key: Numele partiției este partajat.

-hive - suprascriere: Suprascriu datele din tabelul existent.

Importați în argumente Hbase:

-accumulo-table: Aceasta specifică tabelul țintă din HBase.

-accumulo -column: Pentru import, setează coloana țintă.

-accumulo -: Pentru a importa numele acumulatorului

–Accumulo -: Pentru a importa parola acumulului

Stocarea în fișierele de secvență:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventar \ - nume de clasă com.foo.com.Inventar - așa - sequență

Import de interogare:

Această comandă specifică instrucțiunea Sql cu argumentul -query.

$ sqoop import \ –query 'SELECT a. *, b. * de la un JOIN b pe (a.id = b.id) unde $ conditions' \ -split - de / target-dir / user

Exporturi incrementale:

$ sqoop export –connect –table –username –password –incremental –check-row - ultima valoare

Importarea tuturor tabelelor în HDFS:

$ sqoop import -all - table --connect jdbc: mysql: // localhost / sale_db - nume de utilizator root.

Importarea datelor în Hive:

$ sqoop import –connect –table –username –password –hive -import - hive -table

Importarea datelor în HBase:

comanda:

$ sqoop import –connect –table –username –password –hive -import - HBase -table

Codifică valori nule:

comanda:

$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ -password sqoop \ –table lib \ –null -string ’

Sfaturi și trucuri pentru a utiliza comenzile Sqoop:

Dacă dorim să executăm operațiunile de date în mod eficient, atunci trebuie să folosim sqoop, doar printr-o singură linie de comandă putem efectua multe sarcini și subtasks în el. Sqoop se conectează la diferite baze de date relaționale prin conectori, folosind driverul JDBC pentru a interacționa cu acesta. Deoarece sqoop rulează pe sursa proprie, putem executa sqoop fără un proces de instalare. Execuția sqoop este ușoară, deoarece executați datele în paralel. Folosind Map reduce putem importa și exporta date, care la rândul lor oferă o execuție paralelă.

Concluzie - Comenzi Sqoop:

În concluzie, Sqoop Commands reglementează procesul de import și export a datelor. Sqoop oferă posibilitatea de a actualiza părțile tabelului prin încărcarea incrementală. Importul de date în sqoop nu este bazat pe evenimente. Și vine sqoop2 cu GUI activat pentru un acces ușor împreună cu linia de comandă. Transferul de date este rapid, deoarece se transferă în paralel. Acestea joacă un rol vital în mediul Hadoop. Își fac treaba pe cont propriu, nu este necesar în timp ce importă mici seturi de date.

Articole recomandate

Acesta a fost un ghid pentru comenzile Sqoop. Aici am discutat despre comenzile Sqoop de bază și avansate și unele comenzi Sqoop imediate. De asemenea, puteți consulta articolul următor pentru a afla mai multe -

1. Întrebări și răspuns la interviu Sqoop
2. Cheat sheet SQL (comenzi, sfaturi gratuite și trucuri)
3. Comenzi VBA importante
4. Comenzile Tableau