Introducere în Lista de comandă Hadoop FS
Hadoop funcționează pe propriul sistem de fișiere, care este distribuit în natură cunoscut sub numele de „Sistemul de fișiere HDFS distribuit de Hadoop ” . Hadoop se bazează pe stocarea distribuită și procesarea paralelă. Acest mod de stocare a fișierului în locații distribuite într-un cluster este cunoscut sub numele de Sistem de fișiere distribuit Hadoop, adică HDFS. Pentru a efectua diverse operații la nivel de fișier, HDFS oferă propriul set de comenzi cunoscute sub numele de comenzi ale sistemului de fișiere Hadoop. Să explorăm acele comenzi. În acest subiect, vom afla despre Hadoop FS Command.
Comenzile Hadoop FS
Orice comandă HDFS are prefixul „hdfs dfs”. Înseamnă că specificăm că sistemul de fișiere implicit este HDFS. Să explorăm comenzile una câte una
1. versiuni
Comanda versiune este utilizată pentru a găsi versiunea Hadoop instalată în sistem.
Sintaxa: Hadoop version
2. ls Command
Comanda ls din Hadoop este utilizată pentru a specifica lista de directoare din calea menționată. Comanda ls ia calea hdfs ca parametru și returnează o listă de directoare prezente pe cale.
Sintaxa: hdfs dfs -ls
Exemplu: hdfs dfs -ls / user / harsha
Putem folosi, de asemenea, -lsr pentru modul recursiv
Sintaxa: hdfs dfs –lsr
3. Comandamentul pisicii
Comanda Cat este utilizată pentru a afișa conținutul fișierului în consolă. Această comandă ia calea fișierului hdfs ca argument și afișează conținutul fișierului.
Sintaxa: hdfs dfs -cat
Exemplu: hdfs dfs -cat /user/harsha/empnew.txt
4. comanda mkdir
comanda mkdir este utilizată pentru a crea un nou director în sistemul de fișiere hdfs. Acesta ia calea hdfs ca argument și creează un nou director în calea specificată.
Sintaxa: hdfs dfs -mkdir
Exemplu: hdfs dfs -mkdir / user / exemplu
În ecranul de mai sus, este clar că creăm un nou director numit „exemplu” folosind comanda mkdir și același lucru este arătat folosind comanda ls.
De asemenea, pentru comanda mkdir, putem da opțiunea '-p'. Creează directoare părinte pe cale, dacă lipsesc.
Exemplu: hdfs dfs -mkdir -p / user / test / exemplu2
În ecranul de mai sus, este destul de evident că avem opțiunea -p, iar în calea / utilizator / test / exemplu2, sunt create atât testele cât și directoarele example2.
5. pune comanda
pune comanda în HDFS este utilizată pentru a copia fișierele din locația sursă dată pe calea hdfs de destinație. Aici locația sursă poate fi o cale locală de sistem de fișiere. comanda put necesită două argumente, primul este calea directorului sursă, iar al doilea este calea HDFS vizată
Sintaxa: hdfs dfs -put
Exemplu: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
În ecranul de mai sus, putem vedea clar că fișierul este copiat de la sursă la destinație.
6. comanda copyFromLocal
comanda copyFromLocal în HDFS este utilizată pentru a copia fișierele de la calea sursă la calea de destinație. Sursa din această comandă este restricționată la sistemul de fișiere local
Sintaxa: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Diferența dintre comanda put și copyFromLocal Command: Nu există o mare diferență între aceste două comenzi shell hdfs. Ambele sunt folosite pentru a copia din sistemul de fișiere local pentru a viza calea de fișiere HDFS.
Dar comanda de comandă este mai utilă și mai robustă, deoarece permite copierea mai multor fișiere sau directoare la destinație în HDFS
hdfs dfs -put
7. obțineți comanda
comanda get în hdfs este utilizată pentru a copia un fișier sau director hdfs dat pe calea locală a sistemului de fișiere țintă. Este nevoie de două argumente, unul este calea hdfs sursă, iar celălalt este calea locală a sistemului de fișiere
Sintaxa: hdfs dfs -get
Exemplu: hdfs dfs -get / user / test / exemplu2 / home / harsha
8. comanda copyToLocal
Comanda copyToLocal în hdfs este utilizată pentru a copia un fișier sau director în hdfs în sistemul de fișiere local. În această comandă, destinația este fixată la sistemul de fișiere local. Această comandă copyFromLocal este similară cu comanda get.
Sintaxa: hdfs dfs -copyToLocal
Exemplu: hdfs dfs -copyToLocal / user / harsha / exemplu / home / harsha
9. comanda numărătoare
comanda count în hdfs este utilizată pentru numărarea numărului de directoare prezente pe calea dată. comanda count ia o cale dată ca argument și oferă numărul de directoare prezente pe acea cale.
Sintaxa: hdfs dfs -count
Exemplu: hdfs dfs -count / user
10. comanda mv
Comanda mv în hdfs este utilizată pentru a muta un fișier între hdfs. Comanda mv preia fișierul sau directorul din calea hdfs sursă dată și o mută spre calea hdfs vizată.
Sintaxa : hdfs dfs -mv
Exemplu : hdfs dfs -mv / user / test / example2 / user / harsha
În ecranul de mai sus, putem vedea că directorul exemplu2 este prezent acum în / user / harsha
11. comanda setrep
comanda setrep în hdfs este utilizată pentru a modifica factorul de replicare a fișierului dat. În mod implicit, hdfs are un factor de replicare de „3”. Dacă calea dată este un director, această comandă va modifica factorul de replicare a tuturor fișierelor prezente în acel director.
Sintaxa: hdfs dfs -setrep (-R) (-w)
-w: Acest steag specifică faptul că comanda trebuie să aștepte finalizarea replicării.
rep: factor de replicare
Exemplu: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du comanda
du command în hdfs arată utilizarea discului pentru calea hdfs dată. Acesta ia calea hdfs ca intrare și returnează utilizarea discului în octeți.
Sintaxa : hdfs dfs -du
Exemplu: hdfs dfs -du /user/harsha/empnew.txt
13. comanda rm
Comanda rm în hdfs este folosită pentru a elimina fișierele sau directoarele din calea hdfs dată. Această comandă ia calea hdfs ca intrare și elimină fișierele prezente pe acea cale.
Sintaxa : hdfs dfs -rm
Exemplu : hdfs dfs -rm / user / harsha / exemplu
Concluzie - Comanda Hadoop FS
Am ajuns să cunoaștem despre diverse comenzi hdfs, sintaxele lor, de asemenea, cu exemple. Ar trebui să notăm kick start comenzi hdfs, avem nevoie de run bin / hdfs script. hdfs este urmată de o opțiune cunoscută sub numele de dfs, care indică faptul că lucrăm cu sistemul de fișiere distribuit Hadoop. Cu ajutorul comenzilor menționate mai sus, putem negocia cu sistemul de fișiere HDFS.
Articole recomandate
Acesta este un ghid pentru comanda Hadoop FS. Aici vom discuta despre cele mai frecvent utilizate comenzi HDFS. De asemenea, puteți consulta articolul următor pentru a afla mai multe -
- Arhitectura Hadoop
- Cadrul HADOOP
- Instalați Hadoop
- Instrumente Hadoop
- Versiuni în tabel
- Ghid pentru lista de comenzi Unix Shell