Cariera în Hadoop - Introducere
Hadoop nu este un simplu cadru în lumea Big Data. Are un ecosistem larg, cu o umbrelă de tehnologii conexe. Din același motiv, o carieră în Hadoop este promițătoare. Dacă aveți o bună înțelegere a fundamentelor Hadoop, aceasta va fi o bază pentru o mare carieră în Hadoop.
Educație pentru carieră în Hadoop
La fel ca multe tehnologii de date emergente, Hadoop nu necesită nicio pregătire specifică ca atare. Aproximativ jumătate dintre dezvoltatorii Hadoop provin din medii non-informatice precum Statistică sau Fizică. Prin urmare, este clar că fundalul nu este o piedică pentru a intra în lumea Hadoop, cu condiția să fiți gata să învățați fundamentele. Există cursuri online bune pentru Hadoop - cel de la eduCBA este cel mai bun exemplu - master-apache-Hadoop
În plus, dacă doriți să vă deplasați mai adânc într-o zonă specifică de gestionare a clusterului Hadoop sau de modelare a datelor din materialele Hive pe fiecare subiect specific disponibil ca cursuri online și manuale. De cele mai multe ori clusterele Hadoop vor fi configurate într-un furnizor de cloud precum AWS sau Azure. Așadar, familiarizați-vă cu orice furnizor de cloud la alegere vă va ajuta foarte mult. Serviciul Hadoop de la AWS se numește EMR.
Specializarea populară include:
- Spark - motor scalabil de procesare a datelor în memorie
- HBase - Nici o bază de date SQL pe HDFS
- Beam - Streaming pentru prima procesare a procesării datelor
- Pig - Scripturi de transformare a datelor (ETL)
- Hive - Depozitare de date
- Mahout, Spark MLlib - Învățarea scalabilă a mașinii pe Hadoop
- Perforator Apache - motor SQL pe Hadoop
- Flume, Sqoop - Servicii de ingerare a datelor
- Solr & Lucene - Căutare și indexare
Calea carierei în Hadoop
Conform rezultatelor din Stack Overflow Survey 2017, Hadoop este lider în cel mai popular și mai iubit cadru din spațiul Big Data (Survey Link). Acest lucru este posibil doar pentru că oameni din diferite perspective IT au găsit Hadoop o posibilă cale de carieră și vor să schimbe.
Oricare ar fi rolul tău actual IT, va exista o schimbare ușor adaptabilă la o carieră în lumea Hadoop. Câteva exemple populare -
- Software Developer (Programator) -> Hadoop Data Developer care se ocupă cu diferite SDK-uri de abstracție Hadoop și obține valoare din date.
- Analist de date -> Așadar, sunteți priceput în oportunitatea SQL.Huge din Hadoop de a lucra pe motoare SQL precum Hive sau Impala
- Analist de afaceri -> Organizații care încearcă să devină mai profitabile folosind date colectate masiv, iar rolul pentru un analist de afaceri este crucial în acest sens.
- Dezvoltator ETL -> Dacă lucrați ca dezvoltator ETL tradițional, puteți trece cu ușurință la Hadoop ETL folosind instrumente precum Spark.
- Testere -> Există o cerere imensă de testeri în lumea Hadoop. Înțelegând fundamentele Hadoop și profilarea datelor, orice testatori pot trece la acest rol.
- Profesii BI / DW -> Se poate trece cu ușurință la arhitectura de date Hadoop la modelarea datelor.
- Profesioniști în domeniu IT -> Cu o înțelegere profundă a domeniului și provocările existente în lumea datelor, un profesionist senior poate deveni consultanți acumulând cunoștințe despre modul în care Hadoop încearcă să rezolve aceste provocări.
- Există roluri generice, cum ar fi Inginerii de date sau Ingineria de date mari, care este responsabil pentru implementarea soluției în cea mai mare parte a furnizorilor Cloud. Obținând cunoștințe despre componentele de date oferite de cloud, acesta va fi un rol promițător.
Pozițiile postului
Ecosistemul Hadoop oferă o varietate de trasee în carieră
- MapReduce Developer - Acesta este practic un rol de dezvoltator Java care înțelege și modul în care sistemele Hadoop funcționează intern. Există o abstracție de tipul stupului sau a porcului, încă disponibile, lucrările MapReduce sunt necesare pentru sisteme performante. Dezvoltatorii MapReduce sunt cei care înțeleg un sistem de intrare și de ieșire și plătit cu adevărat ridicat.
- Administratori Hadoop - Aceștia sunt oameni responsabili pentru menținerea clusterului Hadoop sănătos și performant. Acest lucru poate include sarcini tipice ale administratorului, cum ar fi verificările regulate de sănătate ale sistemului, dar majoritatea sarcinilor necesare pentru înțelegerea arhitecturii sistemului Hadoop.
- Devops - implementați noi componente ale sistemului și alte modificări legate de dezvoltare în clusterul Hadoop. Responsabilitatea acestui rol variază mult și depinde de cultura unei organizații.
- Data Developer - Prelucrarea datelor în partea de sus a Hadoop. Acesta este unul dintre cele mai populare roluri în ecosistemul Hadoop. Oamenii din SQL sau fondul analitic se potrivesc cel mai bine acestor roluri. Lucrează în principal la o extragere la nivel înalt a Hadoop, cum ar fi stupul sau porcul.
- Administrator de securitate a datelor - Datele sunt cele mai valoroase active și securizarea acestora este cea mai importantă. Administratorii de securitate asigură politicile standard și cele mai bune practici pentru protejarea datelor, cu o limitare de înțelegere a unui sistem
- Vizualizator de date - Manevrați instrumente de vizualizare de generație viitoare care permit tăierea și agregarea dinamică a datelor cu memorie în cache în date
- ETL Developer - Transformați datele pentru îmbunătățirea calității datelor sau conform logicii de afaceri folosind instrumentele ecosistemului Hadoop. Procesul ETL poate fi transmis în flux sau pe lot.
- System Architect - Proiectați sisteme performante, luând în considerare disponibilitatea și durabilitatea datelor într-un mod rentabil. Depinde foarte mult de furnizorul de hardware.
- Data Architect - În afară de proiectarea tradițională logică / fizică a datelor, o mulțime de lucruri precum codificarea coloanelor, denormalizarea, designul de partiționare etc vor fi responsabilitatea arhitectului de date.
Cursuri recomandate
- Formare online XML și Java
- Node.JS Cursuri
- Curs de formare Silverlight
- Programul Ember.JS
Salariu
Salariul mediu al unui dezvoltator de software în SUA este de 90.956 dolari pe an, în timp ce salariul mediu al dezvoltatorului Hadoop este mult mai mare - 118.234 dolari pe an (conform într-adevăr.com - într-adevăr.com)
Salariile dezvoltatorului Hadoop în companii de top din SUA (Ref: într-adevăr.com)
| măr | 147.573 USD pe an |
| Wipro | 110.553 USD pe an |
| HERO.jobs | 158.715 USD pe an |
| MBCAA | 133.422 USD pe an |
| Ventures Unlimited Inc | 130.000 USD pe an |
| Nityo Infotech Services Pvt. Ltd. | 128.633 USD pe an |
| STEAUA NORDULUI | 126.370 USD pe an |
| PRI Tehnologie | 121.396 USD pe an |
| INFOTECH NITYO | 116.909 USD pe an |
| HortonWorks, Inc | 110.710 USD pe an |
Perspectivă în carieră
Ecosistemul Hadoop este divergent mult pentru a face față schimbării nevoilor de afaceri. Pe măsură ce datele generate crește exponențial și tot mai multe organizații devin bazate pe date, relevanța sistemului Hadoop va crește doar.
Câteva dintre tendințele notabile:
- Treceți de la procesarea lotului la o primă abordare de procesare a datelor folosind Spark și Beam
- Mai mult model de învățare automată în timp real aplicat la datele în timp real folosind Spark ML
- Motoare SQL decuplate din stocarea de date precum Presto pe S3 pentru analiza ad-hoc în partea de sus a lacului de date.
- Baze de date MPP columnare precum AWS Redshift pentru acces rapid la date
Întrucât un aspect fundamental al procesării Big Data se bazează pe sistemele distribuite și scalabile orizontal, cu toleranță la erori, care este bine implementat de Hadoop, Hadoop va continua ca un ecosistem de frunte pentru prelucrarea datelor.
Articol recomandat
Acesta a fost un ghid pentru Cariera în Hadoop. Aici am discutat Introducerea, Educația, Calea Carierei în Hadoop, Salariul și Perspectiva Carierei în Hadoop. este posibil să vă uitați și la următorul articol pentru a afla mai multe -
- Azure Paas vs Iaas și beneficiile lor utile
- Aflați diferențele dintre Java și nodul JS
- Cel mai bun consultanță pentru experți în cariera în Mainframe
- Cariere în SQL
- Cariere utile ca inginer software
- Administratorul Hadoop | Competențe și cale de carieră