Diferența dintre reducerea hărții și fire
Firul reprezintă încă un negociator de resurse, este noul cadru de gestionare a resurselor (memorie și procesor). Ne ajută în dezvoltarea aplicației distribuite de orice fel, ne oferă demoni și API-uri necesare. O altă caracteristică importantă a YARN este, gestionează și planifică cererea de resurse din aplicație și ajută procesul să execute solicitarea. YARN este o platformă generică pentru a rula orice aplicație distribuită, Map Reduce versiunea 2 este aplicația distribuită care rulează deasupra YARN, în timp ce harta reduce este unitatea de procesare a componentei Hadoop, ea prelucrează datele în paralel în mediul distribuit. Deci, practic, lucrarea de reducere a mapării pe o componentă de date uriașă, procesează datele și stochează în HDFS, astfel încât regăsirea este mai ușoară decât stocarea tradițională.
Comparație față în față între MapReduce și Fire (Infografie)
Mai jos este Top 10 Comparație între MapReduce și Fire
Diferența cheie între MapReduce și Fire
- În Hadoop 1 are două componente, prima este HDFS (sistem de fișiere distribuite Hadoop) și a doua este Map Reduce. În timp ce în Hadoop 2 are, de asemenea, două componente HDFS și YARN / MRv2 (de obicei numim YARN ca Map Map versiunea 2).
- În Map Reduce, atunci când Map-reduce încetează să funcționeze, atunci automat tot nodul său sclav va înceta să funcționeze, acesta este singurul scenariu în care execuția lucrării se poate întrerupe și se numește un singur punct de eșec. YARN depășește această problemă datorită arhitecturii sale, YARN are conceptul de nod nume activ, precum și nod de denumire de așteptare. Când nodul activ nu mai funcționează pentru o perioadă de timp, nodul pasiv începe să funcționeze ca nod activ și continuă execuția.
- Map reduce are o arhitectură single-master și multi-slave. Dacă master-slave coboară, întregul sclav nu va mai funcționa, acesta este singurul punct al eșecului în HADOOP1, în timp ce HADOOP2, care se bazează pe arhitectura YARN, are conceptul de mai multe stăpâne și sclav, dacă un master coboară, un alt maestru își va relua procesul și va continua execuția.
- După cum putem vedea în diagrama de mai jos, diferența atât în ecosistemele HADOOP1 cât și în HADOOP2. Gestionarea resurselor YARN în materie de componente interacționează cu Map-reduce și HDFS.
Deci, practic, YARN este responsabil pentru managementul resurselor înseamnă ce lucrare va fi executată prin care sistemul va decide de către YARN, în timp ce harta reduce este un cadru de programare care este responsabil pentru modul de executare a unei anumite lucrări, deci practic map-reduce are două componente mapper și reductor pentru executarea unui program.
- În Map reduce fiecare nod de date rulat individual, în Yarn, fiecare nod de date este condus de un manager de noduri.
- Map reduce folosește Job Tracker pentru a crea și atribui o sarcină trackerului datorită datelor, gestionarea resursei nu este impresionantă, deoarece unele dintre nodurile de date vor păstra inactiv și nu sunt de folos, în timp ce în YARN are un Resource Manager pentru fiecare cluster, iar fiecare nod de date rulează un Manager de noduri. Pentru fiecare job, un nod sclav va acționa ca maestru al aplicației, monitorizând resursele / sarcinile.
Tabelul de comparare MapReduce vs Fire
| Baza de comparație | FIRE | Reduceți harta |
| Sens | YARN reprezintă un alt negociator de resurse. | Map Reduce este auto-definit. |
| Versiune | Introduceți în Hadoop 2.0 | Introduceți în Hadoop 1.0 |
| Responsabilitate | Acum YARN este responsabil pentru partea de gestionare a resurselor. | Reducerea hărții anterioare a fost responsabilă pentru managementul resurselor, precum și pentru prelucrarea datelor |
| Model de execuție | Modelul de execuție a firelor este mai generic în comparație cu Map reduce | Mai puțin generice în comparație cu YARN. |
| Executarea cererii | YARN poate executa și acele aplicații care nu respectă modelul Map Reduce | Map Reduce poate executa propria aplicație bazată pe model. |
| Arhitectură | YARN este introdus în MR2 pe partea de sus a trackerului de joburi și a tracker-ului de sarcini. În locul aplicației de urmărire a joburilor și de urmărire a sarcinilor, masterul vine în imagine. | În versiunea anterioară a MR1, YARN nu se află în locul YARN tracker de joburi și tracker de sarcini a fost prezent, care ajută la executarea aplicației sau a joburilor |
| Flexibilitate | Firele sunt mai izolate și scalabile | Mai puțin scalabil în comparație cu YARN. |
| daemoni | YARN are Nume Nume, Nod Date, Nod Nume secundar, Resource Manager și Node Manager. | Map Reduce are nod nod, nod date, nod secundar nume, tracker job și tracker task. |
| Prescripţie | Nu există niciun concept de punct de eșec unic în YARN, deoarece are mai mulți Maeștri, așa că, dacă ați eșuat, un alt maestru îl va prelua și va relua execuția. | Punct unic de eșec, utilizare redusă a resurselor (maximum 4200 de grupuri de către YAHOO) și mai puțin scalabilitate în comparație cu YARN |
| mărimea | În mod implicit, dimensiunea unui nod de date din YARN este de 128 MB | În mod implicit, dimensiunea unui nod de date din Map Map reduce este de 64 MB. |
Concluzie - MapReduce vs Fire
În Hadoop 1, care se bazează pe Map Reduce, există mai multe probleme care sunt depășite în Hadoop 2 cu Fire. La fel ca în Hadoop 1, tracker-ul de joburi este responsabil pentru managementul resurselor, dar YARN are conceptul de manager de resurse, precum și de nod manager care va ocupa de managementul resurselor. Reducerea hărții are un singur punct de eșec, de exemplu, trackerul de joburi, dacă trackerul de joburi nu mai funcționează, atunci trebuie să repornim întregul nostru cluster și să ne executăm din nou jobul de la Initial. Într-un scenariu real, niciuna dintre organizații nu dorește să-și asume acest tip de risc, mai ales într-un sector de apărare bancară. O astfel de organizație care lucrează pentru a simplifica datele nu va fi gata să își asume acest tip de risc. De câteva minute, ei își vor pierde datele și pot avea un impact critic asupra afacerii. Deci YARN are un rezultat mai bun față de Map-reduce.
Articol recomandat
Acesta a fost un ghid pentru MapReduce vs Fire, semnificația lor, comparația dintre cap și cap, diferențele cheie, tabelul de comparare și concluzii. De asemenea, puteți consulta următoarele articole pentru a afla mai multe -
- Cele mai bune 15 lucruri de știut despre MapReduce vs Spark
- Cele mai bune 5 diferențe între Hadoop și MapReduce
- 10 Diferența utilă între Hadoop și Redshift
- Apache Hadoop vs Apache Spark | Top 10 comparații pe care trebuie să le știi!
- Cum funcționează MapReduce?