Lär dig de 10 bästa skillnaderna mellan MapReduce vs Garn

Skillnaden mellan kartminskning och garn

Garn står för Yet Another Resource Negotiator, det är den nya ramen för att hantera resurser (minne och CPU). Det hjälper oss att utveckla den distribuerade applikationen av alla slag, det ger oss nödvändiga demoner och API: er. En annan viktig funktion i YARN är att den hanterar och schemaläggar resursbegäran från applikationen och hjälper processen att utföra begäran. YARN är en generisk plattform för att köra vilken distribuerad applikation som helst, Map Reduce version 2 är den distribuerade applikationen som körs ovanpå YARN. Medan kartminskning behandlar enhet av Hadoop-komponenten bearbetar den data parallellt i den distribuerade miljön. Så i grund och botten kartlägger arbetet med enorma datakomponenter, det bearbetar data och lagrar i HDFS på ett sådant sätt att hämtning är enklare än traditionell lagring.

Head to Head jämförelse mellan MapReduce vs Garn (Infographics)

Nedan visas de 10 bästa jämförelserna mellan MapReduce vs Garn

Nyckelskillnaden mellan MapReduce vs Garn

I Hadoop 1 har den två komponenter, den första är HDFS (Hadoop Distribution File System) och den andra är Map Reduce. I Hadoop 2 har den också tvåkomponent HDFS och YARN / MRv2 (vi brukar kallade YARN som Map reducera version 2).
I Map Reduce, när Map-reducera slutar fungera, kommer automatiskt alla hans slavnoder att sluta fungera, det här är det scenariot där jobbet utförs kan avbrytas och det kallas en enda misslyckandepunkt. YARN övervinner detta problem på grund av dess arkitektur, YARN har konceptet aktivt namnnod samt standbynamnnod. När den aktiva noden slutar att fungera under en tid börjar den passiva noden att fungera som aktiv nod och fortsätta exekveringen.
Kartminskning har en enda master- och flera slavarkitektur. Om master-slave går ner så kommer hela slaven att sluta fungera. Det här är den enda punkten för misslyckande i HADOOP1, medan HADOOP2 som är baserad på YARN-arkitekturen har begreppet flera master och slave, om en master går ner kommer en annan master att återuppta sin process och fortsätta exekveringen.
Som vi kan se i diagrammet nedan är skillnaden i både ekosystem HADOOP1 och HADOOP2. Komponentvis YARN Resource Management interagerar med Map-reducera och HDFS.

Så i grunden är YARN ansvarig för resurshantering vilket jobb som kommer att utföras genom vilket system som får beslut av YARN, medan kartminskning är programmeringsram som är ansvarig för hur man utför ett visst jobb, så i grund och botten har kart-reducering två komponentkort och reducerare för körning av ett program.

I kartan minskar varje datanod körs individuellt medan i Garn körs varje datanod av en nodhanterare.
Map reducerar använder Job Tracker för att skapa och tilldela en uppgift till task tracker på grund av data är hanteringen av resursen inte imponerande, eftersom vissa av datanoderna kommer att förbli inaktiva och inte är till någon nytta, medan i YARN har en Resource Manager för varje kluster, och varje datanode kör en Node Manager. För varje jobb fungerar en slavnod som Application Master och övervakar resurser / uppgifter.

MapReduce vs Yarn Comparison Table

Grund för jämförelse	GARN	Karta Minska
Menande	YARN står för ännu en resursförhandlare.	Map Reduce är självdefinierad.
Version	Presentera i Hadoop 2.0	Presentera i Hadoop 1.0
Ansvar	Nu ansvarar YARN för Resource Management-delen.	Tidigare Map reducering var ansvarig för Resource Management såväl som databehandling
Utförande modell	Garn exekveringsmodell är mer generisk jämfört med Map reducera	Mindre generiska jämfört med YARN.
Utförande av ansökan	YARN kan också köra dessa applikationer som inte följer Map Reduce-modellen	Map Reduce kan köra sin egen modellbaserade applikation.
Arkitektur	YARN introduceras i MR2 ovanpå jobbsökare och task tracker. I stället för jobbsökare och uppgiftsspårningsapplikation kommer mästaren in i bilden.	I den tidigare versionen av MR1 är YARN inte där I stället för YARN jobb tracker och task tracker var närvarande som hjälper till att utföra applikation eller jobb
Flexibilitet	YARN är mer isolerad och skalbar	Mindre skalbar jämfört med YARN.
demoner	YARN har Namn Nod, Datanod, sekundär Namnod, Resurshanterare och Nodhanterare.	Map Reduce har Namnod, Datanod, Sekundär Namnod, Jobbsökare och Uppgiftsspårare.
Begränsning	Det finns inget begrepp om en enda punkt för misslyckande i YARN eftersom den har flera Masters så om en har misslyckats kommer en annan master att plocka upp den och återuppta exekveringen.	Enstaka misslyckande, lågt resursutnyttjande (max 4200 kluster av YAHOO) och mindre skalbarhet jämfört med YARN
Storlek	Som standard är storleken på en datanod i YARN 128 MB	Som standard är storleken på en datanod i Map reducering 64MB.

Slutsats - MapReduce vs Yarn

I Hadoop 1 som är baserad på Map Reduce har flera problem som övervunnits i Hadoop 2 med Yarn. Liksom i Hadoop 1 är jobbsökaren ansvarig för resurshantering men YARN har begreppet resurshanterare och nodhanterare som kommer att ta resurshantering. Kartminskning har en enda misslyckande, dvs. Jobbsökare, om jobbsökaren slutar fungera måste vi starta om hela vårt kluster och utföra vårt jobb igen från Initial. I ett riktigt scenario vill ingen av organisationerna ta denna typ av risk, särskilt inte inom en bankförsvarssektor. En sådan organisation som arbetar med att effektivisera data är inte redo att ta denna typ av risk. För några minuter kommer de att förlora sina uppgifter och kan ha en viss kritisk affärseffekt. Så YARN har ett bättre resultat jämfört med Map-reducering.

Rekommenderad artikel

Detta har varit en guide till MapReduce vs Garn, deras betydelse, jämförelse mellan huvud och huvud, viktiga skillnader, jämförelsetabell och slutsats. Du kan också titta på följande artiklar för att lära dig mer -