Introduktion till Hadoop Ecosystem
Hadoop-ekosystemet är ett ramverk som hjälper till att lösa big data-problem. Kärnkomponenten i Hadoop-ekosystemet är ett Hadoop distribuerat filsystem (HDFS). HDFS är det distribuerade filsystemet som har förmågan att lagra en stor stack med datamängder. Med hjälp av skal-kommandon HADOOP interaktivt med HDFS. Hadoop bryter upp ostrukturerad data och distribuerar till olika avsnitt för dataanalys. Ekosystemet tillhandahåller många komponenter och tekniker som har förmågan att lösa affärskomplexa uppgifter. Ekosystemet innehåller öppna källkodsprojekt och exempel
Översikt över Hadoop Ecosystem
Som vi alla vet att Internet spelar en viktig roll i den elektroniska industrin och mängden data som genereras genom noder är mycket stor och leder till datarevolutionen. Data är enorma i volym så det finns ett behov av en plattform som tar hand om dem. Hadoop-arkitekturen minimerar arbetskraften och hjälper till med schemaläggning av jobb. För att bearbeta dessa data behöver vi en stark beräkningskraft för att hantera den. När data växer drastiskt kräver det stora volymer minne och snabbare hastighet för att bearbeta terabyte data, för att möta utmaningar som distribueras system används som använder flera datorer för att synkronisera data. För att hantera detta behandlingssystem är det obligatoriskt att upptäcka programvaruplattform för att hantera datarelaterade problem. Där utvecklas Hadoop för att lösa big data-problem.
Komponenter i Hadoop Ecosystem
Som vi har sett en översikt över Hadoop Ecosystem och välkända exemplar på öppen källkod, kommer vi nu att diskutera en lista över Hadoop-komponenter individuellt och deras specifika roller i stordatabehandlingen. Komponenterna i Hadoop-ekosystem är:
-
HDFS:
Hadoop Distribuerat filsystem är ryggraden i Hadoop som körs på java-språk och lagrar data i Hadoop-applikationer. De fungerar som ett kommandogränssnitt för att interagera med Hadoop. de två komponenterna i HDFS - Datanoden, Name Node. Namn nod huvudnoden hanterar filsystem och driver alla datanoder och upprätthåller register över uppdatering av metadata. Vid radering av data registreras de automatiskt i redigeringslogg. Data Node (Slave Node) kräver stort lagringsutrymme på grund av läsnings- och skrivoperationer. De fungerar enligt instruktionerna i Namnnoden. Datanoderna är hårdvara i det distribuerade systemet.
-
HBASE:
Det är ett open source-ramverk som lagrar alla typer av data och stöder inte SQL-databasen. De körs ovanpå HDFS och skrivs på java-språk. De flesta företag använder dem för sina funktioner som att stödja alla typer av data, hög säkerhet, användning av HBas-tabeller. De spelar en viktig roll i analytisk bearbetning. De två huvudkomponenterna i HBase är HBase master, Regional Server. HBase master är ansvarig för lastbalansering i ett Hadoop-kluster och kontrollerar failover. De ansvarar för att utföra administrationsrollen. Den regionala serverns roll skulle vara en arbetarnod och ansvarig för att läsa, skriva data i cachen.
-
GARN:
Det är en viktig komponent i ekosystemet och kallas som ett operativsystem i Hadoop som tillhandahåller resurshantering och jobbschemaläggningsuppgift. Komponenterna är Resource and Node manager, Application manager och en container. De fungerar också som vakter över Hadoop-kluster. De hjälper till vid dynamisk fördelning av klusterresurser, ökar processen för datacenter och tillåter flera åtkomstmotorer.
-
Sqoop:
Det är ett verktyg som hjälper till vid dataöverföring mellan HDFS och MySQL och ger hand för att importera och exportera data, de har ett kontaktdon för att hämta och ansluta en data.
-
Apache Spark:
Det är ett ramverk för öppen källkod för dataanalys och en viktig databehandlingsmotor. Det är skriven i Scala och levereras med förpackade standardbibliotek. De används av många företag för deras höga bearbetningshastighet och strömbehandling.
-
Apache Flume:
Det är en distribuerad tjänst som samlar in en stor mängd data från källan (webbservern) och flyttar tillbaka till dess ursprung och överförs till HDFS. De tre komponenterna är Source, sink och channel.
-
Hadoop Map Reduce:
Det ansvarar för databehandling och fungerar som en kärnkomponent i Hadoop. Map Reduce är en processmotor som gör parallellbehandling i flera system i samma kluster. Denna teknik är baserad på divide and conquers-metoden och den är skriven i java-programmering. På grund av parallellbehandling hjälper det i den snabba processen att undvika överbelastningstrafik och förbättrar effektiv databehandling.
-
Apache Pig:
Data Manipulation of Hadoop utförs av Apache Pig och använder Pig Latin Language. Det hjälper till att återanvända kod och enkelt att läsa och skriva kod.
-
Bikupa:
Det är en plattformsprogramvara med öppen källkod för att utföra datalagringskoncept, den lyckas fråga stora datamängder lagrade i HDFS. Det är byggt ovanpå Hadoop Ecosystem. det språk som används av Hive är Hive Query-språk. Användaren skickar in bikupfrågorna med metadata som konverterar SQL till kartreducerande jobb och ges till Hadoop-klustret som består av en master och många antal slavar.
-
Apache Drill:
Apache Drill är en open source SQL-motor som bearbetar icke-relationella databaser och filsystem. De är utformade för att stödja semistrukturerade databaser som finns i molnlagring. De har goda minneshanteringsfunktioner för att upprätthålla skräp. De tillagda funktionerna inkluderar Columnar-representation och använder distribuerade förbindelser.
-
Apache Zookeeper:
Det är ett API som hjälper till med distribuerad samordning. Här skapas en nod som heter Znode av en applikation i Hadoop-klustret. De gör tjänster som synkronisering, konfiguration. Det sorterar ut den tidskrävande samordningen i Hadoop ekosystem.
-
Oozie:
Oozie är en Java-webbapplikation som upprätthåller många arbetsflöden i ett Hadoop-kluster. Att ha API: er för webbtjänster kontrollerar ett jobb görs var som helst. Det är populärt för att hantera flera jobb effektivt.
Exempel på Hadoop Ecosystem
När det gäller kartminskning kan vi se ett exempel och använda fall. ett sådant fall är Skybox som använder Hadoop för att analysera en enorm datamängd. Hive kan hitta enkelhet på Facebook. Frekvensen av ordräkning i en mening med kartan minskar. MAP utförs genom att ta räkningen som input och utföra funktioner som filtrering och sortering och reducera () konsoliderar resultatet. Hiveexempel på att ta elever från olika tillstånd från studentdatabaser med olika DML-kommandon
Slutsats
Detta avslutar en kort inledande anmärkning om Hadoop Ecosystem. Apache Hadoop har vunnit popularitet på grund av dess funktioner som att analysera databunken, parallellbehandling och hjälper till med feltolerans. Ekosystemens kärnkomponenter involverar Hadoop Common, HDFS, Map-reducer och Garn. Att bygga en effektiv lösning. Det är nödvändigt att lära sig en uppsättning komponenter, varje komponent gör sitt unika jobb eftersom de är Hadoop-funktionaliteten.
Rekommenderade artiklar
Detta har varit en guide för Hadoop Ecosystem Components. Här diskuterade vi komponenterna i Hadoop Ecosystem i detalj. Du kan också gå igenom våra andra föreslagna artiklar för att lära dig mer -
- Karriärområde i Hadoop
- Vad är användningen av Hadoop?
- Vad är AWT i Java?
- Lär dig Data Warehouse vs Hadoop