Skillnaden mellan Apache Pig och Apache Hive
Apache Pig-berättelsen börjar år 2006 då forskaren som Yahoo kämpade med MapReduce Java-koder. Det var svårt att återanvända och bibehålla kod för sammanställning. Samtidigt observerade de att MapReduce-användare inte var bekväma med deklarativa språk som SQL. De började arbeta med ett nytt språk som var tänkt att passa in i en söt plats mellan den deklarativa stilen för SQL, låg nivå och processuell stil i MapReduce. Detta resulterade i att Pig föddes och den första utgåvan av Pig kom i september 2008 och i slutet av 2009 var ungefär hälften av jobbet på Yahoo Pig-jobb.
Apache Hive-historien börjar år 2007 då icke-Java-programmerare måste kämpa när de använder Hadoop MapReduce. IT-professionell från databasbakgrund stod inför utmaningar att arbeta med Hadoop Cluster. Ursprungligen kom forskare som arbetade på Facebook med Hive-språk. Detta språk liknade mycket SQL-språk. Så språk kallades Hive Query Language (HQL) och senare blir det projekt med öppen källkod Apache Community. Efter att ha blivit projekt med Apache Community skedde en stor utveckling i Apache Hive. Facebook var det första företaget som kom med Apache Hive.
Låt mig förklara om Apache Pig vs Apache Hive i mer detaljer.
Introduktion av Apache Pig vs Apache Hive
Apache Pig är en plattform för att analysera stora datamängder som består av ett språk på hög nivå för att uttrycka dataanalysprogram, i kombination med infrastruktur för utvärdering av dessa program. Apache är öppen källkodsprojekt för Apache Community. Apache Pig tillhandahåller ett enkelt språk som heter Pig Latin, för frågor och manipulering av data.
Gris används av företag som Yahoo, Google och Microsoft för att samla in enorma mängder av datauppsättningar i form av klickströmmar, sökloggar och webbsökningar.
- Apache Pig tillhandahåller kapslade datatyper som kartor, tuples och väskor
- Apache Pig följer flera frågeställningar för att undvika flera skanningar av datasätten.
- Programmerare som är bekanta med skriptspråk föredrar Apache Pig
- Gris är lätt om du är väl medveten om SQL
- Du behöver inte skapa scheman för att arbeta med Apache Pig
- Pig ger också stöd till stora datafunktioner som Ordering, Filters och Joins
- Apache Pig-ramverket översätter Pig Latin till sekvenser av MapReduce-program
Apache Hive datalagerprogramvara underlättar läsning, skrivning och hantering av stora datamängder som finns i distribuerad lagring med SQL. Apache Hive är ett Apache-öppet källkodsprojekt som byggs ovanpå Hadoop för att fråga, sammanfatta och analysera stora datamängder med ett SQL-liknande gränssnitt. Apache hive tillhandahåller det SQL-liknande språket HiveQL, som transparent konverterar frågor till MapReduce för körning på stora datasätt lagrade i Hadoop Distribuerad filsystem (HDFS).
- Apache Hive är ett datalagerinfrastruktur.
- Apache Hive är ett ETL-verktyg (Extraction-Transformation-Loading)
- Apache-bikupa liknar SQL
- Apache Hive möjliggör anpassade kartläggare och reducerare
- Apache Hive ökar flexibiliteten för schemat med hjälp av dataserialisering och deserialisering
- Apache hive är ett analytiskt verktyg
Jämförelse mellan huvud och huvud mellan Apache Pig vs Apache Hive (Infographics):
Viktiga skillnader mellan Apache Pig vs Apache Hive:
- Apache Pig jämför snabbare Apache Hive
- Apache Pig och Apache Hive kör båda ovanpå Hadoop MapReduce
- Apache Pig är bäst för strukturerad och halvstrukturerad medan Apache Hive är bäst för strukturerad data
- Apache Pig är ett processpråk medan Apache Hive är ett deklarativt språk
- Apache Pig stöder cogroup-funktionen för yttre sammanfogningar medan Apache Hive inte stöder
- Apache Pig har inte en fördefinierad databas för att lagra tabell / schema medan Apache Hive har fördefinierade tabeller / scheman och lagrar sin information i en databas.
- Apache Pig är också lämplig för komplex och kapslad datastruktur medan Apache Hive är mindre lämpad för komplexa data
- Forskare och programmerare använder Apache-gris medan Data Analysts använder Apache Hive
När ska man använda Apache Pig:
- När du är programmerare och känner till skriptspråk
- När du inte vill skapa schema när du laddar
- ETL-krav
- När du arbetar på klientsidan av Hadoop-klustret
- När du arbetar med filformatet Avro Hadoop
När du ska använda Apache Hive:
- Krav på datalagring
- Analytiska frågor från historiska data
- Dataanalys som känner till SQL
- Samtidigt som jag arbetar med strukturerad data
- Av dataanalytiker
- För att visualisera och skapa rapporter
Apache Pig vs Apache Hive jämförelse tabell
Jag diskuterar stora artefakter och skiljer mellan Apache Pig och Apache Hive.
| Apache Pig | Apache Hive | |
| Databehandling | Apache Pig är ett dataflödesspråk på hög nivå | Apache Hive används för batchbearbetning, dvs Online Analytical Processing (OLAP) |
| Bearbetar hastighet | Apache Pig har högre latens på grund av att MapReduce-jobb körs i bakgrunden | Apache Hive har också högre latens på grund av att MapReduce-jobb körs i bakgrunden |
| Kompatibilitet med Hadoop | Apache Pig kör ovanpå MapReduce | Apache Hive kör också ovanpå MapReduce |
| Definition | Apache Pig är ett öppet källkodssystem med hög nivå som ger dig en enkel språkplattform som kallas Pig Latin som kan användas för att manipulera data och frågor. | Apache Hive är öppen källkod och liknar SQL som används för analytiska frågor |
| Använd språk | Apache Pig använder processuella dataflödesspråk som kallas Pig Latin | Apache Hive använder ett deklarativt språk som heter HiveQL |
| schema | Apache Pig har inte ett schemabegrepp. Du kan lagra data i ett alias. | Apache-bikupa stöder schema för att infoga data i tabeller |
| Webbgränssnitt | Apache Pig stöder inte webbgränssnitt | Apache Hive stöder webbgränssnitt |
| Operationer | Apache Pig används för strukturerade och semistrukturerade data | Apache Hive används för strukturerad data. |
| Användarspecifikation | Apache Pig används av forskare och programmerare | Apache Hive används av Data Analyst |
| Fungerar på | Apache Pig fungerar på klientsidan av klustret | Apache-bikupan fungerar på serversidan av klustret |
| Partitionsmetoder | Det finns inget begrepp om partition i Apache Pig | Apache Hive stöder skärmningsfunktioner |
| Filformat | Apache Pig stöder Avro-filformat | Apache-bikupa stöder inte direkt Avro-format men kan stödja att använda “org.apache.hadoop.hive.serde2.avro” |
| JDBC / ODBC | Apache Pig stöder inte | Apache-bikupa stöder men begränsat |
| felsökning | Det är lätt att felsöka grisskript | Vi kan felsöka, men det är lite komplicerat |
Slutsats - Mellan Apache Pig vs Apache Hive:
Apache Pig och Apache Hive, båda används ofta i Hadoop-klustret. Både Apache Pig och Apache Hive är ett kraftfullt verktyg för dataanalys och ETL. Apache Pig och Apache Hive används mest i produktionsmiljön. En användare måste välja ett verktyg baserat på datatyper och förväntad utgång. Båda verktygen ger ett unikt sätt att analysera Big Data på Hadoop-klustret. Baserat på diskussion ovan kan användaren välja mellan Apache Pig och Apache Hive för deras krav.
Rekommenderad artikel
Detta har varit en guide till Apache Pig vs Apache Hive, deras betydelse, jämförelse mellan huvud och huvud, viktiga skillnader, jämförelsetabell och slutsats. Du kan också titta på följande artiklar för att lära dig mer -
- Hadoop utvecklarintervju Frågor
- Hadoop vs Hive
- Hur knäcker Hadoop utvecklarintervju?
- Apache Hive vs Apache HBase
- Apache Hadoop vs Apache Spark