Introduktion till Sqoop-kommandon
I Sqoop-kommandon behandlas varje rad som poster och uppgifterna delas upp i underverken av Map Task Internt. Databaserna som stöds av sqoop är MYSQL, Oracle, IBM, PostgreSQL. Sqoop tillhandahåller en enkel kommandorad, vi kan hämta data från olika databaser via sqoop-kommandon. De är skrivna i Java och använder JDBC för anslutning till andra databaser.
Det står för 'SQL till Hadoop' och Hadoop till SQL och ett open source-verktyg. Det är ett applikations com-anslutningsverktyg som överför bulkdata mellan det relationella databassystemet och Hadoop (Hive, map reducera, Mahout, Pig, HBase). De tillåter användare att ange målplats inuti Hadoop och göra sqoop för att flytta data från RDMS till mål. De tillhandahåller optimerade MySQL-kontakter som använder databasspecifikt API för att göra bulköverföringar helt. Användaren importerar data från externa källor som Hive eller Hbase. Sqoop har två filformat: avgränsat textfilformat och sekvensfilformat.
Här är de grundläggande kommandona för Sqoop-kommandon:
-
Listatabell:
Detta kommando listar den specifika tabellen i databasen på MYSQL-servern.
Exempel:
-
Målkatalog:
Detta kommando importerar tabellen i en specifik katalog i HDFS. -m betecknar mapper-argument. De har ett heltal.
Exempel:
-
Lösenordsskydd:
Exempel:
-
sqoop-eval:
Detta kommando körs snabbt SQL-frågor i respektive databas.
Exempel:
-
sqoop - version:
Det här kommandot visar versionen av sqoop.
Exempel:
-
sqoop-jobb
Detta kommando tillåter oss att skapa ett jobb, parametrarna som skapas kan åberopas när som helst. De tar alternativ som (–skapa, –dela, –visa, –avsluta).
Exempel:
-
Laddar CSV-fil till SQL:
Exempel:
-
Anslutning:
Exempel:
-
kodgen:
Detta Sqoop-kommando skapar java-klassfiler som kapslar in de importerade posterna. Alla java-filer återskapas och nya versioner av en klass genereras. De genererar kod för att interagera med databasposter. Hämtar en lista över alla kolumner och deras datatyper.
Exempel:
10.List-databasen:
Denna Sqoop-kommandolistor har all tillgänglig databas på RDBMS-servern.
exempel:
Mellankommandon för Sqoop-kommandon:
1.sqoop-metabutik:
Detta kommando är värd för en delad metadataförvaring. Flera / fjärranslutna användare kan köra flera jobb.
Kommando:
$ sqoop .metastore.client.autoconnect.url
exempel: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -hjälp:
Detta kommando listar de tillgängliga verktygen i sqoop och deras syfte.
Kommando:
$ sqoop hjälp
$ bin / sqoop hjälpimport
3. Exportera:
Detta kommando exporterar data från HDFS till RDMS-databasen. I HDFS lagras data som poster.
Kommando:
$ sqoop export \ –ansluta jdbc: mysql: // localhost / inventering - användarnamn jony –tabell lib –export -dir / användare / jony / inventering.
4. Infoga:
Detta kommando infogar en ny post från HDFS till RDBMS-tabellen.
Kommando
$ sqoop export - anslut JDBC: MySQL: // localhost / sqoop_export - tabell emp_exported –export -dir / sqoop / newemp -m -000
5. Uppdatering:
Detta Sqoop-kommando uppdaterar posterna i RDBMS från HDFS-data.
Kommando
$ sqoop export - anslut JDBC: MySQL: // localhost / sqoop_export - tabell emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Batchalternativ:
Detta kommando sätter in flera rader tillsammans, de optimerar infogningshastigheten med hjälp av Sqoop JDBC-drivrutin.
Kommando
$ sqoop export \ -anslut JDBC: MySQL: // hostname / –username -password -export -dir
7. Dela:
När det här kommandot används där -klausulen tillämpas på hela SQL.
Kommando
$ sqoop import -D mysql: // jdbc: // Where.clause.location = SPLIT –tabell JUNK – där “rownum <= 12”
8. AVRO-fil till HDFS:
De lagrar RDBMS-data som en Avro-fil.
Kommando
$ sqoop-import - anslut JDBC: MySQL: // localhost / Acadgild – användarnamnsrot – lösenord pp.34 –tabellbetalning -m1 –mål -dir / sqoop_data / betalning / avro / == som -avrodatfile.
Avancerade kommandon för Sqoop-kommandon:
Importera kommandon:
Importkommandon har importkontrollargument. de olika argumenten är följande:
- gräns: används för att skapa splittringar.
- som - textfil: importerar vanlig textdata
- -kolumner (: importera kolumner för tabell
- -m, - num: för att importera parallella mappningsuppgifter
- split-by: Splits kolumn i tabellen
- -z, - komprimera: komprimering av data är aktiverad.
Inkrementell importargument:
- check - column: Anger kolumner för att bestämma vilka rader som ska importeras.
- stegvis (läge): indikerar nya rader (inkludera bifoga och senast ändrar rader)
Output Line Arguments:
- rader-upphört-genom: De ställer in eol-karaktär
- MySQL - avgränsare: de sätter \ n fält: rader:
Importera till Hive
-hive - import: De importerar tabeller till bikupan
-hive - partition-key: Partitionens namn delas.
-hive - överskriva: De skriver över data i den befintliga tabellen.
Importera till Hbase-argument:
-accumulo-tabell: Detta anger måltabellen i HBase.
-accumulo-kolumn: För att importera den ställs in målkolumnen.
-accumulo -: För att importera ackumulans namn
–Accumulo -: För att importera ackumulatorns lösenord
Lagring i sekvensfiler:
$ sqoop import - anslut jdbc: mysql: //db.foo.com/emp - tabellinventar \ - klassnamn com.foo.com.Inventory -as - sequencile
Frågaimport:
Detta kommando specificerar Sql-uttalandet med -frågan.
$ sqoop import \ –fråga 'VÄLJ a. *, b. * från en JOIN b på (a.id = b.id) där $ villkor' \ -split - av / target-dir / user
Inkrementell export:
$ sqoop-export - anslut –tabell – användarnamn – lösenord – sammanhängande –check-rad – senast-värde
Importerar alla tabeller till HDFS:
$ sqoop import -all - tabeller –anslut jdbc: mysql: // localhost / sale_db - användarnamn root.
Importerar data till Hive:
$ sqoop-import - anslut –tabell – användarnamn – lösenord –hive -import - hive -tabell
Importerar data till HBase:
kommando:
$ sqoop-import - anslut –tabell – användarnamn – lösenord –hive -import - HBas -tabell
Koda nollvärden:
kommando:
$ mysql import \ –anslut JDBC: MySQL: //mysql.ex.com/sqoop \ –usname sqoop \ -password sqoop \ –tabell lib \ –null -string '
Tips och tricks för att använda Sqoop-kommandon:
Om vi vill utföra datafunktionerna effektivt måste vi använda sqoop, bara genom en enda kommandorad kan vi utföra många uppgifter och deluppgifter i den. Sqoop ansluter till olika relationsdatabaser genom kontakter, de använder JDBC-drivrutinen för att interagera med den. Eftersom sqoop körs från sin egen källa, kan vi köra sqoop utan en installationsprocess. Utförandet av sqoop är enkelt eftersom att köra data parallellt. Med hjälp av Map reducera kan vi importera och exportera data, vilket i sin tur ger parallellkörning.
Slutsats - Sqoop-kommandon:
Avslutningsvis reglerar Sqoop Commands processen för import och export av data. Sqoop tillhandahåller möjligheten att uppdatera delarna av tabellen med stegvis belastning. Dataimporten i sqoop är inte händelsestyrd. Och det finns sqoop2 med aktiverat GUI för enkel åtkomst tillsammans med kommandoraden. Dataöverföringen sker snabbt när de överförs parallellt. De spelar en viktig roll i Hadoop-miljön. De gör sitt jobb på egen hand, inte nödvändigt när de importerar små datamängder.
Rekommenderade artiklar
Detta har varit en guide till Sqoop-kommandon. Här har vi diskuterat såväl grundläggande som avancerade Sqoop-kommandon och några omedelbara Sqoop-kommandon. Du kan också titta på följande artikel för att lära dig mer -
- Sqoop intervjufrågor och svar
- Fuskark SQL (kommandon, gratis tips och trick)
- Viktiga VBA-kommandon
- Tableau-kommandon