Introduktion till Hadoop FS-kommandolista
Hadoop fungerar på sitt eget filsystem som distribueras i naturen känt som ”Hadoop distribuerat filsystem HDFS ” . Hadoop förlitar sig på distribuerad lagring och parallellbehandling. Detta sätt att lagra filen på distribuerade platser i ett kluster kallas Hadoop distribuerade filsystem, dvs. HDFS. För att utföra olika operationer på filnivå tillhandahåller HDFS sin egen uppsättning kommandon kända som Hadoop File System Commands. Låt oss utforska dessa kommandon. I det här ämnet kommer vi att lära oss om Hadoop FS-kommando.
Hadoop FS-kommandon
Alla HDFS-kommandon har prefixet “hdfs dfs”. Det betyder att vi specificerar att standardfilsystemet är HDFS. Låt oss utforska kommandona en efter en
1. Versioner
Versionskommandot används för att hitta versionen av Hadoop installerad i systemet.
Syntax: Hadoop version
2. är kommandot
ls-kommandot i Hadoop används för att specificera listan över kataloger i den nämnda sökvägen. ls-kommandot tar hdfs-sökvägen som parameter och returnerar en lista med kataloger som finns i sökvägen.
Syntax: hdfs dfs -ls
Exempel: hdfs dfs -ls / user / harsha
Vi kan också använda -lsr för rekursivt läge
Syntax: hdfs dfs –lsr
3. Kattkommando
Kattkommando används för att visa innehållet i filen till konsolen. Detta kommando tar hdfs-filvägen som ett argument och visar innehållet i filen.
Syntax: hdfs dfs -cat
Exempel: hdfs dfs -cat /user/harsha/empnew.txt
4. mkdir-kommando
mkdir-kommandot används för att skapa en ny katalog i hdfs-filsystemet. Det tar hdfs-banan som ett argument och skapar en ny katalog i den angivna sökvägen.
Syntax: hdfs dfs -mkdir
Exempel: hdfs dfs -mkdir / user / exempel
I skärmdumpen ovan visas det tydligt att vi skapar en ny katalog med namnet “exempel” med mkdir-kommandot och samma visas med ls-kommandot.
Även för mkdir-kommandot kan vi ge alternativet '-p'. Det skapar överordnade kataloger i sökvägen om de saknas.
Exempel: hdfs dfs -mkdir -p / user / test / example2
I skärmbilden ovan är det ganska uppenbart att vi har alternativet -p och i sökvägen / användaren / testet / exempel2 skapas både tester och exempel2-kataloger.
5. sätta kommando
sätta kommandot i HDFS används för att kopiera filer från en given källplats till destinationshdfs-banan. Här kan källplats vara en lokal filsystemväg. put-kommando tar två argument, det första är källkatalogvägen och det andra är riktad HDFS-sökväg
Syntax: hdfs dfs -put
Exempel: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
I skärmbilden ovan kan vi tydligt se att filen kopieras från källa till destination.
6. copyFromLocal kommando
copyFromLocal-kommando i HDFS används för att kopiera filer från källvägen till destinationsvägen. Källan i detta kommando är begränsad till det lokala filsystemet
Syntax: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Skillnad mellan putkommando och copyFromLocal Command: Det finns ingen stor skillnad mellan dessa två hdfs-shell-kommandon. Båda används för att kopiera från det lokala filsystemet för att rikta in sig på HDFS-filvägen.
Men put-kommandot är mer användbart och robust eftersom det tillåter att kopiera flera filer eller kataloger till destinationen i HDFS
hdfs dfs -put
7. få kommando
get kommando i hdfs används för att kopiera en given hdfs-fil eller katalog till målet lokalt filsystem sökväg. Det tar två argument, en är källan hdfs sökväg och den andra är mål lokalt filsystem sökväg
Syntax: hdfs dfs -get
Exempel: hdfs dfs -get / user / test / example2 / home / harsha
8. copyToLocal kommando
copyToLocal kommando i hdfs används för att kopiera en fil eller katalog i hdfs till det lokala filsystemet. I detta kommando är destinationen fixerad till det lokala filsystemet. Detta copyFromLocal-kommando liknar kommandot.
Syntax: hdfs dfs -copyToLocal
Exempel: hdfs dfs -copyToLocal / user / harsha / exempel / home / harsha
9. räkna kommandot
count-kommando i hdfs används för att räkna antalet kataloger som finns i den givna banan. räknekommando tar en given sökväg som ett argument och anger antalet kataloger som finns på den sökvägen.
Syntax: hdfs dfs -count
Exempel: hdfs dfs -count / user
10. mv-kommando
mv-kommando i hdfs används för att flytta en fil mellan hdfs. mv-kommandot tar fil eller katalog från givet källa hdfs sökväg och flyttar den till mål hdfs sökväg.
Syntax : hdfs dfs -mv
Exempel : hdfs dfs -mv / user / test / example2 / user / harsha
I skärmdumpen ovan kan vi se att katalogen exempel2 nu finns i / user / harsha
11. setrep kommando
setrep-kommando i hdfs används för att ändra replikeringsfaktorn för den givna filen. Som standard har hdfs en replikeringsfaktor på '3'. Om den givna banan är en katalog, kommer detta kommando att ändra replikeringsfaktorn för alla filer som finns i den katalogen.
Syntax: hdfs dfs -setrep (-R) (-w)
-w: Den här flaggan anger att kommandot ska vänta på att replikering slutförs.
rep: replikationsfaktor
Exempel: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du kommando
du-kommando i hdfs visar skivanvändning för den angivna hdfs-vägen. Den tar hdfs-vägen som inmatning och returnerar skivanvändning i byte.
Syntax : hdfs dfs -du
Exempel: hdfs dfs -du /user/harsha/empnew.txt
13. rm-kommando
rm-kommando i hdfs används för att ta bort filer eller kataloger i den givna hdfs-vägen. Detta kommando tar hdfs-banan som inmatning och tar bort filerna som finns i den sökvägen.
Syntax : hdfs dfs -rm
Exempel : hdfs dfs -rm / user / harsha / exempel
Slutsats - Hadoop FS-kommando
Vi har härmed lärt känna olika hdfs-kommandon, deras respektive syntaxer med exempel också. Vi bör notera kickstart alla hdfs-kommandon, vi behöver köra bin / hdfs-skript. hdfs följs av ett alternativ som kallas dfs, vilket indikerar att vi arbetar med Hadoop distribuerade filsystem. Med hjälp av ovan nämnda kommandon kan vi förhandla med HDFS File System.
Rekommenderade artiklar
Detta är en guide till Hadoop FS Command. Här diskuterar vi de mest använda HDFS-kommandona. Du kan också titta på följande artikel för att lära dig mer -
- Hadoop Arkitektur
- HADOOP-ramverk
- Installera Hadoop
- Hadoop Tools
- Tableau-versioner
- Guide till listan över Unix Shell-kommandon