Översikt över gnistkomponenter
Föreställ dig att du har 1000 uppgifter till hands och väldigt lite tid att slutföra dem alla. Någon erbjuder dig hjälp genom att tillhandahålla resurser som kan ta av dig några uppgifter och göra dem parallellt med dig så att alla uppgifter är klar i tid. Att någon är gnista för dig i beräkningssyn. Apache Spark är en öppen källkod och distribuerad klusterdatorram för Big Data och ger ett optimerat tillvägagångssätt för att utföra analyser på stora datamängder. Det fungerar 100 gånger snabbare än Hadoop och tillhandahåller olika bibliotek för olika ändamål som att utföra SQL-operationer, ML, strömning, grafbehandling etc. Nedan ser vi de olika gnistkomponenterna i detalj.
Toppkomponenter i gnista
För närvarande har vi 6 komponenter i Spark Ecosystem som är Spark Core, Spark SQL, Spark Streaming, Spark MLlib, Spark GraphX och SparkR. Låt oss se vad var och en av dessa komponenter gör.
1. Spark Core
Spark Core är, som namnet antyder, kärnenheten i en Spark-process. Det tar hand om schemaläggning av uppgifter, återhämtning av fel, minnehantering och ingångsutgångar, etc. Tänk på det som något liknande CPU till en dator. Det stöder programmeringsspråk som Java, Scala, Python och R och tillhandahåller API: er för respektive språk med vilka du kan bygga ditt ETL-jobb eller göra analyser. Alla andra komponenter i Spark har sina egna API: er som är byggda ovanpå Spark Core. På grund av dess parallella bearbetningsmöjligheter och beräkning i minnet kan Spark hantera alla typer av arbetsbelastning.
Spark Core kommer med en speciell typ av datastruktur som kallas RDD (Resilient Distribuerad Dataset) som distribuerar data över alla noder i ett kluster. RDD: er arbetar med ett Lazy utvärderingsparadigm där beräkningen lagras och endast utförs när det är nödvändigt. Detta hjälper dig att optimera processen genom att bara beräkna nödvändiga objekt.
2. Spark SQL
Om du har arbetat med databaser förstår du vikten av SQL. Skulle det inte vara extremt överväldigande om samma SQL-kod fungerar N gånger snabbare även på ett större datasæt? Spark SQL hjälper dig att manipulera data om Spark med SQL. Det stöder JDBC- och ODBC-anslutningar som skapar en relation mellan Java-objekt och befintliga databaser, datalager och affärsintelligensverktyg. Spark innehåller något som kallas Dataframes som är strukturerad datainsamling i form av kolumner och rader.
Spark låter dig arbeta med dessa data med SQL. Dataframe motsvarar relationstabeller och de kan konstrueras från alla externa databaser, strukturerade filer eller redan befintliga RDD: er. Dataframes har alla funktioner i RDD, såsom immutable, fjädrande, i minnet men med en extra funktion att vara strukturerad och lätt att arbeta med. Dataframe API är också tillgängligt i Scala, Python, R och Java.
3. Spark Streaming
Dataströmning är en teknik där en kontinuerlig ström av realtidsdata behandlas. Det kräver ett ramverk som ger låg latens för analys. Spark Streaming tillhandahåller det och också en hög genomströmning, feltolerant och skalbar API för bearbetning av data i realtid. Det abstraheras på den diskretiserade strömmen (DStream) som representerar en ström av data uppdelad i små partier. DStream är byggt på RDD, vilket gör att Spark Streaming fungerar sömlöst med andra gnistkomponenter. Några av de mest anmärkningsvärda användarna av Spark.
Streaming är Netflix, Pinterest och Uber. Spark Streaming kan integreras med Apache Kafka, som är en frikopplings- och buffertplattform för ingångsströmmar. Kafka fungerar som det centrala navet för realtidsströmmar som bearbetas med hjälp av algoritmer i Spark Streaming.
4. Spark MLLib
Sparks största attraktion är att öka beräkningen massivt och den här funktionen är det viktigaste kravet för alla maskininlärningsprojekt. Spark MLLib är maskininlärningskomponenten i Spark som innehåller maskininlärningsalgoritmer som klassificering, regression, klustering och samarbetsfiltrering. Det erbjuder också en plats för extraktion av funktioner, minskad dimension, transformation, etc.
Du kan också spara dina modeller och köra dem på större datasätt utan att behöva oroa dig för storleksproblem. Den innehåller också verktyg för linjär algebra, statistik och datahantering. På grund av Sparks process i minnet, feltolerans, skalbarhet och enkel programmering kan du med hjälp av detta bibliotek köra iterativa ML-algoritmer enkelt.
5. GraphX
Graph Analytics bestämmer i grund och botten förhållandena mellan objekt i en graf, till exempel det kortaste avståndet mellan två punkter. Detta hjälper är ruttoptimering. Spark GraphX API hjälper till med graf och parallellberäkning av diagram. Det förenklar grafanalys och gör det snabbare och mer pålitligt. En av de viktigaste och välkända applikationerna för grafanalys är Google Maps.
Den hittar avståndet mellan två platser och ger ett optimalt ruttförslag. Ett annat exempel kan vara Facebook-vänens förslag. GraphX fungerar med både grafer och beräkningar. Spark erbjuder en rad grafalgoritmer som sidrankning, anslutna komponenter, etikettutbredning, SVD ++, starkt anslutna komponenter och triangelantal.
6. SparkR
R är det mest använda statistiska språket som innehåller mer än 10 000 paket för olika ändamål. Den använde dataramar API som gör det bekvämt att arbeta med och ger också kraftfulla visualiseringar för dataforskare att analysera deras data noggrant. R stöder emellertid inte parallellbehandling och är begränsad till mängden minne tillgängligt i en enda maskin. Det är här som SparkR kommer in i bilden.
Spark utvecklade ett paket som kallas SparkR som löser skalbarhetsproblemet med R. Det är baserat på distribuerade dataramar och ger också samma syntax som R. Sparks distribuerade processmotor och R: s enastående interaktivitet, paket, visualisering kombineras tillsammans för att ge Data Scientists vad de vill ha för sina analyser.
Slutsats
Eftersom Spark är ett allmänt ramverk, befinner sig det i ett brett spektrum av applikationer. Spark används i stor utsträckning i de flesta big data applikationer på grund av dess prestanda och tillförlitlighet. Alla dessa komponenter i Spark uppdateras med nya funktioner i varje ny utgåva och gör våra liv enklare.
Rekommenderade artiklar
Detta är en guide till gnistkomponenter. Här diskuterar vi översikten och topp 6 gnistkomponenter med en detaljerad förklaring. Du kan också titta på följande artiklar för att lära dig mer -
- Topp 5 viktiga bikupalternativ
- Talend Open Studio Components / Tools
- Topp 6 komponenter i IoT Ecosystem
- Vad är Talend Data Integration med fördelar?