Big Data Techniques: sammanflytning av teknik och affärsanalys
Confluence of Technology & Business analytics -
Länge, länge sedan män lever ett nomadiskt liv innan de gradvis vänder sig till jordbruk. Uppfinningen av hjul-, brand- och ångmotorn betraktas ofta som vändpunkter i mänsklighetens utveckling mot mekanisering och ökade livskomfort.
På samma sätt har den legendariska Newtons lag om rörelse och allvar, Einsteins relativitetsteori som nu firar sitt 100: e år eller lagen om termodynamik alla revolutionerat vetenskapen och påverkat tillämpad vetenskap. Uppfinningen av datorn, ankomsten av persondatorn och grafiskt användargränssnitt (GUI) är alla milstolpar i utvecklingen i den digitala eran. Det var de nollor med binära tal och de som är kärnan i samlingsnivån.
Binära till Big Data-tekniker
På hårdvarunivå driver nollor och kretsar kretsarna i en dator, på affärsnivå är det Big Data-teknikerna som gör en havsändring i hur företag utformar marknadsföringsstrategier för att förbli konkurrenskraftiga. Det kan vara sammansatt av allt från enstaka siffror och flera siffror som alla innehåller viktig information om marknaden, funktionen av en maskin, människokroppen, transaktioner inom e-handel eller bara om den dagliga verksamheten som kan ha eller inte har något att göra med att köpa eller sälja.
Det är vanligt att företag och bokföringspersonal pratar om tillgångar och skulder. Konventionella tillgångar betecknar maskiner, teknik, know-how, personalresurser, infrastruktur och även finansiella tillgångar.
Nu sker ett paradigmskifte, tillsammans med dessa materiella tillgångar, har vissa delar med enstaka och flera siffror eller data blivit den mest ovärderliga tillgången när organisationer och marknader växer i storlek. Från marknadsförings- och big data-strategisk synvinkel har data blivit den viktigaste tillgången.
Företag växer i storlek och skala. Inte längre är liten vacker eller livskraftig. Verksamhet i flera länder, stora gallerior och stora volymer inom e-handel har satt en ny trend över hela världen. För att lyckas med denna storföretagsdata och dataanalys har blivit kritisk. Företagen efter Big Data Hadoop för att utnyttja det får marknadsintelligens och förstår kundernas krav.
Sammanflödet av teknik och dataanalys
Bildkälla: pixabay.com
Big data-tekniker som organisationer har kommer att vara meningslösa såvida det inte finns en stödjande teknik för att bryta data, bearbeta och organisera det för företag att använda denna viktiga tillgång. Bernard Marr, känd författare och analytiker har sagt att företag, oavsett storlek, vare sig det är ett Fortune 500-företag eller en liten mamma- och popbutik, skulle kräva användning av Hadoop Big Data som vittnar om den förändring det medför till företag.
Big data-tekniker är en samling av stora datasätt och de är i stort antal som sofistikerade program krävs för att analysera och skapa meningsfull information från dem. Det kan vara köpvanor, frekvensen av att gå till filmer, inloggningsfrekvenswebbplatser, onlineinköp, beställning av livsmedel, frekvensen för att byta mobila telefoner och så vidare.
Olika verktyg, ramar och tekniker används för att analysera stora datamängder och de har blivit mycket eftertraktade av branschen. Enligt experter är det inte uppgifterna som är viktiga utan vad företaget gör med dessa uppgifter.
Bland olika tekniker och plattformar har Hadoop visat sig vara den mest populära även om den kan ha sina nackdelar. Det är en open source-utvecklingsplattform som är skriven på C, C ++, Java och hjälper organisationer att analysera den enorma mängden data i realtid.
Big data-tekniker i realtid
Att samla in, lagra, flytta och analysera är inte en statisk aktivitet utan också en dynamisk verksamhet som involverar realtidsmiljöer. Data insamlas kontinuerligt för flygplan, bilmotorer, monitorer som är anslutna till patienter på sjukhus, online-kredit- eller betalkorttransaktioner som alla kräver sofistikerade algoritmer, program, big data-arkitektur och en robust bearbetningsmöjlighet i minnet.
John Schroeder, VD för MapR sa att de har Big Data-applikationer som skyddar miljontals American Express-korthållare från bedrägliga transaktioner och inom hälsovård arbetar de för att ge förbättrade behandlingsförfaranden för cancerpatienter.
Globala IT-huvudpersoner som Microsoft, Oracle, SAP, IBM finns alla på molnplattformen och möjliggör också lösningar på big data-tekniker.
Big Data-tekniker och Internet of Things
Snabba förändringar i webb och inbäddad teknik har gjort det möjligt för en mängd enheter att kopplas samman till varandra vilket kan sända data i realtid. Ett internet gjord av "saker" snarare än människor och datorer har dykt upp.
Varje enhet vi använder eller använder kan avsluta data som i sin tur skulle ha omfattande applikationer inom big data-marknadsföring, design, hälso-och sjukvård.
Data Mining
Nu distribueras kraftfulla superdatorer för att bryta data från relationsdatabaser och hjälpa statistiker och analytiker att skapa modeller. Flera innovatörer har kommit med verktyg för att utveckla modeller för förutsägbar big data-analys för bättre beslut av företag. De ger också ett enkelt grafiskt användargränssnitt (GUI) och är mycket användarvänligt.
Karriären inom Big Data-tekniker
Naturligtvis har tillräckligt med revolutionen i big data-tekniker skapat en helt ny ras av experter som är associerade med specifika områden i denna big data-analys och teknik. Bland de tekniska färdigheterna som är efterfrågade är Apache Hadoop, Apache Spark, NoSQL, maskininlärning och data mining, statistisk och kvantitativ analys, SQL, datavisualisering, datavetare, kunskaper i programmeringsspråk för allmänna ändamål. Enligt analytiker kommer möjligheterna att öka under det kommande decenniet tack vare den snabba utvecklingen på detta område.
Det finns verkligen en stor efterfrågan på stor datateknikrelaterad expertis under 2015 med att IBM hade annonserat 2 307 positioner under de senaste tolv månaderna i juni, säger Forbes magazine i en halvårsbedömning. Den annonserade lönen för tekniker med Big data-utbildning är $ 104 850. De mest eftertraktade färdigheterna var VMWare-expertis, applikationsutveckling, open source-teknik, datalagring och Python-programmeringsfärdigheter.
Branschmässigt är topparen som använder Big Data-tekniker och tjänster professionella, vetenskapliga och tekniska tjänster som står för 25% av efterfrågan. Bland andra ledande kategorier står informationsteknologi för 17%, tillverkning 15%, finans och försäkring 9% och detaljhandel 8%.
Fördelar med Big Data-analys
1) Lagring, gruvdrift och analys av data:
Big data-teknologier har möjliggjort distribution av både lagrade och realtidsdata för en mängd olika affärs- och uppdragskritiska applikationer
2) Marknadsförutsägelse & prognos:
I tidpunkten för stordatatekniker tvingades företag att göra meningsfull dataanalys i realtid eller göra prediktiv analys i avsaknad av teknik. Exempelundersökningar och kundåterkopplingar erbjöd den enda lösningen för strateger att förnya sig med nya erbjudanden till marknaden.
3) En stor mängd data genereras av företag och under tidigare år, med otillräckliga big data-verktyg för att samla in och analysera dem, misslyckades företagen att använda en viktig tillgång med dem.
4) I realtid big data-affärsmiljö, hacking och datastöld kan kritiskt påverka arbetet i en organisation, dess kunders förtroende och göra det sårbart för ytterligare attacker längs linjen. Big data och Hadoop har visat sig hjälpa organisationer att upptäcka datastöld. Metodik för datastöld utvecklas snabbare än stöldmetoder eller förebyggande aktiviteter.
Är Big data-tekniker det enda kravet för att lyckas
Hype skapad av big data har inte gått bra med vissa kritiker som påpekar några av de problem som är förknippade med dess distribution i industrin. Vissa analytiker har ifrågasatt om det finns en positiv avkastning på investeringar (ROI) och är värt den tid och ansträngning som krävs för att genomföra det i första hand. Den andra är vad gäller den stora mängden data och analys som kanske inte förklarar "varför" sådant konsumentbeteende äger rum.
Big data-analys kan användas effektivt i samband med traditionella enkäter (metodik) som kartlägger de demografiska mönstren när det gäller att spara, investera, köpa och spendera beteenden i olika regioner som ger en bredare förståelse av marknaden. Big Data-verktyg kan ge en bild av vad som hände och hur, men "varför" det händer kan bara förstås genom en bred förståelse för de specifika konsumenterna eller regionen baserat på demografisk profil, livsstilsinställningar, utgifter vanor bland andra, enligt skeptiker till Big Dataverktyg.
Stora trender inom Big Data-teknik
Enligt John Schroeder, VD och medstifter av MapR, företaget som levererar lösningar på Big Data, hade förutspått de nya trenderna för 2015 och de flesta av dem tycks vara sanna.
Data Hubs to Data Lakes: Datasjöar med skalbar infrastruktur verkar gynnas eftersom de är ekonomiskt attraktiva med en reducerad kostnad per terabyte).
Självbetjäning: Självbetjänande big data-verktyg kommer att ge utvecklare, datavetare och dataanalytiker möjlighet att utföra dataförsökning direkt.
Data Agility
När databasen expanderar och snabbare bearbetning krävs verkar de äldre systemen bromsa processen. Äldre databaser och lager har visat sig vara för långsamma och därför ser organisationer på hur smidig deras databehandling är.
Hadoop i innovationsfasen: Hadoop förblir i innovationsfasen och Shroeder tror att mer nyanserad modell av öppen källkodsprogram i kombination med djup innovation och samhällsutveckling möjligen äger rum.
säkerhetsutmaning
Stor datalagring och behandling blir nu allt mer sårbara för säkerhetshot i det öppna källkod Hadoop-systemet. Säkerhetsfunktionerna matchar dock ännu sådana hot och särskilt i jämförelse med säkrare ERP-system (Enterprise Resource Planning) och relationsdatabaser.
Molntjänster
De snabba framstegen inom molnberäkning gör det möjligt för även små och medelstora företag att använda SaaS (programvara som en tjänst), plattform som en tjänst (PaaS) och andra plattformar som tillhandahålls av leverantörer som gör det möjligt för dem att använda stordatatjänster till mycket billigare kostnad där kostsamma licensavgifter och installationer inte krävs.
Enligt Bernard Marr, känd författare och analytiker, distribueras sofistikerade algoritmer i molnutrymmet genom SaaS som ger en mer exakt bild av när, hur och varför en produkt säljs. Han citerade Charlie Crocker från AutoDesk och påpekade att fram till ankomsten av Big Data-kundåterkoppling var en svår övning, men med de sofistikerade algoritmerna nu på jobbet är big data-företag bättre i stånd att förstå konsumenternas beteende och skapa produkter för dem.
Framtiden för Big Data-verktyg är ljus
International Data Corp förutspår att stordatamarknaden växer med en sammansatt årlig tillväxttakt på 23% till och med 2019 med årliga utgifter för att nå 48, 6 miljarder dollar 2019. IDC tror att de tre stora undermarknaderna: infrastruktur, mjukvara och tjänster kommer att växa kraftigt under de kommande fem år, med programvara - informationshantering, upptäckt och analys, och applikationsprogramvara som leder avgiften med en CAGR på 26%.
IDC förutspår att tjänster, inklusive professionella tjänster och supporttjänster för infrastruktur och programvara, kommer att växa till en CAGR på 22, 7 procent. Den förutspår att infrastruktur - som består av datoranläggning, nätverk, lagringsinfrastruktur och annan datacenterinfrastrukturliknande säkerhet - kommer att växa till en CAGR på 21, 7 procent och kommer att stå för ungefär hälften av alla utgifter under 2019.
"Förmågan att utnyttja big data och analyser för att utveckla en integrerad bild av kundaktiviteter och affärsverksamhet kommer att ge konkurrenskraftig differentiering till företag i olika branscher, " sa Jessica, Goepfert, programchef för IDC: s globala teknik- och industriforskningsorganisation. ”Förutom de enorma möjligheterna utgör big data dock några betydande risker och
Digital transformation (DX) kommer att driva "allt som är viktigt i IT" under de kommande åren. Att lyckas med vad IDC kallar DX-ekonomin innebär att använda tekniker som mobil, moln, big data-analysverktyg, IoT, AI och robotik för att "skapa konkurrensfördelar genom nya erbjudanden, nya affärsmodeller och nya kunder, leverantörer och distributörsrelationer, ”Enligt Frank Gens, IDC: s huvudanalytiker.
Viktiga takeaways från IDC: s förutsägelser
- Fram till 2020 kommer nästan 50% av IT-budgeten att knytas till DX-initiativ (digital transformation).
- År 2018 kommer chefer för Line of Business (LOB) att kontrollera 45% + av all IT-utgifter världen över, över 60% i USA
- År 2017 kommer mer än 50% av IT-utgifterna att ske för ny teknik (mobil, moln, big data-verktyg osv.).
- Även med snabbt utvecklande tekniker och plattformar är det tveksamt om all tillgänglig data analyseras och inte heller skulle krävas, säger vissa experter. Det som är viktigt är om relevant information identifieras och analyseras till förmån för intressenterna.
Rekommenderade artiklar
Här är några artiklar som hjälper dig att få mer information om big data-teknikerna, så bara gå igenom länken.
- 8 mest användbara guide för Big Data intervjufrågor
- Varför innovation är den mest kritiska aspekten av Big Data?
- Topp 5 trender för stora data som företag kommer att behöva behärska
- Vad är NOSQL-färdigheter som hjälper till att bygga en Big Data-karriär
- Handbok för introduktion till dataanläggning