Skillnader mellan textbrytning kontra textanalys
Strukturerade data har funnits sedan början av 1900-talet, men det som gjorde textbrytning och textanalys så speciellt är att utnyttja informationen från ostrukturerad data (Natural Language Processing). När vi väl har kunnat konvertera denna ostrukturerade text till semistrukturerade eller strukturerade data kommer det att vara tillgängligt att tillämpa alla data mining algoritms ex. Statistiska och maskininlärningsalgoritmer.
Till och med Donald Trump kunde utnyttja uppgifterna och konvertera dem till information som hjälpte honom att vinna USA: s presidentval, och i grund och botten gjorde han det inte som hans underordnade gjorde. Det finns en mycket bra artikel där ute http://fivethirtyeight.com/features/the-real-story-of-2016/ du kan gå igenom den.
Många företag har börjat använda textbrytning för att använda värdefulla insatser från den tillgängliga texten där ute. Till exempel kan ett produktbaserat företag använda twitterdata / Facebook-data för att veta hur bra eller dåligt deras produkt klarar sig där ute med hjälp av Sentimental Analys. Under de första dagarna brukade processen ta mycket tid, dagar, i själva verket för att bearbeta eller till och med implementera maskininlärningsalgoritmerna, men med introduktionen av verktyg som Hadoop, Azure, KNIME och annan stordatabehandlingsprogramvara är textbrytning har vunnit enorm popularitet på marknaden. Ett av de bästa exemplen på textanalys med hjälp av association mining är Amazons rekommendationsmotor där den automatiskt ger rekommendationer till sina kunder vad andra andra köpte när de köper en viss produkt.
En av de största utmaningarna med att använda textbrytverktyg på något som inte är i digitalt format / på datorn är processen för att göra det. De gamla arkiven och många viktiga dokument som endast finns tillgängliga på papper läses ibland genom OCR (Optical Character Recognition) som har många fel och ibland matas manuellt in data som är benägna att mänskliga misstag. Anledningen till att vi vill ha dessa är att vi kanske kan få andra insikter som inte syns från traditionell läsning.
Några av stegen för textbrytning är som nedan
- Informationsinhämtning
- Förberedelse och rengöring av data
- segmente~~POS=TRUNC
- tokenization
- Stop-ordsnummer och borttagning av skiljetecken
- stemming
- Konvertera till små bokstäver
- POS-taggning
- Skapa textkorpus
- Term-dokumentmatris
Och nedan följer stegen i Textanalys som tillämpas efter att Term Document Matrix har utarbetats
- Modellering (Detta kan inkludera inferensiella modeller, prediktiva modeller eller receptbelagda modeller)
- Utbildning och utvärdering av modeller
- Användning av dessa modeller
- Visualisering av modellerna
Det enda man alltid måste komma ihåg är att textbrytning alltid föregår textanalys.
Jämförelse mellan huvud och huvud mellan textbrytning och textanalys (infografik)
Nedan visas den 5 jämförelsen mellan prediktiv textbrytning kontra textanalys 
Viktiga skillnader mellan textbrytning och textanalys
Låt oss skilja textbrytning och textanalys baserat på stegen som är involverade i få applikationer där båda dessa textbrytningar och textanalyser används:
• Klassificering av dokument
I detta är stegen som ingår i textbrytning tokenisering, stemming och lemmatisering, borttagning av stoppord och skiljetecken och till sist beräkning av termen frekvensmatris eller dokumentfrekvensmatriser.
Tokenisering - Processen att dela upp hela data (corpus) i mindre bitar eller mindre ord, vanligtvis enstaka ord, kallas tokenization (N-Gram-modell eller Bag of word Model)
Stemming och lemmatisering - till exempel orden, stora större och största betyder alla samma och det kommer att bilda duplicerade data, för att hålla data överflödiga gör vi lemmatisering, koppling av ord med rotordet.
Ta bort stoppord - Stoppord används inte i analyser som kommer att inkludera ord som is, the och etc.
Termfrekvenser - Detta är en matris som har radrubriker som dokumentnamn och kolumner som termer (ord) och data är frekvensen för orden som förekommer i dessa dokument. Nedan är ett exempel på skärmdump. 
I figuren ovan har vi attributen i raderna (ord) och dokumentnumret som kolumner och ordfrekvensen som data.
Nu när det gäller textanalys har vi följande steg som måste beaktas
Clustering - Med hjälp av K-betyder clustering / Neural Networks / CART (Klassificering och regressionsträd) eller någon annan klusteralgoritm kan vi nu klustera dokumenten baserat på de funktioner som genererades (funktioner här är orden).
Utvärdering och visualisering - Vi skisserar ut klustret i två dimensioner och ser hur dessa kluster varierar från varandra, och om modellen håller bra på testdata kan vi distribuera den i produktion och det kommer att vara en bra dokumentklassificerare som klassificerar alla nya dokument som ges som input och det skulle bara namnge det kluster som det kommer att falla in i.
• Sentimentanalys
Ett av de kraftfullaste verktygen som finns ute på marknaden som hjälper till att bearbeta twitterdata / Facebook-data eller annan information som kan användas för att härleda känslan ur det vare sig känslan är bra, dålig eller neutral för någon specifik process / produkt. eller person är sentimentanalys.
Datakällan kan enkelt vara tillgänglig genom att använda twitter API / Facebook API för att få tweets / kommentarer / gillar etc. på tweet eller ett inlägg från ett företag. Det största problemet är att dessa data är svåra att strukturera. Uppgifterna skulle också innehålla olika annonser och datavetenskapsmannen som arbetar för företaget måste se till att urvalet av data görs på rätt sätt så att endast utvalda tweets / inlägg går igenom för förbehandlingsstadier.
Andra verktyg inkluderar webbskrapning, detta är en del av textbrytning där du skrapar data från webbplatser med crawlers.
Processen för textbrytning förblir densamma som tokenisering, stemming och lemmatisering, avlägsnande av stoppord och skiljetecken och till sist beräkning, termfrekvensmatris eller dokumentfrekvensmatriser, men den enda skillnaden kommer när man använder sentimentanalysen.
Vanligtvis ger vi poäng till alla inlägg / tweet. Vanligtvis när du köper en produkt och granskar om du också ges möjlighet att ge stjärnor till recensionen och posta en kommentar. Google, Amazon och andra webbplatser använder stjärnorna för att betygsätta kommentaren, inte bara detta de tar också tweets / inlägg och ger dem till människor för att betygsätta det som bra / dåligt / neutralt och genom att kamma dessa två poäng genererar de ett poäng till en viss tweet / inlägg.
Visualisering av sentimentanalys kan göras med hjälp av ett ordmoln, stapeldiagram för frekvenstermmatrisen.
• Association of Mining Analysis
En av applikationerna som vissa killar arbetade med var “Adverse Drug Event Probabilistic model” där man kan kontrollera för vilka biverkningar som kan orsaka andra biverkningar om han tar någon speciell medicin.
I textbrytningen ingick nedanstående arbetsflöde
Från figuren ovan kan vi se att tills data-gruvdrift tillhör alla steg till textbrytning som identifierar datakällan, extraherar dem och sedan förbereder den redo att analyseras.
Sedan tillämpar förening gruvdrift har vi nedanstående modell
Som vi kan se att vissa pilmarkeringar pekar mot den orange cirkeln och sedan en pil pekar mot en ADE (negativa läkemedelshändelse). Om vi tar ett exempel på bildens vänstra undersida kan vi hitta apati, asteni och att känna onormala leder till skuldkänsla, väl kan man säga att det är uppenbart, det är uppenbart eftersom du som människa kan tolka och relatera men här en maskin tolkar det och ger oss nästa negativa läkemedelshändelse.
Ett exempel på ordet moln är som nedan
Jämförelsetabell mellan textbrytning kontra textanalys
Nedan finns listor med punkter, beskriv jämförelser mellan Text Mining vs Text Analytics:
| Grund för jämförelse | Textbrytning | Textanalys |
|
Menande | Textbrytning rensar i grund och botten upp data för att vara tillgängliga för textanalys | Text Analytics tillämpar statistik- och maskininlärningstekniker för att kunna förutsäga / förskriva eller dra slutsatsen från information som har utvärderats i text. |
|
Begrepp | Textbrytning är ett verktyg som hjälper till att rensa uppgifterna. | Textanalys är processen för tillämpning av algoritmerna |
|
Ramverk | Om vi pratar om ramverket, är textbrytning liknar ETL (Extract Transform Load), vilket betyder att kunna infoga data i databasen, dessa steg utförs | I textanalys används dessa data för att lägga till värden i företaget, exempelvis skapa ordmoln, två gram frekvensdiagram, N-gram i vissa fall |
|
Språk | Python och R är de mest kända verktygen för textbrytning där ute för textbrytning | När det gäller textanalys kan vi, när uppgifterna är tillgängliga på databasnivå, använda valfri analysprogramvara inklusive python och R. Andra programvaror inkluderar Power BI, Azure, KNIME, etc. |
|
exempel |
|
|
Slutsats -Text Mining vs Text Analytics
Framtiden för textbrytning och textanalys är inte bara tillämplig på engelska, utan det har också skett kontinuerliga framsteg och med hjälp av språkliga verktyg är inte bara engelska andra språk också övervägda för analys.
Omfattningen och framtiden för textbrytning kommer att växa eftersom det finns begränsade resurser för att analysera andra språk.
Textanalys har ett mycket brett sortiment där det kan tillämpas, några exempel på branscher där detta kan användas är:
- Social Media Monitoring
- Pharma / Biotech-applikationer
- Affärs- och marknadsföringsapplikationer
Rekommenderad artikel
Detta har varit en guide till skillnaden mellan textbrytning kontra textanalys, deras betydelse, jämförelse mellan huvud och huvud, viktiga skillnader, jämförelsetabell och slutsats. Du kan också titta på följande artiklar för att lära dig mer -
- Azure Paas vs Iaas - Ta reda på skillnaderna
- De bästa tre sakerna att lära sig om datavyte kontra textbrytning
- Vet den bästa 7 skillnaden mellan Data Mining Vs Data Analys
- Business Intelligence vs Machine Learning - Vilken som är bättre
- Predictive Analytics vs Data Mining - Vilken är mer användbar