Översikt över Hyperparameter Machine Learning

För alla modeller behöver vi några parametrar, som hjälper till att skapa en bas för lösningen av problem / analys och utvärdering av modellen. Vissa av dessa parametrar ska läras av data och andra måste vi definiera från vårt slut uttryckligen. Parametrarna som kan läras från data utan att definieras uttryckligen kallas modellparametrar. Parametern som definieras uttryckligen av användaren kallas Hyperparametrar. Hyperparametrar är också bara parametrar för modell men termen hyperparametrar används i maskininlärning så att de lätt kan urskiljas och inte förväxlas med modellparametrar som lärs från datasatsen.

Vad är Hyperparameter Machine Learning?

För de flesta ramar inom maskininlärning har hyperparametrar ingen rigorös definition. Dessa hyperparametrar styr det underliggande systemet för en modell som styr de primära (modala) parametrarna för modellen. Låt oss försöka förstå hyperparametrarna med följande exempel.

  • Att ställa in din fiol är mycket viktigt när man befinner sig i lärningsstadiet eftersom man vid den tiden skapar förbindelser mellan olika sinnen. Öron, fingrar och ögon lär sig alla fiolen samtidigt. Nu I början Att vänja sig till ljudet från fiolen ur ton skapar en dålig smak av ljud, vilket kommer att förstöra deras hela upplevelse av att bli förälskad i fiolens inlärningsprocess.
  • Det är därför som inställning av fiol verkligen kan hjälpa en i processen att lära sig fiolen. På samma sätt är hyperparameter en typ av inställning för Machine Learning-modellen för att ge rätt riktning.
  • Hyperparametrar definieras generellt innan en maskininlärningsalgoritm tillämpas på ett datasæt.
  • Nästa uppgift är vad som ska vara hyperparametern och vad som ska vara dess värde. Eftersom man måste veta vilka strängar som behövs för att vara inställda och hur man ställer in fiolen innan man ställer in den. Detsamma gäller hyperparametrar, vi måste definiera vilka hyperparametrar och vad som ska vara dess värde, i grund och botten beror det på varje uppgift och varje datasats.
  • För att förstå detta låt oss ta perspektivet på modelloptimering.
  • Vid implementeringen av maskininlärningsmodellen spelar modelloptimering en viktig roll. Det finns ett stort antal grenar för maskininlärning som endast är dedikerade till optimering av maskininlärningsmodellen. Det uppfattas vanligtvis att vi för att optimera modellen måste modifiera koden så att felet kan minimeras.
  • Det finns emellertid dolda element som påverkar maskininlärningsoptimeringen som ligger utanför modellen och som har ett stort inflytande på modellbeteendet. Dessa dolda element kallas hyperparametrar, dessa är kritiska komponenter för optimering av vilken maskinlärningsmodell som helst.
  • Hyperparametrar är fininställare / inställningar som styr en modell. Dessa hyperparametrar definieras utanför modellen men har en direkt relation till modellprestanda. Hyperparametrar kan betraktas som ortogonala till modell.
  • Kriterierna för att definiera en hyperparameter är mycket flexibla och abstrakta. Visst finns det några hyperparametrar som antalet dolda lager, inlärningshastigheten för en modell som är väl etablerad och det finns också några inställningar som kan behandlas som hyperparameter för en specifik modell, som att kontrollera modellens kapacitet.
  • Det finns chanser för algoritmen att överföra en modell om algoritmer lär sig direkt genom inställningar. Eftersom det är tydligt lärs inte / inpassas hyperparametrar genom träningsuppsättningen så test eller valideringsuppsättning används för val av hyperparametrar. På broadway ställer vi in ​​olika hyperparametervärden, den som fungerar bäst med en test- eller valideringsuppsättning betraktas som vår bästa hyperparameter.

Kategorier av Hyperparameter

För olika typer av datasätt och enligt modellen kan vi ha olika hyperparametrar för att öka modellens prestanda. I stort sett kan hyperparametrarna kategoriseras i två kategorier.

  • Hyperparameter för optimering
  • Hyperparametrar för specifika modeller

Låt oss diskutera var och en av dessa.

1. Hyperparametrar för optimering

Som namnet antyder används dessa hyperparametrar för optimering av modellen.

  • Lärningshastighet

Denna hyperparameter avgör hur mycket den nyligen förvärvade informationen kommer att åsidosätta de gamla tillgängliga data. Om värdet på denna hyperparameter är högt är högre inlärningshastighet inte optimering av modellen ordentligt eftersom det finns chanser att det hoppar över minima. Å andra sidan, om inlärningshastigheten tas mycket mindre, kommer konvergensen att vara mycket långsam.

Inlärningshastigheten spelar en avgörande roll i optimeringen av modellprestanda eftersom modeller i vissa fall har hundratals parametrar (modellparametrar) med felkurva, kommer inlärningshastigheten att bestämma frekvensen för korsning med alla parametrar. Det är också svårt att hitta de lokala minima av felkurvor eftersom de i allmänhet har oregelbundna kurvor.

  • Satsstorlek

För att påskynda inlärningsprocessen delas utbildningsuppsättningen upp i olika partier. När det gäller stokastisk procedur för träning av modellen, tränas, utvärderas och utvärderas en liten sats för att justera värdena för alla dina hyperparametrar, detta upprepas för hela träningssättet.

Om batchstorleken är större än det kommer att öka inlärningstiden och kräver mer minne för att bearbeta för matrismultiplikation. Om batchstorleken är mindre än det blir mer brus vid felberäkningen.

  • Antal epoker

Epok representerar en komplett cykel för data som ska läras i Machine Learning. Epokar spelar en mycket viktig roll i den iterativa inlärningsprocessen.

Ett valideringsfel beaktas för att bestämma rätt antal epoker. Man kan öka antalet epoker så länge det finns en minskning av ett valideringsfel. Om valideringsfelet inte förbättras för på varandra följande epokar är det en signal att stoppa ett ökande antal epoker. Det är också känt som tidigt stopp.

2. Hyperparametrar för specifika modeller

Vissa hyperparametrar är involverade i strukturen för själva modellen. Några av dessa är följande.

  • Antal dolda enheter

Det är viktigt att definiera ett antal dolda enheter för neurala nätverk i modeller för djup inlärning. Denna hyperparameter används för att definiera modellens inlärningskapacitet. För komplexa funktioner måste vi definiera ett antal dolda enheter, men ha i åtanke att det inte borde överföra modellen.

  • Antal lager

Det är uppenbart att ett neuralt nätverk med 3 lager ger bättre prestanda än det för två lager. Att öka mer än 3 hjälper inte så mycket i neurala nätverk. När det gäller CNN gör ett ökande antal skikt modellen bättre.

Slutsats

Hyperparametrar definieras uttryckligen innan en maskininlärningsalgoritm tillämpas på en datasats. Hyperparametrar används för att definiera modellnivån och inlärningskapaciteten på högre nivå. Hyperparametrar kan också vara inställningar för modellen. Vissa hyperparametrar definieras för optimering av modellerna (Batchstorlek, inlärningshastighet etc.) och andra är specifika för modellerna (Antal dolda lager osv.).

Rekommenderade artiklar

Detta är en guide till Hyperparameter Machine Learning. Här diskuterar vi översikten och vad som är hyperparameter-maskininlärning med dess kategorier. Du kan också titta på följande artiklar för att lära dig mer -

  1. Introduktion till maskininlärning
  2. Oövervakad maskininlärning
  3. Typer av maskininlärningsalgoritmer
  4. Applications of Machine Learning
  5. Implementering av nervnätverk
  6. Topp 6 jämförelser mellan CNN vs RNN

Kategori:

Big Data