Introducere în algoritmul de stimulare a gradientului
Tehnica de tranzitare a cursanților săptămânii într-un cursant puternic se numește Boosting. Procesul algoritmului de stimulare a gradientului funcționează pe această teorie a execuției. Algoritmul de stimulare Ada poate fi descris pentru a explica și înțelege cu ușurință procesul prin care impulsionarea este injectată seturilor de date.
Arborele de decizii
Un arbore de decizie este un instrument de susținere a verdicturilor care determină deciziile prin implicarea unui arbore și consecințele probabile ale acestora, împreună cu rezultatele evenimentului posibil, costurile resurselor etc. Această tehnică le permite să afișeze declarații de control care operează pe rezultate condiționate.
Operațiunile de cercetare folosesc pe scară largă acești arbori de decizie în special în analiza decizională, le permite, de asemenea, să atingă un obiectiv și este, de asemenea, un instrument admirat în învățarea mașinii.
Algoritmul AdaBoost
Algoritmul AdaBoost începe prin pregătirea unui arbore de decizie în care fiecărei observații i se atribuie o greutate echivalentă. După evaluarea arborelui primar, sporim ponderile acelei interpretări care sunt complicate pentru a clasifica și subordona greutățile pentru cele care nu fac eforturi pentru a categoriza. Al doilea arbore este rezultatul acestor date prejudiciate. Aici, proiectul este de a obține mai bine profeția arborelui primar.
Apoi calculați eroarea de clasificare din acest model inovativ de colecție cu 2 arbori și cultivați cel de-al treilea arbore pentru a prevedea reziduurile modificate. Procedura de mai sus este iterată în câteva cazuri. Observațiile care nu sunt bine definite în arborii precedenți sunt determinate folosind arbori ulterior. Predicțiile modelului final de asamblare sunt, prin urmare, figura prejudiciată a predicțiilor încheiate de modelele anterioare de arbore.
Model GBM de instruire
Pentru a instrui un model gbm în limbaj R, biblioteca GBM trebuie instalată și un apel către această bibliotecă GBM instalată din programul de apelare este instantaneu. De asemenea, trebuie specificate argumentele necesare, argumentele cheie sunt enumerate mai jos,
1. Formula
2. Distribuția variabilelor de răspuns
3. Variabila predictivă
4. Variabila de răspuns
Distribuțiile uzuale utilizate la modelele GBM sunt Bernoulli, Poisson etc.
În sfârșit, datele și argumentele n.trees sunt așteptate să fie specificate. În mod implicit, modelul gbm va lua 100 de arbori acordate, ceea ce poate oferi o aproximare de bună calitate a concertului nostru de gbm.
Cod de eșantion # 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Iată un pas următor, setul de date efectiv este împărțit în setul de date tren și test de test, iar acest lucru este obținut folosind funcția createDataPartition (). Acest tip de împărțire va fi de mare ajutor în partea ulterioară pentru antrenarea setului de testare folosind setul de tren instruit și pe deasupra căruia sunt determinate predicțiile reale pentru datele originale.
Cod de eșantion # 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
Următoarea etapă este de a antrena un model gbm cu ajutorul nostru de formare. În timp ce toate argumentele suplimentare sunt exact cele notificate în secțiunile de mai sus. Sunt menționate alte două argumente suplimentare: interacțiunea, adâncimea și micșorarea.
1. Adâncimea interacțiunii precizează cea mai mare adâncime a fiecărui arbore
2. Măsurarea vitezei de intelect se realizează cu ajutorul contracției. aici toate valorile suplimentare din arborii studenți de bază sunt diminuate folosind acest contracție.
Mai mult, această tehnică permite afișarea declarațiilor de control care operează pe rezultate condiționate. Operațiunile de cercetare folosesc pe scară largă acești arbori de decizie în special în analiza decizională, ne permite, de asemenea, să atingem un obiectiv și sunt, de asemenea, un instrument admirat în învățarea mașinii.
Ieșire model GBM
Producția modelului GBM conține detalii despre numărul total de arbori implicați pentru execuție. Acest lucru va ajuta la prezicerea influenței variabilei predictor în model, de asemenea, tabelul de importanță variabilă și complotul modelului pot fi derivate din funcția sumară a ieșirii GBM.
Metoda Predict () folosind modelul GBM
Deci, pentru a face predicțiile în partea de sus a datelor cheie în acest model de GBM, la fel ca și alte modele, este implicată metoda de predicție. De asemenea, numărarea numărului total de arbori de decizie utilizați trebuie menționată manual în secțiunea de argumente a metodei.
Cod simplu
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Îmbunătățirile modelului GBM
Constrângeri de arbore
- Este semnificativ faptul că studenții slabi cuprind abilități, dar rămân slabi.
Actualizări ponderate
- Adăugarea secvențială este aplicată din predicțiile fiecărui arbore
- Donarea fiecărui arbore la această cantitate trebuie să fie în masă pentru a încetini învățarea algoritmului. acest proces este contracția apelurilor.
Algoritmul Stochastic Gradient Boosting
Acest profit echivalent poate fi utilizat pentru a reduce asociația flancat de copaci.
Algoritmul Penalized Gradient Boosting
Arborii parametrizați pot fi umpluiți cu restricții suplimentare, arborele de decizie clasic nu poate fi folosit ca studenți slabi. În schimb, se utilizează unul personalizat numit arbore de regresie care are valori numerice în nodurile frunzei.
Articole recomandate
Acesta a fost un ghid pentru Algoritmul Gradient Boosting. Aici vom discuta despre o introducere, Tree Tree, Algoritmul AdaBoost, model GBM de instruire, îmbunătățiri ale modelului GBM, precum și unele coduri de probă. Puteți parcurge și alte articole sugerate pentru a afla mai multe -- Algoritmul arborelui decizional
- Algoritmi de învățare a mașinilor
- Algoritmul XGBoost
- Algoritmi de știință a datelor
- C ++ Algoritm | Exemple de algoritm C ++
- Implementarea regresiei Poisson în R