[ML] GBM이란

부스팅 알고리즘: 여러 개의 머신러닝을 순차적으로 학습하면서 각 step에서 잘못 예측된 데이터에 대해 가중치를 부여해 오류를 개선해 나가는 학습 방식

• AdaBoost(Adaptive boosting)
• Gradient boost

AdaBoost가 학습 방법

GBM에서 파생된 모델

• XGBoost    
• LightGBM    
• CatBoost

GBM(Gradient Boost Model)

  -. 이때 여러 개의 머신러닝은 순차적으로 구성이 되며, 머신러닝이 예측한 값과 실제 데이터 값 사이의 차이를 "잔차"라고 합니다.

  -. 첫번째 생성된 머신러닝이 발생시킨 잔차를 두번째 생성된 머신러닝이 학습하게 되며, N번째까지 반복적으로 학습합니다. 이러한 방법으로 생성된 모델은 잔차를 최소화시키며, GBM이라 부릅니다.

 

※ 오차와 잔차

  -. 오차 = 모집단의 회귀식에서 예측된 값 - 실제 관측값

  -. 잔차 = 표본집단의 회귀식에서 예측된 값 - 실제 관측값 

출처: https://daje0601.tistory.com/126 [코딩일기:티스토리]