부스팅 기법: 여러 약한 머신러닝 기법을 순차적으로 학습해 오류를 개선해 나가면서 성능을 높여 가는 앙상블 기법 속도: 랜덤 포레스트(여러 나무를 병렬 방식으로 학습) > 부스팅 기법(직렬로 순차적으로 학습) 캐글에서 주로 쓰이는 부스팅 기법: Xgboost, LightGBM, CatBoost GBM(Gradient Boosting Machine) 잔차(실제값과 그 평균의 차이)를 학습하는 모델을 만들고 이를 활용해 잔차를 예측한 값에 LR(learning rate)를 곱한 후 평균에 더헤 실제 예측값을 업데이트 하는 과정을 반복(과정: 잔차를 줄이는 학습이 반복됨) 즉, Overfitting(과적합) 문제가 발생 따라서 오차(error)와 잔차(residual)의 차이 더보기 잔차: (모델의) 예측값-..
부스팅 알고리즘: 여러 개의 머신러닝을 순차적으로 학습하면서 각 step에서 잘못 예측된 데이터에 대해 가중치를 부여해 오류를 개선해 나가는 학습 방식 AdaBoost(Adaptive boosting) Gradient boost AdaBoost가 학습 방법 GBM에서 파생된 모델 XGBoost LightGBM CatBoost GBM(Gradient Boost Model) -. 이때 여러 개의 머신러닝은 순차적으로 구성이 되며, 머신러닝이 예측한 값과 실제 데이터 값 사이의 차이를 "잔차"라고 합니다. -. 첫번째 생성된 머신러닝이 발생시킨 잔차를 두번째 생성된 머신러닝이 학습하게 되며, N번째까지 반복적으로 학습합니다. 이러한 방법으로 생성된 모델은 잔차를 최소화시키며, GBM이라 부릅니다. ※ 오차와 ..
설명 가능한 인공지능: XAI 머신러닝: 컴퓨터 비전, 회귀 분석, 시계열 예측, 분류, 음성 인식, 문자 인식 에 사용 되었다. 하지만 머신러닝, 몇몇 딥러닝 알고리즘의 작동 방식은 black box와도 같다. 이는 모델의 입력값, 출력값 이외의 작동 원리를 알기 힘들다는 것이다. 딥러닝은 학습 방식은 간단한 미분 계산들로 이루어져 있지만, 정확도 개선을 위해 무수히 많은 layer를 쌓아 결과적으로 복잡한 모델이 만들어 진다. ML 모델 black box: XGBoost, Random Forest XGBoost는 Decision Tree의 Overfitting 단점을 극복하기 위해 Single Decision Tree를 쌓은 것이다. white box: Decision Tree XAI 모델의 정확도 ..
