'📁 AI & Bigdata' 카테고리의 글 목록 (3 Page)

[ML] XGBoost 개념 정리

2022.09.13

테일러 급수: 근사 다항함수로 표현한 식 복잡한 수식을 다항함수로 표현 가능 (=복잡한 함수를 다루기 쉽고 이해하기 쉬운 다항함수로 대체시키기 위해서) 테일러 급수는 결국 x = a에서 f(x)와 동일한 미분계수를 갖는 어떤 다항함수로 f(x)를 근사시키는 것입니다. 위 식에서 f(a) = p(a), f'(a) = p'(a), f''(a) = p''(a), ... 임은 쉽게 확인할 수 있을 것입니다. 테일러 급수를 이용해 이와같이 x = a에서 미분계수를 일치시키면 x = a 뿐만 아니라 그 주변의 일정 구간에서도 f(x)와 p(x)가 거의 일치되게 됩니다. https://darkpgmr.tistory.com/59 Ensemble: 여러 모델을 사용해 각 예측 결과를 만들고, 최종 예측 결과 결정 Bag..

📁 AI & Bigdata/Python

[Python] profiling 사용/ 에러 해결

2022.09.06

from pycaret.datasets import get_data dataset = get_data('juice') pr = dataset.profile_report() pr.to_file('/content/drive/MyDrive/내작업/Kaggle/pr_report.html') pr AttributeError: 'DataFrame' object has no attribute 'profile_report'

📁 AI & Bigdata/Python

[Colab] pycaret 에러 해결

2022.09.01

!pip install pycaret[full] 했는데 코랩에서 자꾸 에러나서 실행 안 되는 현상 from pycaret.classification import * ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. xarray-einstats 0.2.2 requires numpy>=1.21, but you have numpy 1.19.5 which is incompatible. tensorflow 2.8.2+zzzcolab202207190829..

📁 AI & Bigdata/Paper Review

[논문리뷰] XGBoost: A scalable Tree Boosting System

2022.09.01

데이터 불균형 처리 (SMOTE) 데이터 불균형 처리법 이번에는 데이터 불균형에 대해 한번 짚어보고 가겠습니다. 데이터가 불균형한 경우 ... blog.naver.com boosting: 속도가 느리고 overfitting이 쉽다. bagging에 비해 성능이 좋고 해석이 쉽다. AdaBoost & GBM(Gradient Boost) AdaBoost: GBM과 유사한 매커니즘. 다음에 오분류된 데이터를 선택될 확률이 높아지는 것 GBM: 경사하강법을 이용하여 새로 가중치를 업데이트한다. 이전 모델의 잔차를 가지고 weak model을 강화시킨다.(nagative gradient) 오분류값을 이용하는 AdaBoost와 다르게 Gradient Boost은 기울기를 이용한다. 예측 성능이 뛰어난다. 학습 시간..

📁 AI & Bigdata/AI & ML & DL

[ML] 앙상블 기법(bagging, boosting, votting)

2022.09.01

앙상블 기법 (보팅 & 배깅) KNN과 SVM말고도 앙상블 기법에 대해서 개념적인 부분을 살짝 다루어 보았는데요, 앙상블은 정형 데... blog.naver.com 스태킹 앙상블 (Stacking Ansemble) 스태킹 앙상블 : Two heads are better than one 스태킹은 개별적인 여러 알고리즘을 서로 결합해 예측 결... blog.naver.com [ML] Pycaret으로 ML모델 쉽게 만들기 [ML] Pycaret으로 ML모델 쉽게 만들기 Pycaret이란? pycaret이란 AutoML을 하게 해주는 파이썬 라이브러리입니다. scikit-learn 패키지를 기반으로 하고 있으며 Classification, Regression, Clustering, Anomaly.. minim..

📁 AI & Bigdata/AI & ML & DL

[ML] 부스팅 기법 알고리즘 발전: Xgboost, LightGBM, CatBoost

2022.08.31

부스팅 기법: 여러 약한 머신러닝 기법을 순차적으로 학습해 오류를 개선해 나가면서 성능을 높여 가는 앙상블 기법 속도: 랜덤 포레스트(여러 나무를 병렬 방식으로 학습) > 부스팅 기법(직렬로 순차적으로 학습) 캐글에서 주로 쓰이는 부스팅 기법: Xgboost, LightGBM, CatBoost GBM(Gradient Boosting Machine) 잔차(실제값과 그 평균의 차이)를 학습하는 모델을 만들고 이를 활용해 잔차를 예측한 값에 LR(learning rate)를 곱한 후 평균에 더헤 실제 예측값을 업데이트 하는 과정을 반복(과정: 잔차를 줄이는 학습이 반복됨) 즉, Overfitting(과적합) 문제가 발생 따라서 오차(error)와 잔차(residual)의 차이 더보기 잔차: (모델의) 예측값-..

티스토리툴바