AI & Bigdata/AI & ML & DL

AI & Bigdata/AI & ML & DL

[DL] ๋”ฅํŽ˜์ดํฌ ๋ณ€์กฐ ์˜์ƒ ํƒ์ง€

๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค.

AI & Bigdata/AI & ML & DL

[ML/DL] AutoML๋กœ Customizing ํ•˜๊ธฐ

๋ณดํ˜ธ๋˜์–ด ์žˆ๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค.

AI & Bigdata/AI & ML & DL

[ML] XGBoost ๊ฐœ๋… ์ •๋ฆฌ

ํ…Œ์ผ๋Ÿฌ ๊ธ‰์ˆ˜: ๊ทผ์‚ฌ ๋‹คํ•ญํ•จ์ˆ˜๋กœ ํ‘œํ˜„ํ•œ ์‹ ๋ณต์žกํ•œ ์ˆ˜์‹์„ ๋‹คํ•ญํ•จ์ˆ˜๋กœ ํ‘œํ˜„ ๊ฐ€๋Šฅ (=๋ณต์žกํ•œ ํ•จ์ˆ˜๋ฅผ ๋‹ค๋ฃจ๊ธฐ ์‰ฝ๊ณ  ์ดํ•ดํ•˜๊ธฐ ์‰ฌ์šด ๋‹คํ•ญํ•จ์ˆ˜๋กœ ๋Œ€์ฒด์‹œํ‚ค๊ธฐ ์œ„ํ•ด์„œ) ํ…Œ์ผ๋Ÿฌ ๊ธ‰์ˆ˜๋Š” ๊ฒฐ๊ตญ x = a์—์„œ f(x)์™€ ๋™์ผํ•œ ๋ฏธ๋ถ„๊ณ„์ˆ˜๋ฅผ ๊ฐ–๋Š” ์–ด๋–ค ๋‹คํ•ญํ•จ์ˆ˜๋กœ f(x)๋ฅผ ๊ทผ์‚ฌ์‹œํ‚ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์œ„ ์‹์—์„œ f(a) = p(a), f'(a) = p'(a), f''(a) = p''(a), ... ์ž„์€ ์‰ฝ๊ฒŒ ํ™•์ธํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํ…Œ์ผ๋Ÿฌ ๊ธ‰์ˆ˜๋ฅผ ์ด์šฉํ•ด ์ด์™€๊ฐ™์ด x = a์—์„œ ๋ฏธ๋ถ„๊ณ„์ˆ˜๋ฅผ ์ผ์น˜์‹œํ‚ค๋ฉด x = a ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๊ทธ ์ฃผ๋ณ€์˜ ์ผ์ • ๊ตฌ๊ฐ„์—์„œ๋„ f(x)์™€ p(x)๊ฐ€ ๊ฑฐ์˜ ์ผ์น˜๋˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. https://darkpgmr.tistory.com/59 Ensemble: ์—ฌ๋Ÿฌ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ด ๊ฐ ์˜ˆ์ธก ๊ฒฐ๊ณผ๋ฅผ ๋งŒ๋“ค๊ณ , ์ตœ์ข… ์˜ˆ์ธก ๊ฒฐ๊ณผ ๊ฒฐ์ • Bag..

AI & Bigdata/AI & ML & DL

[ML] ์•™์ƒ๋ธ” ๊ธฐ๋ฒ•(bagging, boosting, votting)

์•™์ƒ๋ธ” ๊ธฐ๋ฒ• (๋ณดํŒ… & ๋ฐฐ๊น…) KNN๊ณผ SVM๋ง๊ณ ๋„ ์•™์ƒ๋ธ” ๊ธฐ๋ฒ•์— ๋Œ€ํ•ด์„œ ๊ฐœ๋…์ ์ธ ๋ถ€๋ถ„์„ ์‚ด์ง ๋‹ค๋ฃจ์–ด ๋ณด์•˜๋Š”๋ฐ์š”, ์•™์ƒ๋ธ”์€ ์ •ํ˜• ๋ฐ... blog.naver.com ์Šคํƒœํ‚น ์•™์ƒ๋ธ” (Stacking Ansemble) ์Šคํƒœํ‚น ์•™์ƒ๋ธ” : Two heads are better than one ์Šคํƒœํ‚น์€ ๊ฐœ๋ณ„์ ์ธ ์—ฌ๋Ÿฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์„œ๋กœ ๊ฒฐํ•ฉํ•ด ์˜ˆ์ธก ๊ฒฐ... blog.naver.com [ML] Pycaret์œผ๋กœ ML๋ชจ๋ธ ์‰ฝ๊ฒŒ ๋งŒ๋“ค๊ธฐ [ML] Pycaret์œผ๋กœ ML๋ชจ๋ธ ์‰ฝ๊ฒŒ ๋งŒ๋“ค๊ธฐ Pycaret์ด๋ž€? pycaret์ด๋ž€ AutoML์„ ํ•˜๊ฒŒ ํ•ด์ฃผ๋Š” ํŒŒ์ด์ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. scikit-learn ํŒจํ‚ค์ง€๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ Classification, Regression, Clustering, Anomaly.. minim..

AI & Bigdata/AI & ML & DL

[ML] ๋ถ€์ŠคํŒ… ๊ธฐ๋ฒ• ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ฐœ์ „: Xgboost, LightGBM, CatBoost

๋ถ€์ŠคํŒ… ๊ธฐ๋ฒ•: ์—ฌ๋Ÿฌ ์•ฝํ•œ ๋จธ์‹ ๋Ÿฌ๋‹ ๊ธฐ๋ฒ•์„ ์ˆœ์ฐจ์ ์œผ๋กœ ํ•™์Šตํ•ด ์˜ค๋ฅ˜๋ฅผ ๊ฐœ์„ ํ•ด ๋‚˜๊ฐ€๋ฉด์„œ ์„ฑ๋Šฅ์„ ๋†’์—ฌ ๊ฐ€๋Š” ์•™์ƒ๋ธ” ๊ธฐ๋ฒ• ์†๋„: ๋žœ๋ค ํฌ๋ ˆ์ŠคํŠธ(์—ฌ๋Ÿฌ ๋‚˜๋ฌด๋ฅผ ๋ณ‘๋ ฌ ๋ฐฉ์‹์œผ๋กœ ํ•™์Šต) > ๋ถ€์ŠคํŒ… ๊ธฐ๋ฒ•(์ง๋ ฌ๋กœ ์ˆœ์ฐจ์ ์œผ๋กœ ํ•™์Šต) ์บ๊ธ€์—์„œ ์ฃผ๋กœ ์“ฐ์ด๋Š” ๋ถ€์ŠคํŒ… ๊ธฐ๋ฒ•: Xgboost, LightGBM, CatBoost GBM(Gradient Boosting Machine) ์ž”์ฐจ(์‹ค์ œ๊ฐ’๊ณผ ๊ทธ ํ‰๊ท ์˜ ์ฐจ์ด)๋ฅผ ํ•™์Šตํ•˜๋Š” ๋ชจ๋ธ์„ ๋งŒ๋“ค๊ณ  ์ด๋ฅผ ํ™œ์šฉํ•ด ์ž”์ฐจ๋ฅผ ์˜ˆ์ธกํ•œ ๊ฐ’์— LR(learning rate)๋ฅผ ๊ณฑํ•œ ํ›„ ํ‰๊ท ์— ๋”ํ—ค ์‹ค์ œ ์˜ˆ์ธก๊ฐ’์„ ์—…๋ฐ์ดํŠธ ํ•˜๋Š” ๊ณผ์ •์„ ๋ฐ˜๋ณต(๊ณผ์ •: ์ž”์ฐจ๋ฅผ ์ค„์ด๋Š” ํ•™์Šต์ด ๋ฐ˜๋ณต๋จ) ์ฆ‰, Overfitting(๊ณผ์ ํ•ฉ) ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒ ๋”ฐ๋ผ์„œ ์˜ค์ฐจ(error)์™€ ์ž”์ฐจ(residual)์˜ ์ฐจ์ด ๋”๋ณด๊ธฐ ์ž”์ฐจ: (๋ชจ๋ธ์˜) ์˜ˆ์ธก๊ฐ’-..

SOIT
'AI & Bigdata/AI & ML & DL' ์นดํ…Œ๊ณ ๋ฆฌ์˜ ๊ธ€ ๋ชฉ๋ก