[빅분기] 실기 유형별 개념 완벽 정리(중요 포인트!!)
인증
2023.12.15 - [자격증/빅데이터분석기사] - [빅분기] 실기 7회 합격 & 합격비법
유형 1
1. 이상치 구하는 방식
1) IQR 이용
IQR을 사용한 이상치 공식은
(x[data] < ( Q1 - 1.5 x IQR )) | (x[data] < ( Q3 + 1.5 x IQR )) 이다
q1 = df[''].quantil(0.25)
q3 = df[''].quantil(0.75)
IQR = q3 - q1
#이상치 구하기
df[(df[''] < (q1 - IQR * 1.5)) | (df[''] > (q3 + IQR * 1.5))]
2) 문제에서 주어진 이상치
ex. 이상값은 평균에서 1.5 표준편차 이상인 값으로 한다.
lo = x[data].mean() - x[data].std() *1.5
up = x[data].mean() + x[data].std() *1.5
이상치 공식은
(x[data] < lo) | (x[data] < up) 이다
그 반대(이상치 제외)는
(x[data] >= lo) & (x[data] >= up) 이다
lo = new_df.mean() - new_df.std() * 1.5
up = new_df.mean() + new_df.std() * 1.5
#이상치 구하기
df[(df[''] < lo) | (df[''] > up)]
#이상치 제외
df[(df[''] >= lo) & (df[''] <= up)]
2. 문자열 수치형으로 변환
일반적으로 수치형 float를 int로 변환할 때는
df[''].astype(int)
df[''].astype(float)
가능하지만
문자열 -> 수치형은 astype() 이 불가능하다. 이때는 to_numeric() 을 사용한다.
(※ 빅분기에서 수치형-문자형은 나올 가능성이 없어, 문자-> 수치는 알아두는 것이 좋다.)
pd.to_numeric( df[''] , errors='coerce' )
# errors='coerce' 는 결측치 등 있을 경우 변환시 방지할 때 쓰는데, 함께 외우는 것이 좋다.
유형 2
프로세스)
1. info()로 정보 확인
2. 결측치 확인
#결측치 여부에 따른 채우기
#이상치 확인 (ex.나이일 경우, -값 지우기)
3. 데이터 분리
4. 범주형 인코딩
5. 검증 데이터 분리
6. 모델학습
7. 모델평가
8. Test 모델예측 생성
9. 예측 데이터셋 생성
10. 제출 및 확인
1. 이진분류(종속변수: 범주형)
프로세스 과정은 동일한데, f1 등의 모델 평가하는 부분에서 차이가 있다.
# f1 score
average='binary', pos_label='Yes'
#7. 모델 평가
from sklearn.metrics import f1_score, roc_auc_score
f1_score(y_val, pred, average='binary', pos_label='Yes')
# ACU
ACU의 모델 평가하는 부분에서는 동일하다.
#6. 모델 학습
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(random_state=44)
model.fit(x_tr, y_tr)
pred = model.predict_proba(x_val)[:,1]
#7. 모델 평가
from sklearn.metrics import f1_score, roc_auc_score
roc_auc_score(y_val, pred)
2. 다중분류(종속변수: 범주형)
프로세스 과정은 동일한데, f1, ACU 등의 모델 평가하는 부분에서 차이가 있다.
# f1 score
average='macro'
#7. 모델 평가
from sklearn.metrics import f1_score, roc_auc_score
f1_score(y_val, pred, average='binary', pos_label='Yes')
# ACU
average='macro', multi_class='ovo'
ACU의 경우 저장하는 방식에도 차이가 있다.
모델 평가시,
pred = model.predict_proba(x_val)
데이터 저장시,
(이때, 컬럼명 주어진대로 저장하는 거 잊지말고, 잘 기억하자)
1: pred[:,0]
...
4: pred[:,3]
#6. 모델 학습
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(random_state=44)
model.fit(x_tr, y_tr)
pred = model.predict_proba(x_val)
#7. 모델 평가
from sklearn.metrics import f1_score, roc_auc_score
roc_auc_score(y_val, pred, average='macro', multi_class='ovo')
#8. 평가(test) 데이터 예측
pred = model.predict_proba(test)
#9. 데이터 생성(4개의 범주형 예측하는 상황)
new_df = pd.DataFrame({'ID':test_ID,
1:pred[:,0],
2:pred[:,1],
3:pred[:,2],
4:pred[:,3]})
3. 회귀(종속변수: 수치형)
프로세스 과정은 동일한데, f2, MSE,RMSE 등의 모델 평가하는 부분에서 차이가 있다.
# f2_score : 1에 가까울 수록 좋음( r-square값 )
#7. 모델 평가
from sklearn.metrics import f2_score
f2_score(y_val, pred)
# MSE,RMSE : 작을수록 좋음
#7. 모델 평가
from sklearn.metrics import mean_square_error
#MSE
print(mean_square_error(y_val, pred))
#RMSE
print(mean_square_error(y_val, pred) ** 0.5)
유형 3
크게 4가지로 T-test 검정, 카이제곱검정, 회귀분석, 분산분석 이 있다.
1. T-test 검정
1.1 단일표본검정
H0: A가 100이다.
H1: A가 100이 아니다.
(※ H1에 따라, alternative가 존재할 때, 'less' 또는 'greater')
: 모집단 1개이며, 전/ 후가 아님.
1) 정규성검정(shapiro(data))
yes => 단일표본검정(ttest_1samp(data, 기대값))
no => 비모수검정(wilcoxon(data - 기대값))
1.2 대응표본검정
μd = 전 - 후
Ho : μd ≥ 0
H1 : μd < 0
(※ H1 의 μd 에 따라, alternative가 존재할 때, 'less' 또는 'greater')
: 모집단 1개이며, 전/ 후 존재.
1) 정규성검정(shapiro(diff))
diff = 전 - 후
(※ μd 순서대로 작성)
yes => 대응표본검정(ttest_rel(data['전'], data['후'], alternative = 'less'))
no => 비모수검정(wilcoxon(data['전'], data['후'], alternative = 'less' ))
1.3 독립표본검정
Ho : A그룹 B그룹 ~이다.
H1 : A그룹 B그룹 ~아니다.
(※ H1에 따라, alternative가 존재할 때, 'less' 또는 'greater')
: 모집단 2개인 경우.
1) 정규성검정(shapiro(data1)/ shapiro(data2))
2번 다 수행, 모두 정규성을 만족해야 함
yes => 등분산검정
no => 비모수검정(manh(data1, data2))
2) 등분산검정(levene(data1, data2))
모두 등분산을 만족해야 함
yes => 독립표본검정(ttest_ind(data1, data2))
no => 독립표본검정(ttest_ind(data1,data2, equal_var = False))
2. 카이제곱 검정