첫 ADP 18회 실기 시험 후기

시험일 2020. 09. 19 1:00 ~ 5:00 (4시간)

 

기대하고 고대하던 첫 P(전문가)의 도전이였다.

문제는 총 크게 3문제

1. 통계,머신러닝 (40점)

2. 텍스트마이닝 (10점)

3. 시계열 (50점)

 

1. 거래데이터를 통한 예측모형 만들기

주어진 데이터 : sales.csv(회원 id, 등급, 거래 금액, 거래간 일자, 개수)

1) 탐색적 분석 EDA 시각화 표현, 결측값 처리 등의 데이터 전처리 결과 정리

2) 전처리된 데이터 셋을 이용해 예측모형 개발

(1) 고객 등급 예측 모형을 위해 파생변수를 적절하개 3개 생성, 이유 작성

*필요시 시각화 & 통계량 제시

(2) (1)에서 편성된 데이터를 Train, Test로 7:3으로 분할하고 훈현데이터를 이용하여 som을 이용한 군집분석 수행 후 테스트 데이터를 이용하여 군집분석 결과를 confusion matrix를 이용해 평가

*하이퍼파라미터 튜닝 과정 및 필요한 시각화 제시

(3) (1)에서 편성된 데이터를 이용하여 Random Forest와 다층 신경망을 포함하여 고객등급을 예측하는 분류모델 4개 제시

각각의 모형평가 결과를 ROC곡선과 F1 Score로 제시

* 비교우위의 모형을 선정하고 선정된 모형은 추가적인 성능향상 과정 제시

 

 

2. 영어 텍스트 마이닝

형태소 분석을 통해 명사 추출, 불용어 처리를 하고 이를 빈도 막대그래프로 표현

 

 

3. 시계열

계절성 ARIMA 모형을 활용하여 월별 교통사고 예측

데이터: YR-MO(문자, YYYY-MM), EVT-CNT(숫자정수)

(1) 주어진 데이터셋을 활용하여 각 주기의 평균, 분산이 일정한 정상성을 만족시키고 선택한 방법에 대한 해석

(2)ARIMA 모형을 구성하는 자기회귀 AR의 요소인 P와 이동평균 MA요소인 q를 결정하여 분석모형을 3개 이상 제시하고 분석모형 선택의 근거를 제시 or 차수결정을 위해 차수별 자기 상관함수를 제시

(3) 선택한 모형을 추정하여 통계적으로 유의한 최적모델 제시, 또한 추정방법에 대한 설명과 모델 선정의 근거를 제시

(4) 통계적으로 잘 적합한지 진단, 최종 선택 모형을 이용하여 예측값을 구한 후 예측 정확도 산출, 산출방법에 선정한 근거 제시

 

 

개인 의견

1. 주어진 데이터의 독립변수가 이미 유의한데 어떻게 뭔 파생변수를 만들어야 한지는 감을 못잡음

또한 클러스터링의 som 자기조직화지도에 대한 방법을 모른다 랜덤 포레스트나 다층 신경망 역시 나에겐 난이도가 있었음.

2. KoNLP의 명사, 형용사의 한글 분석만 준비해서 곰곰히 생각해보니 영어의 명사 추출법을 몰랐음 편향적은 공부방법의 폐해...

ps.the, and, for와 같은 접속사, 전치사 등 의미없는 단어들이 포함되어있습니다. 이러한 것들을 불용어라고 합니다.

 

3. 시계열 분석에 대해서는 거의 다 풀었다고 생각하는데 이것도 감으로 품 

푸는 방식은 먼저 정상성을 만족시키기 위해 계절성을 본 데이터에서 빼고 그 후 ACF와 PACF 의 값과 그래프를 통해 lag 절단값확인 여기서 나는 lag가 0.x단위로 나와서 어떻게 해야하는지 고민됨 왜 정수가 아니라 소수단위로 그래프가 생성된지 모르겠음 -> 학습 부족

그 후 auto.arima를 이용하여 220인가 나와서 그걸 대입하여 예측 모델을 만들었지만 정확도에 대해서 예측값/ 본값 했지만 이것도 다시 공부할 필요성을 크게 느낌.

 

후기 

첫 adp 실기 시험이라는 말은 핑계이고 준비 부족 -> 교통비, 원서비 10만원 날렸지만 경험이라고 위로함..

찾아본 전년도들의 데이터와 비슷함을 느끼는 중 -> 각 회차에 대한 정보 수집 후 정리

편향적인 공부법과 통계학과가 아니라 여러 모델을 생성하고 각각의 모델 평가 이런것도 준비해야함을 크게 느낌

2번의 실수는 하지 않을것! 퍼펙트하게 준비하여 무조건 딸것!

따면 진짜 유용한 경험이라 판단 꼭 따자!!