[정형데이터 분류] 트리 모델

📍 Tree Model

  🔥 Decision Tree(의사결정나무)

    - Feature 값들을 어떤 기준을 통해 group화해서 목적에 맞는 의사결정을 할 수 있도록 하는 방법

 

  * 트리 모델의 발전

Random Forest는 대표적인 Bagging 방법

 

  🔥 Bagging

    - Dataset을 sampling하여 모델을 만들어 나감

    - 여러 모델을 합쳐 Decision Tree가 생성됨

    - Bootstrap + Aggregation

      -> Bootstrap : Dataset을 여러 개로 sampling

      -> Aggregation: 종합(Ensemble)

 

    * Boosting의 경우 하나의 트리를 만들고 앞의 오류를 고치며 발전

 

    - Bagging vs Boosting

 

  🔥 LightGBM, XGBoost, CatBoost

    - 균형적 구조: XGBoost, CatBoost

    - 비균형적 구조: LightGBM

    - 세 트리의 parameter 비교

 

    - 밑의 사진처럼 LightGBM과 CatBoost는 Pandas의 Category 타입이 가능한데, XGBoost는 Numeric 데이터 타입만 가능하기 때문에 전처리가 필요