[정형데이터 분류] 정형데이터 & 평가지표 & EDA

📍 정형 데이터

    - Excel 파일 형식 또는 관계형 데이터베이스의 테이블에 담을 수 있는 데이터

    - 행(row)과 열(Column)으로 표현 가능한 데이터   - Excel 파일 형식 또는 관계형 데이터베이스의 테이블에 담을 수 있는 데이터

    - 행(row)과 열(Column)으로 표현 가능한 데이터

 

 

📍 분류문제 평가지표

  🔥 Confusion Matrix

      - Precision에서는 Negative의 중요도가 Positive보다 높다(ex. 스팸 메일)

      - Recall에서는 Positive의 중요도가 Negative보다 높다(ex. 종양 발견)

 

  🔥 ROC(Receiver operator Characteristic, 수신자 조작 특성)

    - 모델의 성능이 기준선을 넘었는지 확인하기 위한 시각적으로 표현한 그래프

 

  🔥 AUC(Area Under Curve)

      - ROC곡선 아래의 넓이를 의미

      - AUC 값은 모델에서 항목을 임의로 추출했을 때 긍정 항목이 부정 항목보다 더 선택될 확률을 나타냄

      - 높은 AUC가 더 좋은 모델

 

 

📍 EDA(Exploratory Data Analysis, 탐색적 데이터 분석)

    - 데이터를 탐색하고 가설을 세우고 증명하는 과정

      -> 탐색 - 생각 - 증명 과정을 반복

    - 다양한 시각을 통해 데이터를 이해하고 특징을 찾는 과정

      -> 시각화, 통계량으로 표현

    - 모든 데이터는 분석에 앞서 EDA과정을 수반

    - 많은 의문을 가지면 더 다양한 시각을 가질 수 있음

 

  🔥 예(타이타닉 데이터)

    - 목적을 알아야 함

 

    - 각 column이 무엇을 의미하는 지 알 수 있어야 한다.

 

    - 변수간의 관계를 파악 함

나이대는 20~30대가 가장 많고, 남성이 여성보다 많고, 생존자의 경우 여성이 더 많은 비율로 살아 남았다.

가족의 형태로 보았을 때는 중간 정도의 가정(3~4인)이 가장 많이 생존하였고 5인 이상 가족의 생존률이 가장 낮았다.