[Day 9] Math for AI - Pandas Ⅱ & Probability theory

📍 Pandas Ⅱ

  🔥 Groupby

    - SQL에서의 명령어와 동일하고 결과물은 Series형태로 나오게 된다.

    - Split -> apply -> combine의 과정을 거쳐 연산이 된다.

groupby 연산 과정

groupby 예제 코드

 

    - unstack(): dataframe 형식으로 묶어주는 작업 <-> stack()

    - reset_index() 등의 연산도 사용 가능

    - swaplevel(): index의 순서가 바뀜

 

  🔥 Grouped: groupby에 의해 split된 상태를 추출해 처리할 수 있게 함(Tuple형태로 key, value값 추출)

    - Generator형태로 반환되기 때문에 적절한 처리가 필요하다.

    - 추출된 정보에는 세가지 유형의 Apply가 가능(Aggregation-요약, transformation-변환, Filteration-필터)

 

  🔥 Pivot table 

    - excel에서와 동일하고 index 축은 groupby와 동일(groupby의 unstack보다 간결)

    - column에 추가로 labeling값을 추가해, value에 numeric type값을 aggregation하는 형태

 

    - Crosstab: 특히 두 컬럼에 교차빈도, 비율, 덕셈 등을 구할 때 사용하는 pivot table의 특수 형태

 

  🔥 Merge & Concat

    - merge: SQL에서 많이 사용하는 merge의 기능과 동일(join, 두개의 data를 합침)

      -> ex) pd.merge(df_left, df_right, on = 'id')   => on - 두 df에 같은 값이 있을 경우사용(다르다면 left_on, right_on)

join method

   

    - concat: 같은 형태의 data를 붙이는 연산작업(list 형태)

      -> df_new = pd.concat([df_a, df_b])  ==> default는 axis = 0(밑으로 붙임)이고, axis = 1로 옆으로 붙일 수 있음

 

  🔥 Persistence

    - database connection을 지원해주는 기능(pymysql library를 설치해 sqlite3을 import하여 사용가능)

      -> data loading시 db connection 기능 제공

    - XLS persistence: openpyxl 이나 XlsxWriter 설치 후 사용가능

 

📍 확률론 맛보기

    - DL에서 확률론이 필요한 이유는 뭔가요?

      -> 기계학습에서 사용되는 손실함수(Loss function)들의 작동 원리는 데이터 공간을 통계적으로 해석하여 유도하게 됨 ==> 예측이 틀릴 위험을 최소화

      -> 예를 들어, 회귀 분석의 경우(L2-norm), 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도

                         분류 문제(교차 엔트로피)의 경우, 모델 예측의 불확실성을 최소로하는 방향으로 학습을 유도

      -> 이러한 개념, 이론들이 확률론에 기반을 두고있기 때문에 DL에서 확률론이 중요하다.

 

  🔥 확률 분포: 데이터 공간(X x Y)에서 데이터를 추출하는 분포(D)를 말함.

    - (x, y) ~ D 로 표기하고 (x, y)는 데이터 공간에서 관측 가능한 데이터를 말한다.

    - 확률분포 변수는 확률 분포에 따라 이산형(Discret) 과 연속형(Continuous)로 나뉜다.

    - 분포의 종류에 따라서 D(확률 분포)를 모델링하는 방법이 다르다.

    - 이산형: 확률 변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링 함(확률 질량 함수)

 

* P(X = x)는 확률 변수가 x값을 가질 확률

 

    - 연속형: 데이터 공간에 정의된 확률 변수의 밀도(Density) 위에서의 적분을 통해 모델링(확률 밀도 함수)

 

* P(x)는 누적확률의 변화율을 말한다.

 -> 확률로 접근하면 안됨!!

 

  🔥 주변확률분포(P(x))

    - 입력 x에 대한 주변확률 분포로 y에 대해 정보를 주지 않음, 하지만 더하거나 적분을 통해 가능(위의 식)

 

  🔥 조건부 확률 분포(P(x|y))

    - 데이터 공간 상에서 입력 x와 출력 y 사이의 관계를 모델링

      -> y가 주어진 상황에서 x의 분포를 구하는 것. => 통계적 관계를 모델링 할 때 사용할 수 있음

      ** P(y|x)는 입력 변수 x에 대해 정답이 y일 확률을 의미(연속확률변수의 경우에는 밀도로 해석)

    - 로지스틱 회귀에서 사용했던 선형 모델과 softmax 함수의 결합은 데이터에서 추출된 패턴을 기반으로 확률을 해석하는데 사용

      ** 분류문제에서 softmax(wΦ + b)는 데이터 x로부터 추출된 특징패턴 Φ(x)와 가중치 행렬 W를 통해 조건부확률 P(y|x)를 계산 (== P(y|Φ(x))라고도 하지만 잘 쓰진 않음)

      ** 회귀 문제의 경우, 조건부 기대값 E[y|x]를 추정

        -> 왜 사용하나요? L2-norm으로 뽑은 함수(f(x))와 일치하기 때문이다.

 

  🔥 기대값(Expectation, 평균(mean)과 비슷한 의미)

    - 확률분포가 주어지면 데이터를 분석하는데 사용가능한 여러 종류의 통계적 범함수(Statistical functional)를 계산할 수 있는데 그 중 기대값은 데이터를 대표하는 통계량이면서 확률 분포를 통해 다른 통계적 범함수를 계산할 수 있는 도구

연속확률 분포의 경우 왼쪽과 같이 적분식을 사용하고, 이산확률 분포의 경우 오른쪽과 같이 급수식을 사용한다.

    - 기대값을 이용해 분산, 첨도, 공분산 등 여러 통계량을 계산

 

  🔥 몬테카를로 샘플링(Monte Carlo)

    - 기계학습의 많은 문제들은 확률 분포를 명시적으로 모를 때가 많은데 이때 사용하는 기법이다.

    -  데이터를 이용하여 기대값을 계산하려고 할 때 사용하고 이산형, 연속형에 상관없이 성립한다.

 * i.i.d. - 독립 동일 분포

 - 각각의 변수들이 독립적이고 동일한 확률분포를 가지는 분포(주사위)

    - 위의 식을 보면, x를 샘플링한 데이터이고, 유사식(산술평균)을 구해주면 근사값이 도출된다.

      ** 여기서 sampling data는 독립적으로 해주어야 가능하다.

    - 독립 추출이 보장된다면 대수의 법칙(Law of large number)에 의해 수렴성을 보장

    - 하지만 샘플 사이즈가 적다면 오차 범위가 커지고 True값과 멀어질 수 있으니 주의해서 사용해야 한다.