[Day 8] Math for AI - Pandas & MLP

📍 Pandas - Python Data Analysis Library

 

    - Panel datas -> Pandas로 R과 비슷한 구조체를 가지고 있다. 하지만 numpy와 통합해 강력한 "스프레드시트" 처리 기능을 제공한다.

    - 구조화된 데이터의 처리를 지원하는 Python 라이브러리로 Python계의 엑셀이라 불린다.

    - 인덱싱, 연산용 함수, 전처리 함수 등을 제공하고 데이터 처리 및 통계 분석을 위해 사용하기 좋다.

판다스는 tabular 형태의 data를 다루는 모듈

 

  🔥 Pandas의 Data Frame 구성

    - 아래와 같이 하나의 테이블을 DataFrame이라 하고 df로 줄여서 부른다.

    - 한 Column의 열을 Series라고 부름

 

  🔥 Series - column vector로 해당하는 데이터의 모음 object

     - index를 숫자 뿐만 아니라 영어로도 가능

    - astype() 함수로 Series data type을 변경할 수 있음.

    - values, index 등의 키워드 사용 가능

    - loc() : index location     /     iloc() : index position

 

-> loc의 경우 인덱스의 이름을 찾아가서 잘라준다

 

-> iloc의 경우가 원래 list에서 알고있는 의미로 쓰인다

 

 

 

 

 

 

 

 

  🔥 Data Frame - Series object를 모아둔 것.

    - 대부분 csv파일을 불러와서 처리한다.(Dict type으로도 data를 불러 올 수 있음)

    - del, drop()으로 column 삭제가 가능하지만 del의 경우 원래의 df에 영향을 주고 drop의 경우는 inplace = true를 사용해야 원본 df에 영향을 줌

    - Selection

     ┌> df["a"].read(3)  <-  한개의 column 선택시(Series형태로 출력)     <->  df[['a']]로 하면 Dataframe형태로 반환

     └> df[['a', 'b', 'c',]].head(3) <- 여러개의 column을 dataframe형식으로 반환, head(3)은 위에서 3개의 데이터만 반환

 

      ┌> df[:3] - column이 아닌 index기준으로 row가 반환

      └> df['a'][:3] - column과 함께 사용시, 해당 column의 row가 반환

 

      ┌> df[['name', 'street']][:2]  -  column과 index number

      ├> df.loc[['a', 'b']]['name', 'stree'] - column과 index name

      └> df.iloc[:2, :2] - column number 과 index number

 

     - Reindex

      -> df.index = list(range(0, 15)) - index 지정(0~14)

      -> df.reset_index()  - index 초기화(다른 이름의 index였더라도 0부터 시작해 index 지정)

          └> drop = True 시, 기존 index 삭제

          └> inplace = True 시, data frame 자체가 변형

 

    - drop(index, axis, inplace)를 사용하여 column을 삭제시킬 수 있음

 

  🔥 Data Frame Operations

    - Series: add(+)로 같은 인덱스끼리 연산(만약 겹치는 index가 없다면 NaN값 반환)

    - data frame: add(+)로 column과 index모두 고려해 연산

       └> add연산자 사용시 fill_value=0을 사용하여 column과 row의 index가 달라도 0으로 간주(sub, mul div 다 가능)

    - Series + data frame: add로 가능하고 Series가 broadcating되어 연산된다

 

  🔥 Map: function, dict, sequence형 자료등으로 대체 가능(lambda 사용 가능)

 

-> dictionary type으로 교체가 가능(data 없다면 NaN값)

 

 

 

-> 같은 위치로 데이터를 치환

 

 

 

    - replace: Map함수의 기능 중 데이터 변환만 담당하는 함수 -> 데이터 변환 시 많이 사용

    - Apply: map과 달리 series 전체(column)에 해당 함수를 적용하는 함수

      -> 입력값이 Series데이터로 입력받아 handling 가능

      -> 내장 연산 함수도 사용가능(sum, mean, std 등)

      -> scalar값 이외에 Series로 변환 가능

      -> element단위로 함수를 적용할 수도 있음

 

  🔥 pandas built-in function

    - describe - numeric type 데이터의 요약 정보를 보여줌

    - unique - Series data의 유일한 값을 list로 반환

    - sum - axis로 column(0) 또는 row(1)값의 연산 지원(sub, mean, min, max, count, median, mad, var 등 지원)

    - is_null - column or row 값의 NaN값의 index를 반환(sum과 함께 사용해 NaN값이 몇개인지 파악)

    - sort_values - column 값을 기준으로 데이터 sorting(ascenting을 사용해 오름(True)/내림(False) 결정)

 

    - correlation & covariance - 상관계수와 공분산을 구하는 함수(corr, cov, corrwith - 전체와의 비교)

 

📍 딥러닝 학습방법 이해하기

      🔥 선형모델 

- 위의 식을 그림으로 표현하면 옆과 같이 나오게 된다.

- d개의 변수로 p개의 선형모델을 만들어서 p개의 잠재변수를 설명하는 모델을 상상해 볼수 있다.

- 선을 W라고 말할 수 있다.

 

  🔥 Softmax함수

    - 분류문제를 풀때 사용할 수 있는 연산으로 모델의 출력을 확률로 해석할 수 있게 변형해 주는 연산

      -> ex) [0, 1, 2]를 softmax 취해주었을 때, [0, 0.34, 0.66]이 나오는 것

    - 추론시에는 One-hot encoding을 사용해 최대값을 가진 주소만 출력하는 연산을 사용한다.(최대값 - 1, 나머지 - 0)

exp는 지수승을 말하는 것 e^x

 

  🔥 신경망을 수식으로 분해해보자

    - 분류(Classification)에서 softmax를 사용해 문제를 해결한 것처럼 비선형 문제를 풀때 적절한 Activation Function(활성 함수)를 이용해 문제를 해결할 수 있다.

    - 활성 함수(Activation Function, sigma): 비선형 함수로 잠재벡터 O=(O1, O2, ..., Op)의 각 노드에 개별적으로 적용하여 새로운 잠재벡터 H=(sigma(O1), ..., sigma(Op))(뉴런, Hidden vector라고도 불림)를 만듬

      -> 활성 함수를 사용하지 않는다면 딥러닝은 선형 모형과 차이가 없다.(딥러닝에서는 Relu를 많이 씀)

Activation Function 종류

 

    - 신경망은 선형모델과 활성함수를 합성한 함수이다.

 

  🔥 MLP(Multi-Layer Perceptron, 다층 퍼셉트론)

    - 신경망이 여러층 합성된 함수

    - Parameter의 개수는 L개의 가중치 행렬(w1, w2, ..., wl)과 bias행렬(b1, b2, ..., bl)로 이루어져 있다.

    - 순차적으로 신경망을 계산해 결과를 내면 Forward Propagation(순전파)라고 하고, 이 과정은 학습이 아닌 결과를 도출하는 것이다.

 

  📌 왜 층을 여러개 쌓는 건가요?

    - 이론적으로는 2개의 층으로도 임의의 연속함수를 근사할 수 있다(Universial approximation theorem)

    - 하지만, 층이 깊어지면 목적함수에 근사하는데 필요한 뉴런(노드)의 수자가 훨씬 빨리 줄어들어 좀 더 효율적으로 학습이 가능하다. <-> 층이 얇다면 뉴련의 수가 기하급수적으로 늘어나 넓은 신경망이 필요하다.

    - 그럼에도 층이 깊어진다고 최적화가 된다는 것은 아니다(오히려 학습이 어려울 수도 있다. 후의 합성곱 신경망에서 다룸)

 

  🔥 역전파 알고리즘(Back-Propagation)

    - 각 층에 사용된 파라미터 {wl, bl}_l=1 ^L를 학습

    - 각 층 파라미터의 그레디언트 벡터는 윗층부터 역순으로 계산    - 합성함수 미분법인 연쇄법칙(Chain-rule)을 기반으로 자동 미분(Auto differentiation)을 사용    - 각 노드의 텐서 값(뉴런의 값)을 컴퓨터가 기억해야 미분 계산이 가능하기 때문에 순전파보다 메모리를 많이 사용

Back-Propagation

 

 

연쇄 법칙(Chain-rule)

역전파 알고리즘 영상
https://www.youtube.com/watch?v=573EZkzfnZ0