본문 바로가기

인공지능/선형대수

 (5)
정규방정식 & 정사영 1. Normal Equation(정규방정식) - A^TAx = A^Tb를 말함. - x_hat 을 최소로 만든다면 제곱을 해도 최소가 되기 때문에 아래와 같은 식이 성립 - x에 대해 미분을 해보자 -> a^Tx를 미분하게 되면 a가 된다. - 따라서 아래와 같은 식이 유도된다. => 정규방정식에서 A^TA의 역행렬이 존재한다면 해가 무수히 많이 존재하기 때문에 그중 가장 근접한 답을 찾을 수 있다. 2. 정사영(Orthogonal Projection) - 최단거리를 찾기위해 직각으로 내린 값(빛을 쏘아 그림자가 생긴것이라고 생각하면 접근이 수월) * Orthogonal and Orthonormal Sets - Orthogonal Set : {u1, u2, u3, ...} 벡터들이 R에 포함되고, ui..
전사함수, 일대일함수, 내적 1. ONTO(전사) - 공역 = 치역 -> 기본적으로 정의역의 원소가 공역의 원소보다 많거나 같아야 함 -> 정의역의 차원이 공역의 차원보다 크거나 같아야 함 2. One- to-One (일대일 함수) - ONTO일 필요는 없으나, 치역만 뽑았을 경우 정의역과 1대 1 매칭이 될 경우를 말함 -> 정의역의 차원이 공역의 차원보다 크거나 같아야 함 **Over-determined Linear System - 구해야 하는 값은 3개인데 식이 무수히 많은 경우를 말함 - m >> n : more equations than variables -> Usually no solution exists => 근사적으로라도 해를 구해보자. HOW? 최소제곱법(Least Squares) 3. Inner Product, D..
부분공간 & 기저와 차원 & 계수 1. Subspace(부분 공간) - span과 비슷한 의미를 말함, 재료벡터의 Span으로 이루어져 있다라고 할 수 있음 - 벡터공간에서(Vn) 부분집합(Wn)이 벡터공간이면 Wn을 Vn의 부분공간이라고 함 -> Wn이 부분공간이려면, 덧셈과 스칼라 배에 대해 닫혀있으면 됨. - n차원의 부분집합이고 선형결합에 닫혀있을 경우를 말함 - H is defined as a subset of R^n closed under linear combination * '닫혀있다' 란? - 곱셈에 닫혀있다 -> S = {} 에서 {}안에 곱으로 가능한 모든 원소가 들어있을 경우를 말함 ex) S = {2^n: n은 1~ 무한대}인 경우, S는 2의 곱셈에 닫혀있다. - 선형결합에 닫혀있다 -> 덧셈과 스칼라곱에 닫혀있다..
선형결합, Span, 선형독립, 선형종속 - Linear Combinations(선형 결합) -> P개의 vector가 주어졌을 때, 계수를 곱해서 더해주는 것. -> 가중치의 경우 실수를 다루게 됨(0포함) -> 위의 식이 아래와 같이 바뀌는 것을 말함 - Span: the set of all linear combinations of v1, v2, ..., vp. -> 재료 벡터로 만들 수 있는 모든 경우를 모아둔 벡터. -> 1차원의 벡터의 span은 선으로 말할 수 있고, 2차원은 면, 3차원은 공간을 말할 수 있다. -> 해가 존재할 경우 b가 Span{a1, a2, a3}안에 있을 경우 - 행렬 곱을 이해하는 방법 -> Column combination -> Row combination -> Sum of (Rank-1) Outer Pr..
선형대수의 기초 - Scalar : a single number - Vector: an ordered list of numbers 만약 ordered 되어있지 않다면 set이라 부른다. -> 기본적으로 column vector를 일반적으로 사용(n X 1 으로 나타냄) -> row vector의 경우 column vector를 transpose한 것이라고 생각하면 됨.(1 X n 으로 나타냄) - Matrix: a two-dimensional array of numbers, 행렬, 일반적으로 2차원을 말함 -> Row vector: a hrizonal vector -> Column vector: a vertical vector -> n X n : Square matrix라고 함 (num of rows == num of ..

티스토리툴바