Linear Independence$R^n$ 공간에서 벡터 ${v_1, v_2, ... v_p}$가 있을 때, 만약 벡터 방정식이 trivial solution(자명해)만을 가지고 있다면 Linearly Independence (선형 독립) 하다고 한다. 다음 속성들은 벡터들이 선형 독립인지 여부를 판단하는데 유용하다.- k개의 벡터는 선형 종속이거나 선형 독립이다. 다른 선택지는 없다.- 만약 $x_1, ..., x_k$ 중 적어도 하나의 벡터가 0이면, 그 벡터들은 선형 종속이다.- 두 벡터가 동일할 때도 선형 종속이다.- 만약 한 벡터가 다른 벡터들의 선형결합으로 표현될 수 있다면, 그 벡터들은 선형 종속이다.- 벡터들이 선형 독립인지 여부를 확인하는 실용적인 방법은 가우스 소거법이다. 가우스 소..
Groups집합 G와 연산 ⊗ 가 있다고 할때, G:=(G,⊗)가 group이라고 불리기 위해서는 다음 조건들이 성립되어야 한다. 1. Closure of G under ⊗ : 연산이 닫혀있어야 한다. ( 집합 G에서 두 원소를 연산했을 때 그 결과가 여전히 그 집합 G에 속해야 한다. )2. Associativity: G의 모든 원소에 대해 결합 법칙이 성립한다. 3. Neutral Element (항등원): G에는 항등원 $e \in G$가 존재하며, x에 e를 적용하면 자기자신이 나옴.4. Inverse Element (역원): G의 모든 원소 $x \in G$에 대해, 그에 상응하는 역원 $y \in G$가 존재, x⊗y=e 그리고 y⊗x= ey를 만족. group G의 임의의 x,y에 대해 x⊗..
선형방정식 풀기- 선형방정식을 matrix multiplication (Ax = b 형식)으로 나타낼 수 있다. Particular and General Solution 일반해 구하는 방법1. Ax = b를 만족하는 particular solution을 찾는다.2. Ax= 0 을 만족하는 모든 해를 찾는다.3. 1번 방법과 2번 방법을 혼합해 일반해를 구한다. 기본행 연산1. 두행을 교환한다.2. 행을 상수배한다.3. 서로 다른 두 행 더하기 이제 "일반해 구하는 방법"과 "기본행 연산"을 사용해 선형방정식의 일반해를 구해보자. Example 2.6 첨가행렬을 만들어 가우스 소거법을 진행한다. (행 사다리꼴 row-echelon from 을 만든다.) 과정은 다음과 같다. 가우스 소거법을 한 행렬은..
Matrices (행렬이란?)- 자연수 $m,n \in \mathbb{N}$ 에 대해, 실수값을 갖는 (m,n) 행렬 A는 요소 $a_ij$로 구성된 mxn 순서쌍- i = 1...m, j = 1...n, m개의 행과 n개의 열로 이루어진 직사각형 배열 - (1, n)-matrices는 row라고 하고, (m,1)-matrices는 column이라고 한다.Matrix Addition and Multiplication (행렬의 덧셈과 곱셈)- 덧셈: 각 위치에 맞는 원소를 더하면 된다. - 곱셈: 행렬 $A \in \mathbb(R)^{m \times n}$, $B \in \mathbb(R)^{n \times k}$ 에 대해 원소 $c_{ij}$ 의 곱셈 $C = AB \in \math..
선형대수는 벡터와 벡터를 조작하는 특정 대수 규칙을 연구하는 학문이다.우리가 학교에서 배운 벡터는 기하학적 벡터 라 불리며, 보통 문자 위에 작은 화살표를 붙여 나타낸다. (예시: $ \underset{x}{\rightarrow}$ , $ \underset{y}{\rightarrow}$ ) Systems of Linear Equations 다음은 선형방정식의 일반적인 모습이다. ($x_1$ ... $x_n$는 시스템에서 미지수) Example 2.21) 다음과 같은 선형 방정식이 있다고 가정하자.(1) 식과 (2) 식을 더하면 $2x_1 + 3x_3 = 5$ -> (3)식과 맞지 않기 때문에 해가 없다. 2) 다음과 같은 선형방정식에서는(3) 식을 (1) 식에 대입하면 $x_1$은 1이 나온다.그 후 ..
AWS에서 OpenSearch 프리티어를 12개월동안 지원한다.(매월 750시간의 단일 AZ t2.small.search 또는 t3.small.search 인스턴스, 매월 10GB의 EBS 스토리지 옵션)인스턴스를 만들어보고 파이썬에 연결해보자. 도메인 생성1. AWS opensearch free tier 검색해서 가장 상위에 있는 링크 선택하면 AWS 프리티어 화면이 나온다. 여기서 OpenSearch Service 카드 클릭 2. 'OpenSearch Service 시작하기' 클릭, 로그인 진행 3. 대시보드가 나온다. (현재 나는 이미 도메인을 하나 만들어놔서 대시보드에 1개의 도메인이 뜬다. 만약 처음 접속했다면 0이 뜰것이다.) 우측 상단의 주황색 버튼 '도메인 생성'을 누른다. 4...
배경sequence to sequence learning이 성행하던 시기RNN을 대체하기 위해 나타난 의미RNN + attention mechanism 1. Scaled Dot-Product AttentionAttention은 Q, K, V 사용V는 multiple Item, V-> V'로 바꿔주는 수식
Motivation- multiple input이 있을때 현재 상황을 가장 잘 풀어내는 정보들을 취합해서 하나의 숫자로(여저개) 만들어낼 수 있는가?- 현재 번역을 하고 있는데 번역하고 있는 그 단어와 가장 잘 어울리는 단어는 무엇일까?- 과거 기록을 가지고 추천해야한다면, 현재 그 사람의 정보와 가장 잘 어울리는 하나는 무엇일까? 등등 - sequence of information을 blending 해보는건 어떨까?: Attention을 관통하는 개념- 복수개의 데이터를 가지고 있는데 일부분씩을 떼어서 섞었더니 전체적인 데이터 정보가 만들어진다면 blending이라고 말할 수 있지 않을까?? Query Vector가 있고, (우리가 관심있는애)Multiple Vectors가 있음 반응성을 확인해서 ..
Sequence to Sequence란?입력데이터와 출력 데이터 사이에 연관관계를 학습할 수 있다면 (데이터로부터 스스로 학습할 수 있다면) 중간에 있는 것을 sequence 2 sequence learning이라고 한다. input sequence와 output sequence가 있음.input (n)과 output(m) 개수에 따라 여러가지 형태로 표현할 수 있음.번역, 자연어 처리, video tagging, 음성 분석 등등에서 모두 쓰일 수 있다. input, output 개수에 따른 sequence to sequence 분류n == mn != m 에서 m=1 (n to 1): 보통 classificationn != m 에서 m의 출력개수가 계속 달라질 때 (m>1) : 대표적으로 번역 ..