notty

CNN(Convolutional Neural Network) : 인간이 이미지를 보고 특징을 파악하여 분류하는 시신경 시스템을 모방하였다.예시) 이미지를 보고 호랑이라고 분류하기주어진 이미지의 세부(하위) 특징을 파악 -> 다른 특징과 결합하여 상위 특징을 형성 ->  출력 노드에서 호랑이일 확률을 확인하여 분류 그래서 어떻게 특징을 추출하냐..?: convolution, pooling layer로 특징을 추출한다. Convolution layer는 특징을 추출하는 레이어이고 Pooling layer은 추출된 특징을 down sizing하여 더 압축시킨다. Convolution layer원본 이미지에 convolution filter를 곱하여 convolved image를 만든다(stride를 고려, 위..

Single Layer Neural Network : 히든 레이어 = 1인 NN구조입력층 - 출력층 이외에 hidden layer이 존재한다. 입력 층의 각 노드와 히든층의 각 노드가 완전 연결 되어Hidden layer : 입력층의 선형 결합을 더하고 활성함수를 계산하여 출력노드로 전달한다.Output layer : 출력 함수를 적용하여 최종 Y를 결정한다. 이 때 출력 층의 유닛의 개수는 문제에 따라서 달라진다. 예를 들어 multi calss calssification의 경우 softmax함수를 사용하고 출력 층을 class의 개수 만큼 설정 반면하는 반면 회귀 문제의 경우 출력 함수를 항등함수로 설정하여  마지막 히든 레이어의 신호를 그대로 전달한다. Single Layer Neural Netwo..

서포트 벡터 분류기 (SVC, Support Vector Classifier) 는이진 클래스, 분류하는 경계가 선형인 경우 효과적--> 현실은 비선형적인 문제가 더 많음.. ==> 서포트 벡터 머신 (SVM, Support Vector Machine)사용 비선형적 경계보통은 입력 변수의 차원을 매핑함수로 증가시킨 후 각 쌍들을 내적해야한다예) p차원 -> 매핑 함수 Φ 적용 -> 2p차원 -> 모든 쌍들을 내적시켜야한다.한계: 계산량이 기하급수적으로 많아진다, 무한차원 사영은 불가능하다↓SVM에서는 커널트릭 (Kernel Trick)을 사용하여 효율적으로 계산이 가능**최적화**(이거 내용 따로 올려야할)에 대한 이해가 필요하다SVM 목적함수(마진을 최대화하는 w, b를 찾는것)를 La..

최적의 초평면을 찾아보자!! 초평면(Hyperplane): 주어진 차원보다 한 차원 낮은 아핀(affine)부분공간을 의미한다 ex) p차원 --> (p-1)차원의 초평면을 갖는다, 2차원 --> 1차원의 초평면을 갖는다 하지만 클래스를 분류하는 초평면은 무수히 많음...--> 마진을 최대로 하는 최적의 초평면을 찾자 ==> 최대 마진 분류기* 마진(Margine) : 서포트벡터와 초평면과의 수직거리  최대 마진 분류기(Maximum margin classifier) => 하드 마진(Hard margin): 마진을 최대로 하는 초평면관측치들과 분류 초평면의 거리를 계산하는데 이떄의 관측치는 서포트 벡터를 의미한다--> 최대마진 초평면은 서포트 벡터에 직접적으로 의존적이다 (거..

기존의 다항식 회귀 : 데이터에 전역적 구조로 모델을 적합 (== x의 모든 구간에 대한 하나의 모델 적합) 조각별 다항식 회귀 : 구간별 데이터에 대해서 각각의 모델을 적합 (== x의 구간을 나누어 각각의 모델 적합) * c : 매듭점(knot)- c에 따라서 데이터의 구간을 나눈다- K개의 매듭점 --> K+1개의 구간을 생성 c = 50을 기준으로 두 구간으로 나눈다각각의 구간에 대한 모델을 적합매듭점 구간에 jump(불연속적인) 구간이 생긴다 모델을 유연하게 만들기 위해서 차수를 늘리는게 아닌 매듭의 수를 늘리는 방법을 사용한다

기저함수란? 공간상에서 일어나는 운동을 표현하기 위한 기본적인 함수들의 집합이고 그것을 이용해서 공간상에서 일어나는 모든 운동을 표현할 수 있음. (https://www.gpgstudy.com/forum/viewtopic.php?highlight=&t=2728)기저함수는 특정한 규칙에 따라 만들어지는 함수의 열(sequence)로서 충분히 많은 수의 함수가 있으면 어떤 모양의 함수라도 비슷하게 흉내낼 수 있는 것을 말한다. (https://datascienceschool.net/03%20machine%20learning/06.02%20%EA%B8%B0%EC%A0%80%ED%95%A8%EC%88%98%20%EB%AA%A8%ED%98%95%EA%B3%BC%20%EA%B3%BC%EC%B5%9C%EC%A0..

다항식 회귀모델에서는 데이터 전체(전역)에 대한 하나의 통합된 모델을 생성하였다. 하지만 이는 데이터의 다양한 패턴과 특징을 반영하는데에 한계가 있다. 따라서 계단함수를 사용하여 데이터의 구간(지역)을 나누어 각 구간마다 다르게 적합한다. 계단함수① 절단점(cut point, c)을 사용하여 연속형 변수 -> 순서범주형 변수로 변환* I( ) (지시함수, Indecator function) : X가 괄호 안의 범위에 해당하면 1, else 0을 반환한다.k개의 절단점을 사용하여 K+1개(C0 ~ CK)의 변수를 만들어낸다.C0 ~ CK를 모두 더하면 항상 1각 지시함수가 1인 경우(True인 경우) 특정 상수 값으로 xi를 할당 ② 최소제곱 적합 xi가 속하는 구간이 선택되고, ..

표준적 선형모델 다항식 함수 (표준적 선형 모델의 확장): xi, xi^2, xi^3 ... xi^d 을 설명 변수로 가지는 표준 선형 모델 (d↑, 비선형성↑) * 다항식함수는 선형 모델인데 왜 곡선이 생성됨???- '다항식 회귀는 선형적 모델'에서 '선형적'의 의미는 '선형적 결합(상수*설명변수의 합)'이라는 의미임. 다시말해서 종속변수를 나타낼 때 선형적 결합으로 표현한다는 의미이다. 곡선의 형태임- 선형 회귀의 '선형성' 가정은 X와 Y의 관계가 선형적이라는 것을 의미함 (직선 형태) 파라미터 추정: 최소제곱회귀를 사용하여 추정* '최소제곱' vs '최소제곱회귀'- 최소제곱 : 관측값들과 예측값의 잔차(설명 가능한 오차)를 최소화 하는 방법- 최소제곱회귀 : 최소제곱법을..

표준오차 (Standard Error, SE) SE = s/√n *s : 추정치의 편차 : 모집단에서 랜덤하게 추출된 표본평균이 각 표본평균의 평균에 대해서 흩어진 정도 표준편차 (Standard Deviation, SD) SD = σ/√n : 자료(관측치)가 평균에 대해서 흩어진 정도 결론 표준 오차와 표준 편차를 혼용해서 사용하는 경우가 있으나 표준 오차는 표본 통계량의 변동성을 설명하며 이는 표본 평균이 전체 모집단의 평균을 추정하는 데 얼마나 정확한지를 알려준다. 표준 편차는 집단의 평균으로부터 데이터가 얼마나 퍼져있는지를 확인할 수 있다.

**참고  Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. An Introduction to Statistical Learning : with Applications in R. New York :Springer, 2013.분류 (Classification)질적 반응변수(qualitative variable, categorical)인 경우 (양적 반응변수(quantitative variable)인 경우는 선형회귀)각 클래스에 대한 확률 계산 -> 가장 확률 높은 클래스로 분류 하는 과정선형회귀로 분류 => 효과적이지 않음선형회귀로 분류문제를 모델링하는것은 적절하지 않다. 이진분류의 경우dummy variable로 변형하..