DeepFlowest

예를 들어, 이미지의 28 x 28개의 픽셀들을 입력값으로 취하는 신경망을 보자. 28 x 28 = 784 784개의 각 뉴런들은 각 픽셀의 밝기를 나타냄. 검은 픽셀 : 0 하얀 픽셀 : 1 신경망 안에서 이러한 숫자들을 입력값이라고 부름 큰 입력값이 주어질수록 각각의 신경망이 더 큰 정도로 활성화 됨. 이 모든 784개의 뉴런이 신경망의 입력층을 구성하게 됨. 출력층은 총 10개의 뉴런을 가지고 있고, 각각의 뉴런은 0~9 숫자를 대표함. 이 뉴런들은 숫자와 입력값이 일치하는 정도를 나타냄(0~1 사이 값으로) 각각의 뉴런은 시그모이드 함수로 압축하기 전에 가중치에 더한 값인 bias를 가짐. 중간에 16개의 hidden layer는 각각의 16개의 bias를 가진 784x16개의 가중치를 의미함. ..

앙상블 기법 여러 개의 분류 모델을 조합해서 더 나은 성능을 내는 방법 1. 배깅(bagging) 한 가지 분류 모델을 여러 개 만들어서 서로 다른 학습 데이터로 학습시킨 후( 부트스트랩), 동일한 테스트 데이터에 대한 서로 다른 예측값들을 투표를 통해(어그리게이팅) 가장 높은 예측값으로 최종 결론을 내리는 앙상블 기법 ==> 과대적합이 쉬운 모델에 상당히 적합한 앙상블 1-1. 부트스트랩(bootstrap) 데이터를 조금은 편향되도록 샘플링하는 기법 데이터 샘플링 시 편향을 높임으로써 분산이 높은 모델의 과대적합 위험을 줄이는 효과를 준다. N개의 데이터를 총 k개의 데이터로 나누어 담을 때 중복을 허용해서 데이터의 편향을 높인다. ( 부트스트랩을 사용하지 않으면 모두 동일하게 N개의 데이터로 학습 =..

※ 경사 하강법 : learning rate와 cost 함수의 순간 기울기(gradient)를 이용하여 가중치(weight)를 업데이트하는 방법 [선형 회귀] 의 경사 하강법 ≫≫ cost 함수가 최소가 되는 w와 b를 찾는 알고리즘 [인공신경망] 의 경사 하강법 기존의 경사 하강법은 전체 데이터를 모두 사용해서 에러를 계산하기 때문에, 학습하는 데 시간이 오래 걸린다. ==> 확률적 경사 하강법(Stochastic Gradient Descent) 으로 해결 가능하다. 확률적 경사하강법(Stochastic Gradient Descent) 이란 전체 데이터를 한 번에 업데이트하는 것이 아니라, 일부분의 데이터를 업데이트하고 다음 일부 데이터를 업데이트하는 방법이다. 이 방법의 문제점은 Local minim..

지금까지는 simple linear regression에 관한 내용이었다. (x가 한 개) 오늘부터는 다변수(x가 여러 개) 선형 회귀에 관한 것이다. 예를 들어, 변수가 3개 있으면 다음과 같이 cost 함수를 쓸 수 있지만 변수가 많으면 식을 표현하기 위해 행렬로 표현한다.

앞 포스팅에서 학습의 목적은 Cost함수를 최소화하는 W와 b를 찾는 것이라 했다. 즉, 오늘은 cost 함수를 최소화해야 하는데 어떻게 최소화할지에 내한 내용을 다룬다. 우선 간단한 hypothesis을 생각해보면 cost 함수는 다음과 같이 표현할 수 있다. Hypothesis : H(x) = Wx Cost : 위 cost 함수 그래프를 보면 cost함수의 최소점이란 빨간 점부분이다. ==> cost가 제일 작게 되는(빨간 점) w를 찾는 것이 우리의 목표이다. 이를 위해서 최저점을 찾기 위해 나온 것이 Gradient descent algorithm이다. ● Gradient descent algorithm > 경사를 따라 내려가면서 최저점을 찾는 알고리즘 방법 : W와 b값을 랜덤 값으로 정해 --..

● Linear Regression > 데이터에 잘 맞는 '직선'을 찾는 것이다. 즉, y=ax+b라는 직선이 있을 때 a와 b를 찾는 것이다. ● Hypothesis > 어떤 가설이 더 좋을까? = 어떤 식이 더 좋을까? ==> 이것을 정하기 위해서 cost함수를 쓴다. H(x) = Wx + b (W : Weight, b : bias) ● Cost H(x) - y (예측 값- 실제 값) => '빨간색 선'들의 합이 작을 수록 good! => 이 차이를 cost, lost, error 라고 함. ==> 어떻게 이 cost 값을 최소화할까? ● Cost function > error^2의 평균값 H(x) = Wx + b => Cost함수를 최소화하는 W와 b를 찾는 것 ​ (학습의 목적이기도 함)