DeepFlowest

예를 들어, 이미지의 28 x 28개의 픽셀들을 입력값으로 취하는 신경망을 보자. 28 x 28 = 784 784개의 각 뉴런들은 각 픽셀의 밝기를 나타냄. 검은 픽셀 : 0 하얀 픽셀 : 1 신경망 안에서 이러한 숫자들을 입력값이라고 부름 큰 입력값이 주어질수록 각각의 신경망이 더 큰 정도로 활성화 됨. 이 모든 784개의 뉴런이 신경망의 입력층을 구성하게 됨. 출력층은 총 10개의 뉴런을 가지고 있고, 각각의 뉴런은 0~9 숫자를 대표함. 이 뉴런들은 숫자와 입력값이 일치하는 정도를 나타냄(0~1 사이 값으로) 각각의 뉴런은 시그모이드 함수로 압축하기 전에 가중치에 더한 값인 bias를 가짐. 중간에 16개의 hidden layer는 각각의 16개의 bias를 가진 784x16개의 가중치를 의미함. ..

지금까지는 simple linear regression에 관한 내용이었다. (x가 한 개) 오늘부터는 다변수(x가 여러 개) 선형 회귀에 관한 것이다. 예를 들어, 변수가 3개 있으면 다음과 같이 cost 함수를 쓸 수 있지만 변수가 많으면 식을 표현하기 위해 행렬로 표현한다.

앞 포스팅에서 학습의 목적은 Cost함수를 최소화하는 W와 b를 찾는 것이라 했다. 즉, 오늘은 cost 함수를 최소화해야 하는데 어떻게 최소화할지에 내한 내용을 다룬다. 우선 간단한 hypothesis을 생각해보면 cost 함수는 다음과 같이 표현할 수 있다. Hypothesis : H(x) = Wx Cost : 위 cost 함수 그래프를 보면 cost함수의 최소점이란 빨간 점부분이다. ==> cost가 제일 작게 되는(빨간 점) w를 찾는 것이 우리의 목표이다. 이를 위해서 최저점을 찾기 위해 나온 것이 Gradient descent algorithm이다. ● Gradient descent algorithm > 경사를 따라 내려가면서 최저점을 찾는 알고리즘 방법 : W와 b값을 랜덤 값으로 정해 --..

● Linear Regression > 데이터에 잘 맞는 '직선'을 찾는 것이다. 즉, y=ax+b라는 직선이 있을 때 a와 b를 찾는 것이다. ● Hypothesis > 어떤 가설이 더 좋을까? = 어떤 식이 더 좋을까? ==> 이것을 정하기 위해서 cost함수를 쓴다. H(x) = Wx + b (W : Weight, b : bias) ● Cost H(x) - y (예측 값- 실제 값) => '빨간색 선'들의 합이 작을 수록 good! => 이 차이를 cost, lost, error 라고 함. ==> 어떻게 이 cost 값을 최소화할까? ● Cost function > error^2의 평균값 H(x) = Wx + b => Cost함수를 최소화하는 W와 b를 찾는 것 ​ (학습의 목적이기도 함)