DeepFlowest

※ 경사 하강법 : learning rate와 cost 함수의 순간 기울기(gradient)를 이용하여 가중치(weight)를 업데이트하는 방법 [선형 회귀] 의 경사 하강법 ≫≫ cost 함수가 최소가 되는 w와 b를 찾는 알고리즘 [인공신경망] 의 경사 하강법 기존의 경사 하강법은 전체 데이터를 모두 사용해서 에러를 계산하기 때문에, 학습하는 데 시간이 오래 걸린다. ==> 확률적 경사 하강법(Stochastic Gradient Descent) 으로 해결 가능하다. 확률적 경사하강법(Stochastic Gradient Descent) 이란 전체 데이터를 한 번에 업데이트하는 것이 아니라, 일부분의 데이터를 업데이트하고 다음 일부 데이터를 업데이트하는 방법이다. 이 방법의 문제점은 Local minim..

앞 포스팅에서 학습의 목적은 Cost함수를 최소화하는 W와 b를 찾는 것이라 했다. 즉, 오늘은 cost 함수를 최소화해야 하는데 어떻게 최소화할지에 내한 내용을 다룬다. 우선 간단한 hypothesis을 생각해보면 cost 함수는 다음과 같이 표현할 수 있다. Hypothesis : H(x) = Wx Cost : 위 cost 함수 그래프를 보면 cost함수의 최소점이란 빨간 점부분이다. ==> cost가 제일 작게 되는(빨간 점) w를 찾는 것이 우리의 목표이다. 이를 위해서 최저점을 찾기 위해 나온 것이 Gradient descent algorithm이다. ● Gradient descent algorithm > 경사를 따라 내려가면서 최저점을 찾는 알고리즘 방법 : W와 b값을 랜덤 값으로 정해 --..