DeepFlowest

※ 경사 하강법 : learning rate와 cost 함수의 순간 기울기(gradient)를 이용하여 가중치(weight)를 업데이트하는 방법 [선형 회귀] 의 경사 하강법 ≫≫ cost 함수가 최소가 되는 w와 b를 찾는 알고리즘 [인공신경망] 의 경사 하강법 기존의 경사 하강법은 전체 데이터를 모두 사용해서 에러를 계산하기 때문에, 학습하는 데 시간이 오래 걸린다. ==> 확률적 경사 하강법(Stochastic Gradient Descent) 으로 해결 가능하다. 확률적 경사하강법(Stochastic Gradient Descent) 이란 전체 데이터를 한 번에 업데이트하는 것이 아니라, 일부분의 데이터를 업데이트하고 다음 일부 데이터를 업데이트하는 방법이다. 이 방법의 문제점은 Local minim..