🏔️ 경사하강법

경사하강법과 손실함수

예측이 틀린 만큼을 «손실»이라는 숫자로 재고, 그 숫자가 작아지는 쪽으로 한 걸음씩 내려가요.

—

—

직선 y = w·x 가 자료 점에서 벗어난 만큼을 오차 막대로, 그 오차를 제곱한 넓이를 정사각형으로 보여줘요. 정사각형 다섯 개를 합친 게 손실 L(w)예요.

가중치 w
자료 점 예측 직선 y = w·x 손실 곡선 L(w)

—

—

「한 걸음」을 누르면 w ← w − α·L'(w) 로 바뀌어요. 기울기(접선)의 반대 방향으로 공이 곡선을 굴러 내려가요.

시작점 w
손실 곡선 L(w) 지금 위치 접선(기울기)

—

—

학습률 α는 «한 걸음의 크기»예요. 너무 작으면 느리게 내려가고, 알맞으면 잘 수렴하고, 너무 크면 튕겨 나가 버려요.

학습률 α
손실 곡선 L(w) 지금 위치 무대 밖(발산)