경사하강법 (Gradient Descent)

경사하강법의 목적은 머신러닝이나 딥러닝 모델이 만들어내는 '예측값과 실제 정답 간의 차이(오차)'를 가장 작게 만드는 최적의 매개변수(가중치와 편향)를 찾는 것입니다.

 

이를 손실 함수(Loss Function)의 최솟값 탐색'이라고 부릅니다.

목적 달성을 위한 핵심 단계

• 손실 함수(Loss Function) 측정: 모델이 얼마나 정답을 잘 맞추고 있는지(또는 얼마나 틀리고 있는지)를 수치화합니다. 이 값이 0에 가까울수록 모델이 똑똑하다는 것을 의미합니다.
• 매개변수(Parameter) 초기화: 모델 내부에는 입력 데이터를 처리하는 수많은 가중치(w)와 편향(b)이 있습니다. 처음에는 이 값들이 무작위로 설정되어 있어 예측 오차가 매우 큽니다.
• 방향성 탐색 및 업데이트: 오차를 줄이려면 가중치를 어느 방향으로, 얼마나 수정해야 할지 알아야 합니다. 이때 오차에 대한 미분(기울기)을 계산하여, 기울기가 가리키는 반대 방향으로 가중치를 지속해서 업데이트합니다.

---

구체적인 예시: 아파트 가격 예측 모델

아파트의 평수(입력 데이터)를 보고 가격(정답)을 예측하는 인공지능 모델을 만든다고 가정해 보겠습니다.

1. 초기 상태 (오차가 큰 상태): 모델에게 "30평 아파트 가격이 얼마일까?"라고 물었더니 초기 랜덤 가중치에 의해 1억 원이라고 대답합니다. 실제 정답은 5억 원입니다. 오차(손실)가 무려 4억 원이나 발생했습니다.
2. 경사하강법 적용 (오차 줄이기): 모델은 이 4억 원이라는 오차를 줄이기 위해 내부의 가중치를 수정해야 함을 깨닫습니다. 기울기를 계산해 보니 "가중치를 조금 더 키워야 오차가 줄어든다"는 수학적 결론(방향성)을 얻고 값을 조정합니다.
3. 목적 달성 (최적화 완료): 이 과정을 수천, 수만 번 반복하면서 데이터를 학습합니다. 마침내 모델이 "30평 아파트는 4.9억 원입니다"라고 예측하게 되면, 오차가 0.1억 원으로 크게 줄어듭니다. 경사하강법이 주어진 데이터 내에서 최적의 가중치를 찾아낸 것입니다.

 

이해를 돕기 위해 '눈을 가린 채 험준한 산맥에서 가장 깊은 골짜기를 찾아 내려가는 사람'을 상상해 볼 수 있습니다. 현재 딛고 있는 땅의 경사(기울기)를 발끝으로 느낀 뒤, 가장 가파른 내리막 방향으로 한 걸음씩 내딛다 보면 결국 가장 낮은 지점(최솟값)에 도달하게 되는 것과 같은 원리입니다.

---

수학적 원리와 업데이트 공식

경사하강법의 동작 원리는 다음의 수식으로 정의됩니다.

• w: 업데이트하고자 하는 모델의 매개변수(가중치)
• ∇J(w): 현재 매개변수 위치에서의 손실 함수 J(w)의 기울기 (미분값)
• α : 학습률(Learning Rate), 한 번에 이동할 보폭의 크기

 

기울기 ∇J(w) 가 양수라면 그래프가 우상향 중이므로 왼쪽(음수 방향)으로 이동해야 하고, 기울기가 음수라면 우하향 중이므로 오른쪽(양수 방향)으로 이동해야 합니다. 따라서 수식에 마이너스(-) 부호가 붙어 기울기의 반대 방향으로 이동하게 됩니다.

---

핵심 변수: 학습률(Learning Rate)의 중요성

경사하강법에서 가장 중요한 하이퍼파라미터는 한 걸음의 크기를 결정하는 학습률(α)입니다. 학습률 설정에 따라 학습의 성패가 크게 좌우됩니다.

• 학습률이 너무 클 때: 한 번에 이동하는 보폭이 너무 넓어 최솟값을 찾지 못하고 골짜기의 양쪽 벽을 튕기듯 오가며 오차가 오히려 커지는 발산(Overshooting) 현상이 발생할 수 있습니다.

• 학습률이 너무 작을 때: 보폭이 좁아 최솟값에 도달하기까지 너무 많은 반복(Iteration)과 시간이 소요됩니다. 또한, 전체 그래프에서 가장 낮은 '전역 최솟값(Global Minimum)'이 아닌, 지역적으로만 오목한 '지역 최솟값(Local Minimum)'에 빠져 학습이 정체될 위험이 큽니다.