[Machine Learning] 머신러닝 workflow, 데이터셋 분리

ahnty0122.tistory.com/58

[Deep Learning] 딥러닝/머신러닝/인공지능의 차이, 인공신경망 개념

Machine Learning Workflow

위의 글에서 인공신경망을 학습하는 과정에 대해 적어놨는데, 이 인공신경망을 학습하는 방법에 대해 알아보자.

미리 정해진, 답이 있는 트레이닝 데이터로 머신러닝 알고리즘을 학습해 모델을 얻는 training(학습)과정을 거쳐 올바르게 학습이 되는지 임의의 입력데이터를 통해 결과를 확인하는 test 과정을 거친다.

 

Data Split

여기서 결과가 좋은지 나쁜지 판단 후 다시 학습할지 결정하는데, 이 과정을 위해 데이터는 세 가지로 분류된다.

dataset split

1. Train data: 매개변수(weight, bias)학습에 사용되는 data

2. Test data: 모델 성능을 측정하기 위한 data

3. Validation data: 검증용 data, training error와 validation error를 이용해 어느 시점에 학습을 멈출지 결정한다.

---

Loss funtion

Training (매개변수 학습 과정)에는 loss function을 이용한다.

Loss function(= cost function)

  loss function

위의 수식에서 w: weight, x: input, b: bias, y: 실제 정답값 이다.

이 loss를 줄이기 위해 가중치에 대한 loss의 기울기인 Gradient를 사용한다. 여기서 gradient는 loss의 기울기이므로 미분값과 같다고 보면 된다.

 

(((이 때 loss function의 값을 가능한 한 낮추는 매개변수 weight, bias를 찾는 것이 training의 목적이다.)))

 

Gradient Descent

Gradient Descent

Loss의 미분값인 Gradient를 잘 이용해 오차 함수의 최솟값을 찾는 것이 gradient descent, 경사하강법이다.

이렇게 함수의 값을 점점 줄여서 최적의 매개변수 찾는 것이 학습의 목표인데, 어떻게 이 매개변수를 얻느냐?

 

바로 역전파 알고리즘(Backpropagation)이다.

Backpropagation

역전파 알고리즘은 결과값의 오차를 역으로 input에 보내며 가중치를 업데이트 하는 과정으로, 가중치가 업데이트 되면서 오차가 줄어든다. 이 때 점차적으로 오차를 줄이는 과정에 경사하강법(gradient descent)가 사용된다.

weight update

가중치 업데이트 식은 위와 같은데, 오차를 가중치로 미분한 값을 빼준다. 여기서 학습률은 경사하강 시 얼만큼의 보폭으로 내려가는지를 결정한다. 가중치에 대한 오차를 편미분한 값을 가중치에서 빼서 업데이트를 진행한다.

 

추후 학습에서 초기 가중치와 편향, 학습률을 정하는 것은 매우 중요하고, 이 값들을 변화시키며 모델 튜닝에 사용되기도 한다.