배치

모델 학습 시 데이터를 shuffle해야 하는 이유(배치 학습)

개요 모델을 훈련할 때 흔히들 데이터셋을 shuffle하여 학습시키곤 한다. 데이터셋을 training data: test data로 나눌 때도 shuffle하고 매 에폭마다 training data를 shuffle한다. 이렇게 data를 shuffle하는 이유에 대해 막연하게 알고 있었는데 이번에 데이터를 shuffle해야 하는 이유에 대해 알아보고자 한다. 미니배치와 배치를 혼용하여 쓰는 경우도 있지만 이 글에선 편의를 위해 미니 배치 학습은 전체 data를 나눠서 학습하는 것, 배치학습은 전체를 한번에 학습하는 것을 의미하여 쓴다. data를 shuffle하는 경우는 두가지가 있다. 첫째는 데이터셋을 training data: test data로 나눌 때이고 둘째는 모델 학습시 매 에폭마다 shuf..