미니배치(mini-batch)란?

미니배치(mini-batch)는 데이터를 일정한 크기로 나누어 한 번에 처리하는 방법을 말한다. 모델에 데이터를 한 번에 전달할 양을 나누는 것이다.

 

예를 들어 1000개의 샘플이 있는 데이터셋이 있으면 배치 크기(batch size)를 64로 설정하는 경우 미니배치는 64개의 샘플로 구성된다. 그럼 전체 데이터셋을 처리하기 위해 약 16개의 미니배치가 필요하다.

 

미니배치를 사용하는 이유는 다음과 같다.

 

1. 계산이 효율적이다. 미니배치를 사용하면 모델이 여러 개의 입력된 데이터를 동시 처리 가능하다.이를 통해 병렬 계산이 가능해져 모델의 학습 및 추론 속도가 향상된다.
2. 메모리가 효율적이다. 전체 데이터셋을 한 번에 메모리에 로드하는 대신 미니배치 단위로 메모리에 로드하여 처리하므로 메모리 사용량을 줄일 수 있다.
3. 학습이 안정적이다. 미니배치는 데이터셋에서 무작위로 선택되기 때문에 모델이 다양한 샘플들을 학습할 수 있다. 이는 모델의 학습을 안정화시키고 일반화 성능을 향상시킬 수 있다.

 

==> 정리: 미니배치는 딥러닝 모델에서 일반적으로 사용되는 중요한 개념이며, 데이터를 효율적으로 처리하고 모델의 학습 및 추론을 최적화하는 데 도움을 준다.