728x90
마스크 함수의 역할은 주어진 데이터 또는 모델의 입력에 대한 마스크를 생성하거나 조작하는 것이다. 주로 딥러닝 모델의 어텐션 메커니즘, 시퀀스 처리, 이미지 처리 등 다양한 작업에서 사용된다. 특정 부분에 대한 주의를 집중하거나, 정보를 가리거나 보호하여 모델이 올바른 패턴을 학습하고 불필요한 정보를 무시하도록 도와준다.
마스크 함수는 다음과 같이 다양한 유형의 마스크를 생성할 수 있다.
- 패딩 마스크(Padding Mask): 시퀀스 데이터에서 패딩 토큰을 식별하여 모델이 패딩 토큰을 무시하도록 한다.
- 자기 어텐션 마스크(Self-Attention Mask): 자기 어텐션에서 현재 위치 이후의 정보를 가리는 마스크를 생성하여 모델이 미래의 정보에 의존하지 않도록 한다.
- 영역 마스크(Area Mask): 이미지 처리에서 특정 영역을 가리거나 강조하는 마스크를 생성하여 모델이 특정 객체 또는 영역에 집중하도록 한다.
- 시간적 마스크(Temporal Mask): 시계열 데이터에서 특정 시간 범위를 가리거나 강조하는 마스크를 생성하여 모델이 특정 시점에 집중하도록 한다.
마스크 함수는 데이터의 특성과 모델의 요구에 맞게 다양한 방식으로 구현될 수 있다. 이를 통해 모델이 효과적으로 학습하고 예측할 수 있다.
기계 번역 마스크 함수: https://applepy.tistory.com/148
728x90
'자연어 처리(NLP) 공부' 카테고리의 다른 글
N-gram, 바이그램(Bi-gram) (0) | 2023.08.14 |
---|---|
<PAD> 토큰의 역할? (0) | 2023.08.01 |
GPT(Generative Pre-trained Transformer) (0) | 2023.07.12 |
장기 의존성(long-range dependency)? (0) | 2023.07.11 |
불용어(Stop words)는 항상 제거해야 하는가? (0) | 2023.07.06 |