[NLP 스터디] Scaled Dot-Product Attention

Scaled Dot-Product Attention

Scaled Dot-Product Attention은 트랜스포머(Transformer) 모델의 핵심 구성 요소 중 하나로, 입력 시퀀스 내의 단어들 사이의 상대적 중요성을 계산하는 메커니즘이다. Scaled Dot-Product Attention은 어텐션 메커니즘(Attention Mechanism) 중 하나로 사용되며, 트랜스포머 모델의 인코더와 디코더에서 주로 적용된다.

import torch
import torch.nn.functional as F

def scaled_dot_product_attention(query, key, value):
    # 내적 계산
    scores = torch.matmul(query, key.transpose(-2, -1))
    
    # 스케일링
    scale = torch.sqrt(torch.tensor(query.size(-1), dtype=torch.float32))
    scores /= scale
    
    # 소프트맥스 계산
    attention_weights = F.softmax(scores, dim=-1)
    
    # 가중합 계산
    weighted_sum = torch.matmul(attention_weights, value)
    
    return weighted_sum, attention_weights

쿼리(query), 키(key), 값(value)의 세 가지 요소를 기반으로 어텐션 가중치를 계산하며, 주어진 쿼리와 모든 키 사이의 내적(dot product)을 계산하고, 이를 키의 차원 수에 루트를 적용하여 스케일링한다. 스케일링은 내적 결과의 값 범위를 제어하여 softmax 함수를 더 안정적으로 사용할 수 있도록 돕는다.  

그런 다음 스케일링된 내적 값을 소프트맥스 함수를 사용하여 정규화하고 어텐션 가중치를 얻는다. 어텐션 가중치는 쿼리와 각 키 사이의 관련성을 나타낸다. 마지막으로 어텐션 가중치를 값에 적용하여 어텐션 값(attention value)을 계산한다. 어텐션 값은 주어진 쿼리에 대한 키와 값의 조합으로 이루어진 최종 결과이다.

Scaled Dot-Product Attention은 효율적으로 병렬화하여 입력 시퀀스의 다양한 위치에 대한 정보를 잘 파악하고, 문맥을 이해하여 보다 정확한 결과를 얻을 수 있다. 트랜스포머(Transformer) 모델의 각 인코더와 디코더 레이어에서 셀프 어텐션(self-attention) 메커니즘을 구현하는 데 사용된다.

 

Scaled Dot-Product Attention이 왜  필요할까?

1. 문맥 정보를 활용: Scaled Dot-Product Attention은 입력 시퀀스 내의 단어들 사이의 상대적 중요성을 계산합니다. 이를 통해 단어 간의 문맥 정보를 파악하고, 입력의 전체적인 의미를 반영할 수 있습니다. 문맥 정보는 자연어 처리 작업에 있어서 매우 중요하며, Scaled Dot-Product Attention을 통해 단어의 문맥을 잘 이해할 수 있다.

2. 장거리 의존성 처리: 전통적인 순차적인 모델들은 장거리 의존성(long-range dependency)을 잘 처리하지 못하는 경우가 있습니다. 그러나 Scaled Dot-Product Attention은 입력 시퀀스의 모든 단어들 사이에 직접적인 연결을 만들어 줌으로써 장거리 의존성을 잘 파악할 수 있습니다. 이는 트랜스포머 모델이 문장 전체의 의미를 파악하고 장기적인 의존성을 처리하는 데 도움을 준다.

3. 병렬 처리 가능: Scaled Dot-Product Attention은 행렬 연산을 기반으로 하기 때문에 병렬 처리에 용이하다. 이는 트랜스포머 모델의 학습과 추론 속도를 향상시키는 데 도움이 된다. 병렬 처리는 모델의 효율성과 확장성을 향상시키는 중요한 요소이다.

4. 스케일링 효과: Scaled Dot-Product Attention에서 내적 결과를 스케일링함으로써 어텐션 스코어의 크기를 제어할 수 있다. 이는 어텐션 가중치를 부드럽게 만들어 줌으로써 모델의 안정성과 성능을 향상시킨다.

 

어텐션(Attention)을 구현한다는 것은?

주어진 입력에 대해 관련 정보에 집중하여 중요한 부분에 더 많은 가중치를 부여하는 메커니즘을 설계하고 구현하는 것을 의미한다. 어텐션은 자연어 처리나 컴퓨터 비전과 같은 분야에서 사용되며 입력의 각 요소에 대해 가중치를 계산하여 중요한 정보에 집중하는 기능을 수행한다.

어텐션 메커니즘은 주로 쿼리(query), 키(key), 값(value)의 세 가지 요소로 구성된다. 쿼리는 어텐션을 적용하는 대상이 되는 정보이며, 키는 입력에 대한 특징적인 정보를 나타내고, 값은 해당 키에 대응하는 실제 정보를 나타낸다. 어텐션은 주어진 쿼리와 키 사이의 관련성을 계산하고, 이를 기반으로 가중치를 생성하여 값에 적용하는 방식으로 작동한다.

어텐션을 구현하기 위해 다양한 방법이 있으며, 

대표적인 예로는 Scaled Dot-Product Attention, Multi-Head Attention, Self-Attention 등이 있다. 이러한 어텐션 메커니즘은 트랜스포머(Transformer)과 같은 모델에서 사용된다. 입력 시퀀스의 다양한 위치에 대한 관련 정보를 잘 파악하고, 문맥을 이해하여 모델의 성능을 향상시키는 데 도움을 준다.

 

 

트랜스포머(Transformer)

자연어 처리 작업에서 장기 의존성(Long-term Dependency - 문장이나 문서에서 먼 위치에 있는 단어나 구문 사이의 의존 관계)을 처리하고 문맥을 이해하는 것이 주요 목적이다. 인코더-디코더 구조로 이루어져 있으며, 셀프 어텐션 메커니즘을 사용하는 모델이다.