장기 의존성(long-range dependency)?

장기 의존성(long-range dependency)은 문장이나 시퀀스 내에서 먼 위치에 있는 단어나 구문 간의 의존 관계를 나타낸다.

이는 문장의 구조나 의미를 이해하는 데 매우 중요하다.

예를 들어, "The cat that I saw yesterday in the park is very cute." 이 문장에서 "cat"과 "cute" 사이에는 "that I saw yesterday in the park is very"라는 구문이 있다. 이 구문은 "cat"의 속성을 설명하고 있는데, 이를 이해하기 위해서는 문장의 장기 의존성을 파악해야 한다.

장기 의존성은 문장 내에서 단어들 간의 관계가 멀리 떨어져 있어 이를 파악하기가 어려운 경우를 가리킨다. 전통적인 순차적인 모델들은 장기 의존성을 처리하는 데 어려움을 겪을 수 있으며, 특히 문장이 길어지면 더욱 어려워진다.

트랜스포머 모델은 Scaled Dot-Product Attention을 통해 장기 의존성을 처리할 수 있다. Scaled Dot-Product Attention은 입력 시퀀스 내의 모든 단어들 간에 직접적인 연결을 만들어 주며, 단어 간의 관계를 고려하여 문장 전체의 의미를 파악할 수 있다.