Self-Attention, 인공지능이 문맥을 이해하는 천재적인 방법 (트랜스포머의 핵심 엔진)

■ 개요

 

우리가 두꺼운 소설책을 읽을 때 앞부분의 내용을 기억하지 못하면 지금 읽고 있는 문장을 결코 이해할 수 없습니다.

 

인공지능 역시 마찬가지로 문장 속에서 단어와 단어 사이의 관계를 파악하는 능력이 무엇보다 중요합니다.

 

오늘은 챗GPT 같은 초거대 AI가 인간처럼 자연스럽게 대화할 수 있도록 만든 일등 공신, 'Self-Attention(셀프 어텐션)'에 대해 아주 쉽게 알아보겠습니다.

---

■ 정의

 

Self-Attention(자기 주의 집중)이란

인공지능이 입력된 문장 안의 단어들을 서로 비교하며 어떤 단어가 서로 밀접하게 연결되어 있는지 스스로 찾아내어 집중하는 기술입니다.

 

컴퓨터는 문장을 읽을 때 각 단어가 가지는 '맥락적 의미'를 파악하기 어려워하는데, 이 기술을 통해 문장 내부의 모든 단어 조합을 검사하며 연관성을 계산합니다.

 

쉽게 비유하자면, 문장 안의 모든 단어가 서로에게 "너 나랑 얼마나 관련 있어?"라고 질문을 던지고 점수를 매기는 과정이라고 보시면 됩니다.

 

수학적으로 이를 계산할 때는 세 가지 핵심 벡터인 Query(쿼리: 기준 단어), Key(키: 비교 대상 단어), Value(밸류: 단어의 의미 값)를 활용합니다.

 

Self-Attention Score = Softmax( (Query × Key) / √d_k ) × Value

 

위 공식은 기준이 되는 단어(Query)와 대상이 되는 단어(Key)의 유사도를 구한 뒤, 그 확률 값을 실제 단어의 의미(Value)에 곱해 최종적인 맥락을 완성한다는 뜻입니다.

---

■ 실전 예시

 

이해를 돕기 위해 인공지능이 다음 문장을 처리하는 실제 과정을 가정해 보겠습니다.

 

"그 은행(Bank)은 강둑(Bank) 옆에 위치해 있어서 경치가 아주 좋다."

 

영어 단어 'Bank'는 은행이라는 뜻도 있지만, 강둑이나 둑이라는 뜻도 함께 가지고 있는 다의어입니다.

 

컴퓨터는 이 단어를 어떻게 구별할까요? Self-Attention은 다음과 같은 순서로 문맥을 분석합니다.

1. 첫 번째 'Bank'라는 단어를 기준으로 잡고 문장 내 다른 모든 단어들과의 연관성 점수(Attention Score)를 매깁니다.
2. 첫 번째 'Bank'는 뒤에 나오는 '위치해 있다', '경치가 좋다'라는 단어와 높은 연관성 점수를 얻으며 금융기관인 '은행'으로 해석됩니다.
3. 두 번째 'Bank'는 바로 앞에 있는 '강(River) 옆에'라는 단어와 아주 높은 연관성 점수(예: 0.95)를 받게 됩니다.
4. 결과적으로 컴퓨터는 두 번째 'Bank'가 금융기관이 아니라 '강둑'을 의미한다는 것을 완벽하게 이해하고 번역이나 답변을 생성합니다.

이처럼 단어 사이의 거리가 아무리 멀리 떨어져 있어도, 문장 전체를 한눈에 조망하며 실시간으로 정확한 의미를 찾아내는 것이 이 기술의 핵심입니다.

---

■ 주의사항

 

Self-Attention 기술은 인공지능의 성능을 폭발적으로 끌어올렸지만 몇 가지 명확한 한계점과 주의할 점도 존재합니다.

 

가장 큰 문제는 계산 복잡도(Computational Complexity)가 매우 높다는 점입니다.

 

문장의 길이가 늘어날수록 모든 단어와 단어를 1:1로 전부 대조해야 하기 때문에, 필요한 연산량이 문장 길이의 제곱(N²) 비례하여 늘어나게 됩니다.

 

예를 들어 100단어짜리 문장을 분석할 때보다 1,000단어짜리 긴 문서를 분석할 때 컴퓨터가 해야 하는 연산은 단순히 10배가 아니라 100배로 폭증하게 됩니다.

 

이 때문에 최신 AI 모델들도 한 번에 입력받을 수 있는 텍스트의 양(콘텍스트 윈도우)에 제한을 둘 수밖에 없으며, 이를 처리하기 위해 엄청난 고성능 그래픽카드(GPU)와 막대한 전력 비용이 소모된다는 단점이 있습니다.

---

■ 핵심 요약

 

● Self-Attention은 문장 안에서 단어와 단어 사이의 연관성을 스스로 계산하여 문맥을 파악하는 천재적인 기술입니다.

 

● Query, Key, Value라는 세 가지 요소를 행렬 연산하여 멀리 떨어진 단어 간의 관계도 정확하게 찾아낼 수 있습니다.

 

● 단어 수가 많아질수록 필요한 연산량이 제곱으로 늘어나기 때문에 엄청난 컴퓨터 자원과 비용이 발생한다는 한계가 있습니다.