■ 개요 우리가 두꺼운 소설책을 읽을 때 앞부분의 내용을 기억하지 못하면 지금 읽고 있는 문장을 결코 이해할 수 없습니다. 인공지능 역시 마찬가지로 문장 속에서 단어와 단어 사이의 관계를 파악하는 능력이 무엇보다 중요합니다. 오늘은 챗GPT 같은 초거대 AI가 인간처럼 자연스럽게 대화할 수 있도록 만든 일등 공신, 'Self-Attention(셀프 어텐션)'에 대해 아주 쉽게 알아보겠습니다.■ 정의 Self-Attention(자기 주의 집중)이란인공지능이 입력된 문장 안의 단어들을 서로 비교하며 어떤 단어가 서로 밀접하게 연결되어 있는지 스스로 찾아내어 집중하는 기술입니다. 컴퓨터는 문장을 읽을 때 각 단어가 가지는 '맥락적 의미'를 파악하기 어려워하는데, 이 기술을 통해 문장 내부의 모든 단어 조합을 ..
