■ 개요 우리가 스마트폰을 사용할 때 데이터 요금제에 따라 매달 쓸 수 있는 용량이 정해져 있는 것처럼, 인공지능(AI)을 사용할 때도 비용을 계산하는 기본 단위가 존재합니다. 최근 주식 시장에서 인공지능 관련 기업들의 주가를 움직이는 가장 중요한 핵심 열쇠가 바로 이 단위와 직결되어 있습니다. 미래의 성장 동력이 될 인공지능 산업의 가치를 제대로 평가하기 위해서는 이 개념을 반드시 이해해야 합니다.■ 정의 토큰(Token)의사전적 의미는 '징표'나 '화폐 대용품'을 뜻하지만, 인공지능과 컴퓨터 과학 분야에서는 '텍스트(글자)를 나누는 가장 작은 의미의 단위'를 말합니다. 우리가 책을 읽을 때 글자나 단어 단위로 끊어 읽는 것처럼, 인공지능 컴퓨터도 인간의 말을 이해하기 위해 문장을 아주 잘게 쪼개서 받..
