전기를 꽂으면 지능이 나온다. 젠슨 황 엔비디아 CEO가 데이터센터를 이렇게 정의했습니다. 그 지능의 최소 단위가 바로 토큰(Token)입니다. 저는 클로드Pro를 결제하면서 처음 이 단어를 접했는데, 지금은 이 작은 단위 하나가 반도체 산업부터 결제 시스템까지 다 뒤흔들고 있더라고요.AI 토큰이란? 언어를 쪼개는 최소 단위컴퓨터가 우리말을 그대로 이해하지 못하듯이, AI 모델도 문장을 그대로 읽지 못합니다. 그래서 문장을 잘게 쪼갠 뒤 숫자로 바꿔서 입력하는데, 이 쪼개진 조각을 토큰이라고 부릅니다. 단어 하나가 통째로 토큰 하나가 되는 게 아니라 접두사, 어근 단위로 더 잘게 나뉘는 경우가 많습니다. 방대한 자연어를 통째로 학습시키면 연산량이 감당이 안 되기 때문에, 작은 단위로 쪼개서 처리 효율을 ..