AI 토큰이란? 글자 수와 요금의 관계

결론부터

토큰(token)은 AI가 글을 처리할 때 쓰는 가장 작은 조각입니다. 한 단어, 단어의 일부, 글자 하나, 때로는 기호 하나가 토큰 하나가 됩니다. AI의 "읽기 한도"(컨텍스트)와 "쓰기 한도", 그리고 API 요금은 글자 수가 아니라 이 토큰 수로 계산합니다. 같은 뜻의 문장이라도 언어에 따라 토큰 수가 다르고, 한국어는 영어보다 더 드는 경향이 있습니다.

토큰은 무엇인가요

사람은 글을 글자나 단어로 읽습니다. AI는 글을 먼저 작은 조각으로 쪼갠 다음, 각 조각에 번호를 붙여 계산합니다. 그 조각이 토큰이고, 글을 조각으로 나누는 프로그램을 (tokenizer)라고 부릅니다.

Anthropic(Claude를 만든 회사)의 용어집은 토큰을 "언어 모델의 가장 작은 단위"로 설명하고, 단어, 단어의 일부, 글자, 심지어 바이트에 해당할 수 있다고 적고 있습니다. 자주 나오는 단어는 통째로 토큰 하나가 되고, 드물거나 처음 보는 단어는 여러 조각으로 쪼개집니다.

그래서 "토큰 1개 = 단어 1개"라고 외우면 틀립니다. 대략적인 감각으로만 쓰세요. 같은 용어집에서 Anthropic은 토큰 하나가 영어 글자 약 3.5개 정도에 해당한다고 설명하지만, 이 값은 모델과 언어마다 다르다고 덧붙입니다.

한국어는 토큰이 더 드나요

대체로 그렇습니다. AI는 영어 글을 특히 많이 학습했고, 토크나이저도 영어에서 자주 나오는 단어를 통째로 하나의 토큰으로 묶어 두는 경우가 많습니다. 한글은 같은 뜻을 표현해도 더 잘게 쪼개지는 경향이 있습니다.

얼마나 더 드는지는 AI 회사와 모델 버전마다 다릅니다. 공개된 연구나 개발자 측정에서는 영어 대비 1.3배에서 몇 배까지 차이가 나는 결과가 보고되어 있고, 최신 토크나이저일수록 차이가 줄어드는 편입니다. 그래서 "한국어는 항상 두 배"처럼 숫자 하나로 말하기는 어렵습니다.

같은 회사 안에서도 달라질 수 있습니다. 새 모델이 나오면서 글을 자르는 방식(토크나이저)이 바뀌면, 똑같은 글이라도 토큰 수가 늘거나 줄어듭니다. 그래서 "이 글은 몇 토큰"이라는 숫자는 모델마다 따로 봐야 합니다.

내 글이 실제로 몇 토큰인지 보고 싶다면 AI 회사가 제공하는 토큰 계산 도구를 쓰는 것이 가장 정확합니다. 어느 모델의 토크나이저를 쓰느냐에 따라 결과가 다르니, 쓰려는 모델과 같은 회사의 도구를 쓰세요.

토큰 나누는 방식
영어
자주 쓰는 단어는 통째로 한 토큰
한국어
더 잘게 쪼개지는 경향
같은 뜻의 문장
영어
토큰이 상대적으로 적음
한국어
토큰이 더 드는 경향
차이 크기
영어
모델과 토크나이저마다 다름
한국어
모델과 토크나이저마다 다름

비교 항목	영어	한국어
토큰 나누는 방식	자주 쓰는 단어는 통째로 한 토큰	더 잘게 쪼개지는 경향
같은 뜻의 문장	토큰이 상대적으로 적음	토큰이 더 드는 경향
차이 크기	모델과 토크나이저마다 다름	모델과 토크나이저마다 다름

대화 길이 제한과 토큰

AI에는 한 번에 볼 수 있는 글의 양이 정해져 있습니다. 이 범위를 (context window)라고 하고, 단위가 토큰입니다. Anthropic 문서는 컨텍스트 윈도우를 AI가 답을 만들 때 참고할 수 있는 모든 글이며, 일종의 "작업 기억"이라고 설명합니다. 여기에는 내가 쓴 글, AI가 쓴 답, 내가 붙여넣은 문서가 모두 들어갑니다.

대화가 길어질수록 이전 질문과 답이 계속 쌓입니다. 문서에는 대화가 진행되면 각 메시지와 답이 컨텍스트 윈도우에 누적된다고 나옵니다. 또 Claude 같은 채팅 화면은 오래된 내용부터 덜어내는 방식으로 관리하기도 합니다. 그래서 아주 긴 대화에서는 앞에서 한 말을 AI가 놓치는 일이 생깁니다.

윈도우 크기는 모델마다 다릅니다. Anthropic 문서 기준(2026년 10월 확인)으로 최신 모델 다수가 100만 토큰, 일부 다른 모델은 20만 토큰입니다. 숫자가 커도 무조건 좋은 것은 아닙니다. 같은 문서는 내용이 길어질수록 정확도와 기억이 떨어질 수 있다고 적고 있습니다.

내가 쓰는 서비스의 사용량 제한(예: 몇 시간당 메시지 수)도 대화 길이와 관련이 있습니다. 긴 대화와 큰 파일은 처리할 토큰이 많아서 한도를 더 빨리 쓰는 경향이 있습니다. 정확한 제한 규칙은 서비스와 요금제마다 다르고 자주 바뀌니 각 서비스의 도움말에서 확인하세요.

요금은 토큰으로 매깁니다

월 구독(ChatGPT Plus, Claude Pro 등)은 토큰을 직접 세지 않고 사용량 한도 안에서 쓰는 방식입니다. 반면 개발자가 앱에 AI를 붙여 쓰는 API는 토큰 수에 따라 돈을 냅니다. 보통 AI에게 보낸 글(입력)과 AI가 쓴 답(출력)의 단가가 다르고, 출력이 더 비쌉니다.

AI가 답하기 전에 "생각"하는 과정이 있는 모델은 이 생각도 토큰으로 셉니다. Anthropic 문서에 따르면 생각에 쓴 토큰도 출력 토큰으로 청구됩니다. 눈에 보이는 답이 짧아도 비용이 예상보다 나올 수 있다는 뜻입니다.

그래서 같은 일을 한국어로 맡길 때와 영어로 맡길 때 비용이 다를 수 있고, 긴 대화를 이어 갈수록 매번 지난 대화를 다시 보내야 해서 비용이 늘어납니다. 대략의 비용은 이 사이트의 API 비용 계산기로 미리 어림해 볼 수 있습니다.

토큰을 아끼는 방법

대화가 길어져서 AI가 앞의 내용을 놓치기 시작하면 새 대화를 시작합니다. 필요한 내용만 요약해서 첫 메시지에 붙입니다.
질문과 상관없는 긴 문서나 사진은 첨부하지 않습니다. 필요한 부분만 붙여넣습니다.
"자세히"보다 원하는 형식을 지정합니다. 예를 들어 "5줄 이내로"라고 하면 출력 토큰이 줄어듭니다.
같은 내용을 여러 번 다시 쓰라고 시키기보다 처음 지시를 구체적으로 씁니다.
단순한 일에는 작고 빠른 모델을 씁니다. 모델 선택 화면에 있는 경량 모델이 대개 더 저렴합니다.

긴 대화를 새 대화로 옮기는 문장

지금까지 대화에서 정해진 것만 10줄 이내로 요약해줘. 새 대화에 붙여넣어서 이어갈 거야. 결정된 사항, 아직 정하지 못한 사항, 내가 싫다고 한 것을 나눠서 정리해줘.

받은 요약을 새 대화의 첫 메시지로 붙여넣으면 앞 내용을 모두 다시 보내지 않아도 됩니다.

같이 알아두면 좋은 말

토크나이저: 글을 토큰으로 나누는 프로그램. AI 회사와 모델마다 방식이 달라서 같은 글도 토큰 수가 다를 수 있습니다.
컨텍스트 윈도우: AI가 한 번에 참고할 수 있는 글의 양. 토큰으로 셉니다.
입력 토큰 / 출력 토큰: AI에게 보낸 글과 AI가 쓴 답. API에서는 단가가 서로 다릅니다.

자주 묻는 질문

한글 한 글자는 토큰 몇 개인가요?

정해진 값은 없습니다. 자주 쓰는 글자나 단어는 토큰 하나, 드문 글자는 여러 개로 나뉠 수 있습니다. 정확히 알려면 AI 회사의 토큰 계산 도구에 글을 넣어 보세요.

토큰 수가 많으면 답이 더 좋아지나요?

그렇지 않습니다. 필요 없는 내용이 많이 섞이면 오히려 핵심을 놓칠 수 있습니다. Anthropic 문서도 컨텍스트가 길어질수록 정확도와 기억이 떨어질 수 있다고 설명합니다.

월 구독을 쓰면 토큰은 신경 안 써도 되나요?

요금은 신경 쓰지 않아도 되지만 사용량 한도는 영향을 받습니다. 긴 대화와 큰 파일은 한도를 더 빨리 씁니다. 한도가 금방 찬다면 새 대화로 나누는 것이 좋습니다.

영어로 질문하면 한국어보다 싼가요?

API처럼 토큰 단위로 계산하는 곳에서는 같은 내용이 영어로 더 적은 토큰이 되는 경우가 많습니다. 다만 차이는 모델마다 다르고, 번역 과정에서 뜻이 달라질 수 있으니 비용 때문에 억지로 영어로 쓸 필요는 없습니다.