한눈에 들어오는 요약
앤트로픽(Anthropic)이 최근 공개한 새 토크나이저 때문에 같은 입력 텍스트라도 더 많은 토큰을 발생시키는 경우가 생겼습니다. 토큰은 LLM(대형 언어 모델) 과금의 기본 단위라서, 토큰 수가 늘어나면 비용 부담으로 직결될 수 있어요. 단순 토큰 수만으로 비용을 판단하기엔 부족하지만, 무시할 수도 없는 요소입니다.
토크나이저가 뭐길래 비용에 영향을 주나요?
토크나이저는 텍스트를 모델이 처리할 수 있는 정수(토큰)로 나누는 역할을 합니다. 토큰의 정의는 고정돼 있지 않지만 보통 3~4글자 수준의 조각으로 나뉘는 경우가 많습니다.
이 토큰을 얼마나 많이 소비하느냐에 따라 AI 모델 사용 요금이 책정되는 경우가 흔해서, 같은 작업이라도 모델별 토크나이저 차이로 비용이 달라질 수 있습니다.
앤트로픽의 변경 사항과 회사 설명
앤트로픽은 소넷(Sonnet) 5 출시와 함께 토크나이저를 업데이트했다고 밝혔습니다. 회사 쪽 설명에 따르면 토크나이저 업데이트는 모델의 성능을 개선하기 위한 조치지만, 그 대가로 동일한 입력이 예전보다 더 많은 토큰으로 매핑될 수 있다고 합니다. 대략적으로 콘텐츠 유형에 따라 1.0배에서 1.35배까지 늘어날 수 있다는 언급이 있었습니다.
한편, 새 모델인 소넷 5 및 일부 오퍼스(Opus) 버전은 도입기 동안 할인 요율을 적용해 토큰 증가로 인한 비용 충격을 완화하려 했습니다. 다만 할인 기간이 끝나면 요율이 인상될 예정입니다.
실제 비교: 얼마나 더 많은 토큰을 쓰나?
플레이코드(Playcode)의 분석에 따르면, 같은 TypeScript 파일(2,888자)을 처리할 때:
- 클로드(Claude)의 새 토크나이저는 GPT-5.x 계열보다 최대 1.73배(=73% 더) 많은 토큰을 생성했습니다.
- 클로드의 새 토크나이저는 자체 구형 토크나이저보다 약 1.32배 더 많은 토큰을 생성했습니다.
언어별 차이도 관찰됐습니다:
- Rust: 약 1.58배
- JavaScript: 약 1.52배
- Python: 약 1.50배
즉, 코드나 텍스트 종류에 따라 토큰 증감폭이 달라집니다.
가격에 미치는 영향
앤트로픽은 소넷 5 도입 시점에 입력 토큰 $2/백만, 출력 토큰 $10/백만의 도입가를 제시해 초기 토큰 증가분을 어느 정도 상쇄했습니다. 하지만 도입 기간 이후에는 입력 $3/백만, 출력 $15/백만으로 인상될 예정입니다.
플레이코드는 OpenAI의 GPT-5.x 기준과 비교해 앤트로픽 오퍼스 4.8의 비용을 환산하면 실제로는 더 높은 실질 요금이 될 수 있다고 지적했습니다. 예를 들어 공개된 요율($5/M 입력·$25/M 출력)을 GPT-5.x와 동등하게 맞추려면 각각 $7.50/M, $37.50/M 수준이 되어야 한다는 계산이 나옵니다.
또한 한 마케팅 플랫폼 사례에서는 GPT-5.6이 성능 면에서 더 빠르고 비용 효율적이었다는 보고가 나왔습니다. 해당 사례에 따르면 GPT-5.6은 페이지 처리 속도가 2.2배 빠르고, 비용은 약 27% 더 저렴했으며 출력 토큰은 절반 수준을 사용했다고 합니다.
비용 계산은 토큰만으로 끝나지 않습니다
토큰 수는 중요한 지표지만, 전체 비용을 판단할 때 고려해야 할 다른 요인들도 많습니다. 예를 들면:
- 모델의 태스크 완성률 및 품질
- 응답 속도(처리 시간)
- 모델을 감싼 도구(예: 코드 전용 래퍼나 특화된 하니스)의 효율성
- 출력 토큰 대비 실제 유용성(불필요한 장황한 출력은 오히려 비용 증가)
이들 요소가 결합되어 실제 운용 비용과 사용자 경험을 결정합니다. 따라서 단순히 토큰 소비량만 보고 모델을 선택하면 오히려 비용 대비 효율이 떨어질 수 있습니다.
마무리 정리
- 같은 입력이라도 토크나이저 변화로 토큰 수가 크게 달라질 수 있습니다.
- 앤트로픽의 최신 토크나이저는 일부 경우에 토큰을 상당히 더 많이 발생시키며, 이는 요금 부담으로 이어질 가능성이 있습니다.
- 하지만 토큰 수 외에도 성능, 완성도, 출력의 질 등을 함께 고려해야 진짜 비용 효율을 판단할 수 있습니다.
토크나이저 차이는 눈에 잘 띄지 않는 부분이지만, 클라우드 AI 비용 구조를 살펴볼 때 놓치면 안 될 요소입니다.