Caveman 스킬로 클로드 토큰 줄이는 법, 실제 절약폭

광고 65%, 측정 8.5%

GitHub 저장소 설명에는 "cuts 65% of tokens"라고 적혀 있습니다. 별은 2026-11-05 기준 약 11만 7천 개, 라이선스는 Apache-2.0입니다. 4월에 농담처럼 시작한 프로젝트라고 README가 스스로 적고 있습니다.

그런데 JetBrains가 7월에 이 스킬을 켜고 끄며 돌려 보니 줄어든 건 65%가 아니라 8.5%였고, 그것도 입력이 아니라 출력 토큰이었습니다. 한편 README 맨 위에는 "33.2%"가 크게 나옵니다. 이 셋은 거짓말 대 진실이 아닙니다. 쟀던 대상이 서로 다릅니다.

아래 표에서 챙길 건 두 가지입니다. 65%가 나온 조건은 확인되지 않아서 내 작업에 가져올 근거가 없습니다. 그리고 "토큰"이라고만 적힌 숫자는 입력인지 출력인지부터 물어야 합니다.

• 65%

  무엇을 쟀나

  확인 못 했습니다

  조건

  저장소 설명 한 줄. 현재 README 본문에서는 이 숫자를 찾지 못했습니다

  출처

  GitHub 저장소 설명

• 33.2%

  무엇을 쟀나

  입력 토큰(클로드 코드 한 세션 전체)

  조건

  54회 실행, 정답 18개 중 18개. 885,793 → 591,673 토큰. 6종 파일을 각 3번. 8월 구버전 엔진, 61~72KB짜리 노이즈 파일

  출처

  README (Read less 항목)

• 82.4%

  무엇을 쟀나

  테스트 파일 6종을 압축기에 넣었을 때 줄어든 양

  조건

  130,611 → 22,994 토큰. 세션이 아니라 파일만 잰 값

  출처

  README

• 38%(계산값)

  무엇을 쟀나

  출력 토큰. 스킬이 아니라 "Answer concisely."만 붙였을 때

  조건

  개발 질문 10개, claude-opus-5-5. 아무 지시 없음 6,983 → 간결하게 4,334 토큰

  출처

  README 표를 옮겨 계산

• 8.5%

  무엇을 쟀나

  출력 토큰(스킬 강제 켬 대 끔)

  조건

  82쌍, 약 592k → 542k. 클로드 코드 2.1.200, claude-sonnet-5 low, SkillsBench 86/87과제, 약 240회, 약 106달러. 2026년 7월 시점 버전

  출처

  JetBrains 블로그

• 1.4~2.4배

  무엇을 쟀나

  실비용 절감(출력을 줄였을 때)

  조건

  대부분의 API 모델 기준. 모델 8개, 데이터셋 5개

  출처

  arXiv 2606.24083

33.2%는 말투 얘기가 아닙니다

내용을 보면 더 헷갈립니다. README의 33.2%는 "Read less"라는 별도 기능의 숫자입니다. 원시인 말투는 에이전트가 말하는 양을 줄이고, Read less는 에이전트가 읽는 양을 줄입니다. 로그, CSV, YAML 같은 큰 파일을 압축해서 읽게 하는 쪽입니다. 그래서 같은 표에서 파일만 따로 보면 82.4%인데, 세션 전체로 보면 33.2%로 내려갑니다. 세션에는 시스템 프롬프트와 도구 설명이 같이 들어가기 때문이라고 README가 설명합니다.

이 표의 약점도 README가 직접 적어 두었습니다. 세션 실험은 8월의 구버전 엔진으로 돌렸고, HTML은 압축기가 없어서 오히려 9.9% 나빠졌습니다(140,687 → 154,641 토큰). 테스트 파일은 기록 하나를 61~72KB의 잡음 속에 숨긴 것이라서 실제 프로젝트에서는 결과가 다를 수 있다고 합니다.

JetBrains 240회, 과제 하나가 뒤집었다

JetBrains 블로그는 "원시인 말투가 토큰을 아낀다"는 주장을 코딩 작업에서 따져 본 글입니다. 7월 시점 버전의 스킬이고, 지금 README는 4.0 계열이라 그 사이에 Read less 같은 기능이 붙었습니다. 그래서 아래 결과는 말투 기능에 대한 평가로 읽어야 합니다. 지금 버전 전체의 성적표가 아닙니다.

• 출력 토큰: 82쌍 비교에서 8.5% 감소(약 592k → 542k). 스킬을 매번 강제로 켠 값이라, JetBrains는 평소 사용에서는 이보다 같거나 낮다고 봅니다. 첫 10개 과제에서 보였던 29.5% 감소는 재현되지 않았습니다.
• 비용: 출력이 줄었으니 비용도 약 10% 줄 것으로 기대했지만, 총액은 스킬을 켠 쪽이 40.60달러, 끈 쪽이 36.39달러로 오히려 11.6% 비쌌습니다. 의존성 점검 과제 하나가 8.29달러 대 0.33달러로 갈렸기 때문입니다.
• 품질: 켠 쪽이 더 나은 과제 8개, 더 나쁜 과제 10개, 같은 과제 64개(p=0.82). 차이가 있다고 말할 수 없는 수준입니다.
• 왜 안 줄었나: JetBrains는 65%라는 숫자가 대화형 질의응답 이야기이고, 코딩 작업에서는 토큰 대부분이 코드와 도구 호출이라 말투를 줄여도 크게 안 줄어든다고 설명했습니다.
• 결론 원문: "Safe, honest about style, oversold on savings." 해가 없고 스타일은 솔직하지만 절약 효과는 부풀려졌다는 뜻입니다.

답변은 줄여도 질문은 줄이지 마라

README가 Adobe Research 논문으로 소개한 CAVEWOMAN(arXiv 2606.24083)은 원시인식 압축을 두 방향으로 나눠 잽니다. 논문 페이지에는 저자 소속이 표시되지 않아서, 소속은 README를 따랐습니다.

모델의 답변을 줄이면 대부분의 API 모델에서 실제 비용이 1.4~2.4배 줄었습니다. 반대로 사용자가 입력하는 프롬프트를 줄이면 평균 약 1.15배 더 비싸졌습니다. 가장 나쁜 데이터셋에서 1.8배, 압축을 세게 하면 2.7배였습니다. 모델이 부족한 정보를 메우느라 답을 더 길게 쓰고, 정확도도 떨어졌습니다. 추론 기능이 없는 모델은 정답의 약 절반이 원래 답과 뜻이 달라졌다고 합니다.

Caveman 스킬도 같은 선을 긋습니다. README는 사용자의 프롬프트는 건드리지 않는다고 적고, 코드·명령어·경로·오류 메시지는 글자 그대로 둔다고 적었습니다.

다음 오류가 왜 나는지 원인 후보를 3개로 줄여서 알려줘. 내가 이미 확인한 것은 Node 버전이 22이고 패키지는 새로 설치했다는 것이다. 오류 전문은 아래에 붙인다.
(오류 전문)

깔기 전에 알아둘 여섯 가지

아래는 모두 README가 직접 인정한 내용입니다. 표 밖에 두 가지가 더 있습니다. 클로드 웹과 모바일 앱, Cowork에는 수동으로 설정해야 하고 끝까지 테스트한 것은 아니라고 README가 적었습니다. 그리고 클로드 코드 구독에서 사용량 한도를 얼마나 아끼는지는 측정값을 확인하지 못했습니다.

설치, 확인, 끄기

아래 명령은 README 기준입니다. 클로드 코드가 이미 깔려 있다는 전제입니다. 전체 설치기는 Node.js 22.13 이상이 필요하다고 README에 적혀 있습니다.

claude plugin marketplace add JuliusBrussee/caveman && claude plugin install caveman@caveman

/plugin marketplace add JuliusBrussee/caveman
/plugin install caveman@caveman

npx skills add JuliusBrussee/caveman -g

npx @caveman-ai/cli@latest

/caveman status
/ultracave
/megacave
/caveman off

# 삭제 (터미널)
npx -y github:JuliusBrussee/caveman -- --uninstall

스킬 없이 되는 절약

이 부분이 이 글에서 가장 쓸모 있는 숫자일 수 있습니다. README의 출력 토큰 표(개발 질문 10개, claude-opus-5-5, 3.1.0 규칙, 이후 다시 돌리지 않았다고 표기)를 보면 아무 지시가 없을 때 6,983토큰이었고, 프롬프트에 "Answer concisely."만 붙이면 4,334토큰이었습니다. /caveman 은 4,119토큰, /ultracave 는 2,693토큰입니다.

README도 "간결하게 답하라"가 진짜 기준선이고 새 모델은 이미 그걸 안다고 인정합니다. 그 위에서 /caveman 은 중앙값 기준 3% 더 줄이고 /ultracave 는 35% 더 줄입니다. 일반 말투 요청 한 줄로 얻는 절약이 대부분이라는 뜻입니다.

답은 결론부터 3문장 안으로 써줘. 코드, 명령어, 파일 경로, 오류 메시지는 한 글자도 바꾸지 말고 그대로 써줘. 내 질문을 다시 요약하지 마.

src/lib/price.ts 의 calcTotal 함수만 읽고, 소수점 처리 버그가 있는지 봐줘. 다른 파일은 열지 마.

지금까지 한 일을 새 대화에 붙여 넣을 수 있게 400자로 요약해줘. 결정한 것, 남은 일, 파일 이름만.

누구한테 맞고, 누구한테는 안 맞나

맞는 쪽은 클로드 코드로 질문과 설명이 많은 사람입니다. 코드 구조를 묻고, 개념을 설명받고, 짧은 답으로 충분한 대화가 길게 이어지는 경우입니다. 말투가 어떻게 느껴지는지는 취향이라 평가하지 않겠습니다. 켜 보고 끌 수 있다는 점이 장점입니다. JetBrains도 품질 차이가 없다고 봤습니다.

맞지 않는 쪽은 비용 절감이 목적인 사람입니다. 코드를 짜고 도구를 많이 부르는 작업은 토큰의 대부분이 말투 밖에 있고, 요청 단위로 돈을 내는 서비스에서는 절감이 아예 없습니다. 읽는 양을 줄이는 Read less는 별도 기능이라서, 쓰고 싶으면 그 기능이 내 파일 종류(HTML이 아닌지)에 맞는지부터 확인하는 편이 낫습니다.

같이 알아두면 좋은 말

입력 토큰

AI가 읽는 양. 내 질문, 붙여 넣은 파일, 시스템 프롬프트, 이전 대화가 모두 들어갑니다.

출력 토큰

AI가 쓰는 양. 답변과 코드가 해당합니다. 같은 토큰 수라도 단가는 입력과 출력이 다릅니다.

스킬

"이런 일은 이렇게 하라"는 지침을 폴더 하나에 묶어 두고, 클로드가 필요할 때 꺼내 쓰게 하는 기능입니다.

Read less

Caveman v4의 기능 중 하나. 에이전트가 읽는 큰 파일을 압축해서 읽게 합니다. 말투 기능과는 별개입니다.

자주 묻는 질문

관련 페이지

• 클로드 한도 걸렸을 때 계속 쓰는 순서
• 토큰이 뭔가요
• 클로드 스킬 TOP 10