hafuture

토큰 절약 스킬 사용설명서: Caveman·Ponytail로 AI 코딩 비용 줄이기

Claude Code·Codex 토큰과 API 비용을 절감하는 오픈소스 스킬 Caveman·Ponytail 사용 가이드. 설치법, 6가지 압축 기능, 7단계 사다리, pstack eval·hillclimb 실측 방법까지 정리했습니다.

Claude CodeCodexAIToken OptimizationCavemanPonytailpstackDeveloper Tools

목차


1. 토큰이 뭐예요?

토큰(token)은 AI가 읽고 쓰는 글자 조각입니다. Claude Code, Codex 같은 AI 코딩 에이전트가 작업을 수행할 때 토큰을 소비하며, 비용 구조는 크게 세 그릇으로 나뉩니다.

  • 내가 보낸 질문 — 프롬프트 입력 토큰
  • AI가 읽은 코드·로그·파일 전체 — 컨텍스트 입력 토큰 (이 부분이 가장 큽니다)
  • AI가 작성한 답변 — 출력 토큰

구독 요금제의 사용 한도를 아끼거나 API 종량제로 결제하고 있다면, 토큰을 줄이는 것이 곧 비용과 응답 시간을 동시에 절약하는 길입니다. 아래 두 스킬은 서로 다른 지점에서 이 그릇의 크기를 줄여 줍니다.


2. 두 스킬 한눈에 보기

Caveman은 AI의 대화의 양(말하기 + 읽기)을 줄이고, Ponytail은 AI가 수행하는 일의 양(코드 작성량) 자체를 줄입니다. 서로 작동 영역이 겹치지 않아 함께 사용할 수 있습니다.

내 작업에 맞는 스킬 조합 고르기
Caveman

말 줄이기(Say less) + 읽기 줄이기(Read less)

“why many token when few do trick”

줄이는 대상
AI 답변 말수 + AI가 읽는 로그·파일·웹페이지 양
핵심 방식
답변 압축 + 입력 출력 압축 + 난이도별 Auto 라우팅 + 스크립트 재사용
공개 수치
세션 전체 입력 토큰 33.2% ↓, Adobe 검증 비용 1.4~2.4배 절감, JetBrains A/B 품질 손실 없음
설치 형태
터미널 CLI 한 줄 또는 스킬/플러그인
Ponytail

이미 있는 걸 재활용하는 7단계 사다리

“아무 말 없이 한 줄을 쓰고, 그게 동작한다”

줄이는 대상
AI가 새로 작성하는 코드의 양과 불필요한 복잡도
핵심 방식
필요 여부 점검부터 표준 라이브러리·기존 컴포넌트 활용까지 7단계 사다리 적용
공개 수치 (v5)
코드 53% ↓, 비용 26% ↓, 토큰 45% ↓, 위험 로직 테스트 커버 98% (미사용 시 68%)
설치 형태
에이전트 플러그인 또는 AGENTS.md / SKILL.md 규칙 파일
Caveman + Ponytail + pstack

대화·코드·검증 3박자 풀스택 최적화

“증명(eval) → 더 깎기(hillclimb) → 규칙 고정(authoring)”

역할 분담
Caveman(읽기·말하기 압축) + Ponytail(코드 최소화) + pstack(블라인드 검증)
시너지
Ponytail의 리뷰·PR 본문이 길다면 Caveman의 말 줄이기가 그마저도 압축
권장 순서
Caveman + Auto 로그인 → Ponytail 추가 → pstack eval/hillclimb로 실측
주의사항
규칙 파일(약 1,160토큰) 오버헤드가 있으므로 내 워크로드에서 A/B 검증 권장

3. Caveman — 말도 읽기도 줄이기

원시인처럼 군더더기 없이 핵심만 말한다는 발상에서 시작된 Caveman은 코드를 한 글자도 바꾸지 않으면서 AI가 적게 말하고(Say less) 적게 읽게(Read less) 만듭니다.

작동 원리: 6개의 돌(Rock)

설치하면 6개 기능이 모두 켜지며, caveman off <rock> 명령으로 원하는 기능만 골라 끌 수 있습니다.

돌(Rock)CLI 이름하는 일측정된 절약 효과
Say less (말 줄이기)outputAI 답변을 짧게 압축합니다. 코드·명령어·경로·에러 메시지는 절대 건드리지 않으며 내 질문도 재작성하지 않습니다."간결히 답해"보다 추가 3% 절약 (ultracave는 35%)
Read less (읽기 줄이기)input로그·JSON·CSV·테스트 출력을 AI가 읽기 전에 압축합니다. 원본 파일은 디스크에 그대로 보존됩니다.세션 입력 토큰 33.2% ↓ (CSV 파일은 98.9% ↓)
Auto (모델 자동 선택)routing질문 난이도를 판별해 쉬운 질문엔 가벼운 모델, 어려운 질문엔 고성능 모델과 추론 강도를 자동 배정합니다.Opus xhigh 대비 비용 0.46배 (임시 측정)
Blocks (반복 스크립트 재사용)scripts에이전트가 매번 새로 짜던 반복 스크립트를 저장해 재사용합니다 (test-summary, json-peek 등 8종 기본 제공).테스트 결과 읽기 397 → 76토큰
Waste fixes (낭비 점검)waste-fixes내 토큰이 어디로 새는지 찾아 고치고, 자리를 비우는 동안 프롬프트 캐시를 보온합니다.공식 수치 미측정
Browse (웹페이지 압축)browse웹페이지 본문을 핵심만 남겨 압축한 뒤 AI에게 전달합니다.200행 표 페이지 15,704 → 121토큰

예시로 보는 "말 줄이기"

  • 일반 AI (63토큰): "당신의 React 컴포넌트가 리렌더링되는 이유는, 아마도 매 렌더 사이클마다 새 객체 참조를 만들기 때문일 가능성이 높습니다. 인라인 객체를 prop으로 전달하면 React의 얕은 비교가 매번 다른 객체로 인식하여 리렌더링을 유발합니다. useMemo로 객체를 메모이제이션할 것을 권장합니다."
  • Caveman (20토큰): "New object ref each render, so React re-renders. Wrap the prop in useMemo."

같은 해결책이지만 토큰은 1/3 수준으로 줄어듭니다. 단, 기본 출력 스타일이 영어 단축형이므로 한국어 세션을 주로 쓰는 환경에서는 절약 폭이 다르게 나타납니다(아래 5.7절 참고).


4. Caveman 설치법

Node.js 22.13 이상 환경이라면 Mac·Linux·Windows 모두 한 줄 명령으로 설치할 수 있습니다. 사용 중인 환경에 맞는 탭을 선택하세요.

bash
npx @caveman-ai/cli@latest
내 PC의 에이전트(Claude Code, Codex, Gemini CLI, OpenCode 등 30여 종)와 로그인을 자동 탐색합니다. 이후 claude만 실행해도 Caveman이 적용됩니다.

5. Caveman 토큰 절약 실전 사용법

5.1 상태 확인과 개별 기능 끄기

먼저 caveman status를 실행하면 현재 어떤 돌(Rock)이 켜져 있고 어느 에이전트에 적용되었는지, 다음 추천 행동까지 한 줄로 보여 줍니다. 특정 기능만 끄고 싶다면 caveman off browse처럼 이름(output, input, waste-fixes, routing, scripts, browse)을 지정합니다.

5.2 가장 효과가 큰 순서: Read less부터

  1. 대용량 로그·테스트·데이터 파일 다룰 때: 세션 입력 토큰이 최대 50% 넘게 줄어든 사례가 있을 만큼 체감 효과가 가장 큽니다.
  2. 명령줄 유틸리티 활용:
    • caveman shrink -- pnpm test: 시끄러운 테스트·빌드 출력을 압축해 에이전트에게 전달합니다.
    • caveman browse <url>: 웹페이지를 핵심만 압축해서 엽니다.
    • caveman learn: 내 토큰 소비 랭킹을 분석한 뒤 caveman learn implement로 최적화 제안을 하나씩 수용합니다.
  3. 기억 파일(CLAUDE.md 등) 압축: /caveman-compress <파일>을 실행하면 원본 백업을 남긴 채 규칙 파일의 토큰 크기를 줄여 줍니다.

5.3 답변 단축 강도 선택

명령강도추천 상황
/caveman보통 (63 → 20토큰 예시)평소 기본값
/ultracave더 세게 (추가 35% 절약)답변이 여전히 길게 느껴질 때
/megacave최대 (한자풍 초고밀도 요약)극한 절약 모드 (농담처럼 보이지만 실제 존재)
/caveman off해제상세하고 평범한 한국어 설명이 필요할 때

5.4 Auto 모델과 Blocks로 비용·반복 낭비 차단

  • Auto 모델 (caveman login): 무료 계정을 만들어 로그인하면 모델 선택창에 Auto가 나타납니다. 요청 난이도에 맞춰 모델과 노력 수준을 자동 선택해 Opus xhigh 대비 비용 0.46배, 시간은 절반 이하로 줄여 줍니다(로그인하지 않으면 Auto가 표시되지 않으며 외부 전송도 없습니다).
  • Blocks (caveman-blocks scan / caveman-blocks init): 어떤 머신에서는 에이전트가 일주일에 394번이나 같은 스크립트를 새로 작성했습니다. caveman-blocks init으로 저장소에 블록 규칙을 심으면 테스트 결과 읽기가 397 → 76토큰으로 줄어듭니다.
  • 기록 확인: caveman stats로 누적 토큰 이력을 확인하고, caveman trial -- claude로 실제 내 작업 세션을 A/B 비교할 수 있습니다.

5.5 한국어 세션에서는 실제로 얼마나 줄어들까?

구성 요소한국어 세션 기대치근거
Read less · Blocks · Browse · /caveman-compress언어 무관 — 그대로 기대 (세션 입력 약 25~55% ↓)압축 대상이 코드·로그·JSON·CSV이므로 대화 언어와 무관합니다(CSV 55.1%, 로그 50.2%, JSON 26.4% 절감 실측).
Auto (모델 자동 선택)언어 무관 — 비용 최대 0.46배질문 난이도 기반 라우팅이므로 한국어 질문에도 동일하게 작동합니다.
Say less (답변 말 줄이기)추정: 출력 약 10~30% ↓ (이미 "간결히 답해" 사용 중이면 0~10%)영어 실측 41% ↓(6,983 → 4,119토큰) 중 상당 부분은 '답 먼저, 인사·요약 제거' 같은 구조 규칙 덕분이지만, 관사 생략·STE 축약(+3~35%)은 영어 전용입니다. 비영어권 포르투갈어 10문항 실험에서는 이미 간결한 CLAUDE.md 기준 출력 8% ↓(중앙값 -5%)에 그쳤습니다(issue #733).

특히 "세션 총액" 기준으로 보면 중요한 관점이 드러납니다. 한 사용자의 662개 Claude Code 세션 분석에서는 출력 토큰이 전체의 **0.3%**에 불과해 말 줄이기의 총 요금 영향이 ±0.2% 이내였고(issue #733), 다른 실측에서도 출력이 44% 줄었지만 총 비용은 +0.06%로 사실상 차이가 없었습니다(issue #727). 반대로 규칙 텍스트 자체가 입력으로 약 1,160토큰을 차지하기 때문에 짧은 질의응답 위주나 요청당 과금 환경에서는 오히려 순손해가 난 사례도 보고됐습니다(issue #145).

따라서 한국어 개발자에게 토큰 절약의 주력은 말 줄이기가 아니라 "읽기 줄이기(Read less · Blocks · Browse)"와 "Auto 모델"입니다. 내 환경에서 직접 재보려면 caveman trial -- claude, 세션 내 /caveman-stats, 그리고 모델 제공사 청구 페이지에서 총액을 비교해 보세요.


6. Ponytail — 코드를 덜 쓰게 만들기

Ponytail의 컨셉은 단순합니다. 회사에서 버전 관리 시스템보다 오래 일한, 꼬리머리에 안경을 쓴 시니어 개발자가 50줄짜리 코드를 보고 아무 말 없이 1줄로 고쳐 놓는 감각을 AI 에이전트 안에 넣은 스킬입니다.

규칙은 "무조건 최소 토큰"이 아니라 "필요한 것만 쓰기"입니다. 입력 검증, 에러 처리, 보안, 접근성은 절대 생략하지 않습니다. 코드가 짧아지는 이유는 필요한 만큼만 구현하기 때문이며, 토큰·비용·시간 절감은 그 자연스러운 결과입니다.

작동 원리: 7단계 사다리 (Ladder)

Ponytail은 코드를 작성하기 전에 수정 대상 코드를 먼저 읽고 실제 흐름을 추적한 뒤, 아래 사다리의 가장 위쪽에서 버틸 수 있는 첫 단계에서 멈춥니다.

  1. 1
    이게 정말 필요한가?

    새 코드를 작성하지 않고 요구사항을 풀 수 있는지, 아예 안 만들어도 되는지 먼저 따집니다.

  2. 2
    이 코드베이스에 이미 있나?

    저장소 내부의 기존 유틸리티, 컴포넌트, 훅, 패턴을 찾아 재활용합니다.

  3. 3
    표준 라이브러리가 하지 않나?

    언어와 런타임이 기본 제공하는 API로 해결할 수 있는지 확인합니다.

  4. 4
    플랫폼 기본 기능이 하지 않나?

    HTML5 기본 요소, 브라우저 Web API, OS/프레임워크 내장 기능을 우선 사용합니다.

  5. 5
    설치된 의존성이 하지 않나?

    package.json 등에 이미 들어 있는 패키지로 해결하고 새 의존성 추가를 피합니다.

  6. 6
    한 줄로 되나?

    과도한 추상화 계층이나 래퍼 없이 가장 단순한 표현으로 끝낼 수 있는지 봅니다.

  7. 7
    그제서야 동작하는 최소 코드 작성

    앞 단계로 해결되지 않을 때만 최소 코드를 쓰고, 분기·비즈니스 로직이 있으면 작은 테스트 1개를 붙입니다.

예를 들어 "날짜 선택기를 추가해줘"라고 요청하면 일반 AI는 캘린더 컴포넌트를 직접 구현하거나 라이브러리를 설치해 335줄을 쓰지만, Ponytail은 저장소에 이미 있는 Input 컴포넌트와 브라우저 내장 날짜 선택기를 조합해 10줄로 끝냅니다.


7. Ponytail 설치법

bash
/plugin marketplace add DietrichGebert/ponytail
/plugin install ponytail@ponytail
설치하면 매 세션에 자동 활성화되며, 강도 조절 및 리뷰 명령어가 추가됩니다.

8. Ponytail 토큰 절약 실전 사용법

8.1 강도 조절: /ponytail

  • /ponytail lite: 가벼운 모드 — 간단한 프로젝트나 아직 낯선 코드 영역을 다룰 때
  • /ponytail full: 기본값 — 평소 일상 개발
  • /ponytail ultra: 최대 강도 — "코드베이스가 나를 개인적으로 배신한 것 같을 때" 쓰는 대규모 정리 모드
  • /ponytail off: 임시 해제

8.2 리뷰·전체 점검·기술 부채 추적

  • 주변 코드까지 보는 /ponytail-review: Git diff만 훑지 않고 내 변경이 건드리는 주변 코드까지 읽어 버그, 보안, 실제 부하, 테스트 없는 위험 로직, 느린 경로, 제거할 코드를 검사합니다. 벤치마크 기준 심어둔 문제 100% 발견(스킬 미사용 시 87%), diff 밖 문제 100% 발견(미사용 시 78%)을 기록했습니다. uncommitted, staged, branch, PR 링크로 대상을 지정할 수 있습니다.
  • 저장소 전체 진단 /ponytail-audit: 프로젝트 전체를 같은 기준으로 감사하고 "무엇부터 고칠지" 우선순위를 매깁니다.
  • 미룬 일 장부 /ponytail-debt: Ponytail이 의도적으로 건너뛴 지점에 남긴 shortcut: 주석을 모아 목록화해 "나중에"가 "영원히"로 변하는 일을 막습니다.

8.3 절약 효과 실시간 확인 (Claude Code)

  • 밴드 (/ponytail band): 입력창 위에 현재 작업 비용·토큰·시간, 기존 코드 재활용률, 테스트 통과 여부를 실시간으로 띄우고 버튼으로 리뷰·점검을 바로 실행합니다(Claude Code 2.1.290 이상 지원, VS Code 채팅 패널 및 클라우드 세션 미표시).
  • 보드 (board): 로컬 페이지에서 프로젝트별 누적 비용·토큰·시간 추이를 확인합니다. 모든 기록은 내 PC(~/.config/ponytail/band/)에만 저장되며, 과거 세션은 /ponytail band import로 불러올 수 있습니다.
  • 성적표 (/ponytail-gain): 벤치마크 기준 절약 성적표를 출력합니다.

9. 둘 중 뭘 쓸까? 함께 쓸까?

비교 항목CavemanPonytail
줄이는 대상AI의 대화 — 답변 말수, 읽는 로그·파일 양AI가 만들어 내는 코드의 양
작동 방식답변 규칙 + 출력 압축 + Auto 라우팅 + 블록 재사용7단계 사다리로 "필요한 것만" 쓰도록 강제
설치 형태터미널 CLI 한 줄 (또는 스킬/플러그인)에이전트 플러그인 / AGENTS.md 규칙 파일
절약 실측입력 토큰 33.2% ↓, 비용 최대 0.46배 (Auto)코드 53% ↓, 비용 26% ↓, 토큰 45% ↓ (v5)
대표 명령어caveman status, /ultracave, caveman shrink/ponytail full, /ponytail-review, /ponytail-audit
효과가 큰 사용자로그·테스트·대용량 파일을 다루고 세션이 긴 개발자새 기능을 자주 만들거나 AI의 장황한 코드를 줄이고 싶은 개발자

예산 절감이 최우선이라면 Caveman 전체 설치 + Auto 로그인부터 시작하고, 코드 품질과 Diff 최소화까지 함께 챙기고 싶다면 Ponytail을 추가하세요. Ponytail의 리뷰·PR 본문이 길게 느껴질 때는 Caveman의 말 줄이기가 그 설명까지 자연스럽게 압축해 줍니다.

자주 쓰는 명령어 빠른 복사

명령어를 클릭하면 클립보드에 바로 복사됩니다

Caveman CLI · 압축 · 진단

Caveman 강도 · 파일 압축

Ponytail 모드 · 리뷰 · 추적


10. pstack 플레이북과 함께 쓰기

pstack은 Cursor와 Claude Code에서 23가지 엔지니어링 플레이북을 상황에 맞게 실행해 주는 스킬 플러그인입니다(상세 내용은 pstack 사용설명서 참고). 그중 eval · hillclimb · authoring a skill 세 가지는 토큰 절약의 3단계 사이클인 "증명 → 더 깎기 → 규칙 자체 다듬기"를 정확히 맡아 줍니다.

30초 설치

  • Cursor: 대화창에 /add-plugin pstack 입력
  • Claude Code: /plugin marketplace add cursor/plugins 실행 후 /plugin install pstack@cursor-plugins 입력

3단계 토큰 최적화 워크플로우

  1. 1
    eval — 내 환경에서 품질 손실이 없는지 증명/poteto-mode (eval)

    스킬을 켠 후보와 끈 후보에게 동일한 버그 수정 프롬프트를 주고, 블라인드 심사와 트랜스크립트 검증으로 품질 차이와 토큰 사용량을 비교합니다.

  2. 2
    hillclimb — 작업당 비용·토큰 지표를 반복 실험으로 깎기/poteto-mode (hillclimb)

    측정 하네스를 먼저 고정한 뒤 Caveman의 6개 돌 on/off나 Ponytail 강도(lite/full/ultra)를 한 번에 하나씩 바꾸며 개선된 설정만 커밋으로 남깁니다.

  3. 3
    authoring a skill — 두 스킬을 우리 저장소용으로 경량화/poteto-mode (authoring a skill)

    Caveman 규칙(약 1,160토큰)이나 Ponytail의 SKILL.md·AGENTS.md에서 불필요한 예시를 잘라내고 한국어 답변 유지 규칙을 추가한 뒤 frontmatter·링크 검증까지 끝냅니다.

실행할 때 아래 프롬프트를 그대로 복사해 붙여넣어 보세요.

1단계: eval — 블라인드 품질·토큰 A/B 비교
/poteto-mode caveman과 ponytail을 끄고 켠 두 후보를 같은 버그 수정 태스크로 블라인드 eval 해줘. 품질 차이와 토큰 사용량을 비교하고 결과를 요약해.
2단계: hillclimb — 작업당 비용 40% 절감 실험
/poteto-mode 작업당 평균 비용을 현재 대비 40% 줄여줘. 최소 10반복, 각 반복마다 caveman 설정이나 ponytail 모드를 한 가지씩 바꿔 측정하고, 기준선 대비 개선이 확인된 것만 남겨.
3단계: authoring a skill — 프로젝트 맞춤형 규칙 다이어트
/poteto-mode caveman 스킬을 우리 저장소용으로 편집해줘. 답변은 한국어를 유지하고, 불필요한 예시를 잘라 입력 토큰을 최대한 줄여. 편집 후 검증까지.

11. 자주 묻는 질문과 주의사항

Q1. Caveman과 Ponytail 모두 정말 무료인가요?
네. 두 프로젝트 모두 오픈소스(Caveman: Apache-2.0, Ponytail: MIT)로 무료입니다. Caveman의 Auto 라우팅 기능은 무료 계정 로그인이 필요하지만 별도 요금은 없습니다. 다만 사용 중인 AI 모델 구독이나 API 요금은 기존과 동일하게 부과됩니다.
Q2. 내 코드나 질문이 외부 서버로 전송되나요?
Caveman 스킬은 로컬에서만 동작합니다(단, /caveman-compress는 압축할 파일을 본인이 사용하는 모델 제공사로 보냅니다). Caveman CLI의 익명 사용 통계는 caveman telemetry off로 완전히 끌 수 있고, Auto 라우팅(caveman off routing으로 해제)을 켠 경우에만 최근 질의응답 일부가 Caveman Cloud로 전달됩니다. Ponytail은 순수 규칙 파일 방식이라 외부 전송이 없으며 밴드/보드 로그도 로컬(~/.config/ponytail/band/)에만 저장됩니다.
Q3. 답변이나 코드 품질이 떨어지지는 않나요?
JetBrains의 86개 실제 작업 A/B 테스트에서 통계적으로 유의한 품질 손실 없음(p=0.82, 출력 토큰 8.5% ↓)이 확인되었고, Elastic은 정보 손실 제로에 응답 토큰 63.6% 절감을 보고했습니다. 다만 HTML 압축은 아직 오히려 비효율적일 수 있고 GitHub Copilot 같은 요청당 과금 방식에서는 짧은 답변의 비용 절감 효과가 없다는 한계가 HONEST-NUMBERS.md에 투명하게 공개되어 있습니다.
Q4. 그냥 프롬프트에 '간결히 답해'라고 적으면 되지 않나요?
부분적인 효과만 있습니다. 동일 조건 실측에서 '간결히 답해'는 기준선 6,983토큰을 4,334토큰까지 줄였지만, /ultracave는 2,693토큰까지 줄였습니다. 또한 Adobe 연구에 따르면 사용자 프롬프트 자체를 축약하면 오히려 품질이 떨어지므로 두 도구 모두 사용자의 질문은 절대 손대지 않습니다.
Q5. 설치가 꼬이거나 깨졌을 때는 어떻게 복구하나요?
Caveman은 에이전트 대화창에 'Read INSTALL.md, install caveman for me.'라고 입력하면 에이전트가 직접 복구합니다. Ponytail 역시 저장소의 INSTALL.md에 에디터·CLI별 복구 및 설치 절차가 정리되어 있습니다.

Hafuture JSON 포맷터로 AI 설정·스킬 데이터 깔끔하게 검증하기

Claude Code, Cursor, MCP 설정 JSON이나 API 응답 로그를 브라우저에서 100% 로컬로 포맷·검증해 보세요. 서버 업로드 없이 즉시 정리됩니다.

JSON 포맷터 열기