AI 코딩 토큰 비용, 뒤로 갈수록 7배 오르는 구조

제 작업 기록을 뒤져서 세어 봤어요. 요청 6,516건에서 처음 올라간 입력은 2,533만 토큰이고, 캐시에서 다시 읽은 입력은 11억 6,366만 토큰이었습니다.

45.9배예요.

앞의 2,533만도 제가 타이핑한 양이 아닙니다. 시스템 설정, AI가 읽은 파일, 실행한 명령의 출력, 직전 답변까지 전부 여기 들어가요. 그중 제가 친 글자가 얼마인지는 따로 세보지 않았습니다.

둘을 더한 입력 총합이 11억 8,900만이고, 같은 기간 출력은 859만 토큰이에요. 입력이 출력의 138배입니다. AI 코딩이 비싸다는 말의 실체가 여기 있어요. 요금을 만드는 건 내가 쓴 질문이 아니라 매번 다시 실려 가는 대화 전체입니다.

매 요청이 대화 전체를 다시 싣습니다

AI는 지난 대화를 기억하고 있지 않아요. 매번 처음 보는 상태로 시작합니다.

그럼 어떻게 앞 이야기를 이어가느냐면, 매 요청마다 그때까지의 대화 전체를 통째로 다시 보내요. 30번째 질문을 할 때는 1번부터 29번까지의 질문과 답변, 읽었던 파일, 실행한 명령의 출력이 전부 같이 갑니다.

실제 요청 하나의 기록이에요.

{"input_tokens":2,"cache_creation_input_tokens":16911,"cache_read_input_tokens":21298,"output_tokens":298,...,"cache_creation":{"ephemeral_1h_input_tokens":16911,"ephemeral_5m_input_tokens":0},...}

맨 앞 input_tokens가 2입니다. 이번에 제가 새로 준 건 사실상 없어요. 그런데 이 한 번의 요청이 입력 38,211토큰을 읽었습니다. 나머지는 전부 앞에서 이미 오간 것들이에요.

그래서 뒤로 갈수록 비싸집니다

한 세션(492턴, 4시간 34분) 안에서 요청 하나가 읽는 입력이 어떻게 변하는지 뽑아 봤어요.

턴   1 입력합   34845 cache_read   20576 new  14267 출력   434
턴  50 입력합   65815 cache_read   64890 new    923 출력   716
턴 100 입력합  115879 cache_read  115192 new    685 출력   141
턴 200 입력합  236584 cache_read  235683 new    899 출력  2429
턴 300 입력합  319783 cache_read  317063 new   2719 출력  1672
턴 400 입력합  403894 cache_read  402716 new   1176 출력   538
턴 492 입력합  470381 cache_read  468999 new   1380 출력   519

첫 턴 34,845에서 마지막 턴 470,381. 13.5배입니다.

그런데 맨 오른쪽 출력을 보세요. 434에서 519. 거의 그대로예요. 답변이 길어진 게 아니라 읽는 양만 늘었습니다.

34개 세션 전부를 턴 순서로 묶어 중앙값을 내도 방향이 같아요.

한 번도 안 꺾이고 올라갑니다. 처음 구간 대비 7.0배예요.

세션별로 [마지막 턴 ÷ 첫 턴]을 재면 중앙값이 4.6배, 제일 심한 세션이 13.8배였습니다.

캐시가 값을 깎지만, 양은 안 깎아요

같은 걸 매번 다시 읽는다면 그만큼 다시 계산해야 할까요. 여기서 캐시가 들어옵니다.

한 번 올린 대화를 서버가 잠시 들고 있다가, 다음 요청에서 같은 앞부분이 오면 그걸 재사용해요. Anthropic 공식 문서 기준으로 캐시에서 읽은 토큰은 기본 입력 가격의 0.1배입니다. 10분의 1이에요.

제 기록에서는 캐시가 거의 100% 걸렸습니다. 캐시를 못 탄 입력이 75,453토큰으로 입력 총합의 0.0063%였어요.

공개 요금표로 환산해 보면 이렇게 갈립니다. Opus 5는 입력 100만 토큰당 5달러, 출력 100만당 25달러예요. 캐시는 읽을 때 0.1배로 깎이는 대신 올릴 때 더 받아요. 유효기간에 따라 갈리는데 5분짜리는 1.25배, 1시간짜리는 2배입니다. 제 기록은 전부 1시간짜리라 읽기 0.5달러, 쓰기 10달러로 셌어요.

그리고 저는 이 1,050달러를 낸 게 아닙니다. 클로드 코드 Max 요금제를 쓰고 있고, 실제로 내는 건 월 110달러예요. 정가 100달러에 부가세가 붙은 값입니다.

위 34개 세션은 2026년 7월 17일부터 8월 15일까지입니다. 딱 한 달이고, 실제로 작업한 날로 세면 16일이에요. 그러니까 이 블로그 작업만 정가로 환산해도 1,050달러인데 한 달 구독료는 110달러입니다. 9배 넘게 차이 나요.

차이는 더 벌어집니다. 위 집계는 50턴 이상인 세션만 센 거라 짧은 세션은 빠져 있고, 같은 구독으로 다른 프로젝트도 돌리거든요.

중요한 건 캐시가 뭘 못 하느냐예요. 캐시는 읽는 양 자체를 줄이지 않습니다. 단가만 내려요. 그래서 요금이 토큰 단가로 붙는 쪽에는 크게 도움이 되고, 한도가 토큰 개수로 걸리는 쪽에는 거의 도움이 안 됩니다. 앞의 표에서 11억 6,366만이라는 숫자 자체는 캐시가 있든 없든 그대로고요.

그래서 언제 새 대화를 시작하나

가장 자주 듣는 조언이 “새 대화로 끊어라”인데, 왜 그런지는 잘 안 나와요. 위 표가 답입니다.

새 대화를 시작하면 요청당 입력이 첫 턴 값으로 돌아갑니다. 각 세션의 첫 턴만 따로 모아 보니 중앙값이 43,885였어요. 0은 아닙니다. 시스템 설정과 프로젝트 파일을 다시 읽어야 하니까요. 그래도 431,437과 비교하면 약 10분의 1이에요.

위 표의 61,954와 헷갈리면 안 됩니다. 그건 턴 1~24 구간에 속한 요청 전체의 중앙값이고, 첫 턴만 따로 세면 43,885예요.

다만 끊으면 앞 맥락도 같이 사라져요. 그래서 그냥 끊는 게 아니라, 넘어가기 전에 지금까지 정해진 것을 짧게 정리해 달라고 하고 그걸 새 대화 첫 줄에 붙입니다. 30턴을 그대로 짊어지는 대신 요약 한 문단만 들고 가는 셈이에요. 요약문이 몇 토큰인지는 따로 안 재봤습니다. AI에게 시키는 법에서 맥락을 앞에 깔라고 했던 게 여기서 그대로 쓰여요.

대화가 길어지는 자리는 대개 재작업이에요. 앱 하나를 나흘에 만들면서 커밋 44건을 세어 보니 24건이 이미 만든 걸 다시 고친 것이었습니다.

반대로 끊으면 안 되는 때도 있습니다.

이 글의 한계

세 가지를 미리 적어 둘게요.

하나. 이건 Claude Code 기록입니다. 커서는 계정이 필요해 재현을 못 했고, 커서가 크레딧을 어떤 단위로 깎는지도 공개 문서에서 확인하지 못했어요. 위 배율을 커서에 옮겨 적으면 안 됩니다.

둘. 대화가 아주 길어지면 도구가 앞부분을 자동으로 요약해 줄여요. 그게 걸린 세션이 섞여 있다면 실제 곡선은 여기 적힌 것보다 완만합니다. 즉 7.0배는 상한이 아니라 관측값이에요.

셋. 제 작업은 글 쓰고 검사 스크립트 돌리는 일이라 파일을 많이 읽습니다. 페이지 한 장 만드는 작업이라면 절대값은 훨씬 작을 거예요. 다만 뒤로 갈수록 늘어난다는 방향은 대화를 이어 쓰는 한 똑같이 걸립니다.

끊지 않으면 값은 올라가기만 해요

요금제를 고르는 얘기는 바이브코딩 요금과 무료 한도에 따로 적었어요. 이 글은 그 뒤에 오는 질문입니다. 대화를 이어 쓰면 한 번의 질문이 얼마나 비싸지는가.

제 34개 세션 안에서는, 세션이 끝날 무렵 요청 하나가 첫 턴의 4.6배(중앙값)를 읽고 있었어요. 배율이 제일 크게 벌어진 세션은 13.8배였고요.

이건 제 작업 방식에서 나온 값이라 그대로 가져다 쓸 숫자는 아닙니다. 파일을 적게 읽는 작업이면 절대값이 훨씬 작을 거예요. 다만 곡선의 방향은 도구를 뭘 쓰든 같습니다. 매 요청이 앞의 대화를 통째로 다시 싣는 한, 끊지 않으면 값은 올라가기만 해요.