안녕하세요. 정리하는 개발자 워니즈입니다.
요즘 AI 코딩 하네스를 두고 정반대 이야기가 동시에 나옵니다.
한쪽은 걷어내라고 합니다. 모델이 충분히 좋아졌으니 복잡한 하네스는 맥락만 오염시키고, 유지보수 부채에 디버깅까지 어렵게 만든다는 겁니다. 다른 쪽은 하네스는 필연적으로 낡으니 리팩토링하라고 합니다.
둘 다 일리가 있어서 판단이 어려웠습니다. 저는 6개월째 하네스를 굴리고 있고, 그동안 실제로 절반 가까이 걷어냈습니다. 무엇을 버렸고 무엇을 남겼는지, 그 기준이 무엇이었는지 적어보려 합니다.
그러면 본격적으로 정리해보도록 하겠습니다.
1. AI 코딩 하네스는 왜 무거워지는가
처음엔 다들 비슷하게 시작합니다. 반복되는 지시를 파일로 빼고, 자주 쓰는 절차를 명령으로 만들고, 실수한 것을 규칙으로 적습니다.
문제는 추가는 쉽고 제거는 어렵다는 점입니다.
- 규칙은 한 번 사고가 나면 추가되지만, 사고가 안 나면 지울 이유가 없습니다
- 명령어는 만들 때 비용이 들었으니 아까워서 못 지웁니다
- “혹시 나중에 쓸지도”가 쌓입니다
그렇게 제 하네스는 스킬 109개까지 늘었습니다.
2. 걷어낸 것 — 숫자로 보면 명확했습니다
정리하고 나서야 비용이 보였습니다.
| 정리 전 | 정리 후 | |
|---|---|---|
| 등록된 스킬 | 109개 | 66개 |
| 세션당 고정 비용 | — | 5,813 토큰 절감 |
여기서 중요한 건 절감량 자체가 아니라 그게 고정 비용이었다는 사실입니다.
스킬 설명문은 매 세션 컨텍스트에 통째로 들어갑니다. 한 번도 안 쓰는 스킬이라도 존재하는 것만으로 매번 값을 치릅니다. 43개를 지우고 나서야 그동안 무엇을 내고 있었는지 알았습니다.
그래서 규칙을 하나 만들었습니다.
생성 30일 경과 + 최근 60일 호출 0회 = 아카이브 후보
3. 그런데 이 규칙에 함정이 있었습니다
호출 이력만으로 판정하면 멀쩡한 걸 지웁니다.
- 다른 스킬이 내부에서 불러 쓰는 것 — 로그에 안 남습니다
- 문서에서 경로로만 참조하는 것
- 핸드오프 체인 중간에 있는 것
그리고 장애 대응용이나 연간 1회짜리는 호출 0이 정상입니다. 이런 건 따로 표시해 면제했습니다.
즉 “안 쓰니까 지운다”가 아니라 “안 쓰는지 확인하고 지운다”로 한 단계를 더 뒀습니다.
4. 남긴 것 — 걷어내면 안 되는 세 가지
절반을 지우면서 오히려 분명해진 게 있습니다. AI 코딩 하네스에서 이건 남겨야 합니다.
첫째, 사고가 재발하는 규칙. 한 번 크게 데인 것은 규칙으로 박아둬야 합니다. 모델이 좋아져도 같은 실수를 합니다. 제 경우 “작업 결과를 보고만 믿지 말고 상태를 직접 확인한다”가 그렇습니다.
둘째, 판단 기준. “언제 맡기고 언제 직접 하는가” 같은 것은 매번 새로 생각하면 흔들립니다. 이건 프롬프트가 아니라 의사결정 비용을 줄이는 장치입니다.
셋째, 검증 게이트. 발행 전 보안 검사처럼 빠뜨리면 되돌릴 수 없는 것은 자동화해서 강제해야 합니다. 사람이 기억하는 방식은 언젠가 실패합니다.
반대로 걷어내기 좋은 건 “하는 방법”을 적어둔 것들이었습니다. 모델이 이미 아는 걸 굳이 설명하고 있던 문서가 많았습니다.
5. AI 코딩 하네스, 어느 쪽이 맞나
처음의 두 주장으로 돌아가면 제 답은 이렇습니다.
“걷어내라”는 절반 맞습니다. 방법을 설명하는 문서, 모델이 이미 잘하는 영역을 통제하려는 규칙은 부채가 맞습니다. 모델이 좋아질수록 더 그렇습니다.
“리팩토링하라”도 절반 맞습니다. 다만 리팩토링의 대상은 규칙 자체가 아니라 “이 규칙이 여전히 필요한 이유”입니다. 이유가 사라졌으면 지우고, 남아 있으면 유지합니다.
그래서 제 기준은 이겁니다.
| 물어볼 것 | 판단 |
|---|---|
| 이게 없으면 같은 사고가 재발하는가 | 남긴다 |
| 매번 판단이 흔들리는가 | 남긴다 |
| 빠뜨리면 되돌릴 수 없는가 | 남긴다 (게이트로 강제) |
| 모델이 이미 잘하는 걸 설명하고 있는가 | 지운다 |
| “혹시 나중에” 때문에 남아 있는가 | 지운다 |
6. 정리
- AI 코딩 하네스는 추가는 쉽고 제거는 어려워서 필연적으로 무거워진다
- 안 쓰는 것도 고정 비용을 낸다. 설명문이 매 세션 컨텍스트에 들어가기 때문
- 실측: 스킬 109개 → 66개, 세션당 5,813 토큰 절감
- 다만 호출 이력만으로 판정하면 멀쩡한 걸 지운다. 경유 호출·문서 참조·연간 작업은 로그에 안 남는다
- 남길 것은 셋뿐이다 — 사고 재발 방지 / 판단 기준 / 되돌릴 수 없는 것의 게이트
- 지울 것은 “하는 방법”을 적어둔 문서다. 모델이 이미 안다
당장 해보실 수 있는 것 하나를 남기겠습니다. 지금 쓰는 하네스에서 규칙을 하나 골라 이렇게 물어보세요.
“이 규칙은 어떤 사고 때문에 생겼는가?”
답이 안 나오면 지워도 되는 규칙입니다. 답이 나오는데 그 사고가 이제 안 일어난다면, 그것도 지울 때가 된 겁니다.
AI 에이전트에게 어디까지 맡길지는 권한 문제이기도 합니다. 그 얘기는 AI 에이전트 권한 설계 — ‘되돌릴 수 있다’는 착각에 정리했습니다.
읽어주셔서 감사합니다. 하네스를 어떻게 정리하고 계신지, 남기신 규칙은 무엇인지 궁금합니다.