18강 · 평가 & 벤치마킹Lesson 18 · Evaluation & Benchmarking
Rule No.18 — 측정하지 않으면 개선할 수 없다Rule No.18 — What you don't measure, you can't improve
강의 요약Summary
프롬프트를 몇 번 돌려보고 "그럴듯해 보이니 잘 되는 것 같다"고 판단한 적 있다면, 이번 강의가 바로 그 순간을 겨냥합니다. 그럴듯한 느낌은 회귀도 개선도 잡아내지 못합니다. 어제보다 나빠졌는지, 팀원이 말한 "이 버전이 더 낫다"가 숫자로 뒷받침되는지, 지금의 방식으로는 알 방법이 없습니다. Rule No.18은 이 코스 전체의 마지막 실무 규칙입니다 — 좋은 프롬프트를 쓰고, 좋은 에이전트를 설계하고, 팀을 조율하는 법을 다 배웠어도, 측정하지 않으면 그것이 정말 잘 작동하는지 알 수 없습니다.If you've ever run a prompt a few times and decided "the answers look plausible, so it must be working," this lecture is aimed squarely at that moment. A plausible feeling catches neither regressions nor improvements. Whether things got worse than yesterday, whether a teammate's claim that "this version is better" is actually backed by numbers — there's no way to know with that approach. Rule No.18 is the last practical rule of this entire course: no matter how well you've learned to write good prompts, design good agents, and coordinate teams, without measurement you cannot know whether any of it is truly working.
해법의 중심에는 골든셋이 있습니다. 정답이 알려진 입출력 쌍의 모음이죠. 골든셋이 있으면 "이 정도면 통과"라는 기준이 사람마다 다르게 흔들리지 않고, 언제든 같은 기준으로 재현 가능한 점수를 낼 수 있습니다. 평가 방법은 인간 평가, 자동 평가, LLM-as-Judge 세 가지가 있고, 이들은 서로 배타적이지 않습니다. 실용적인 조합은 자동 평가로 빠르게 일차 필터링하고, 실패하거나 특이한 케이스에 한해서만 인간이나 LLM 판사를 투입하는 것입니다. 정확도와 비용 사이에서 균형을 잡는 방식이에요.At the center of the solution is the golden set — a collection of input-output pairs with known correct answers. With a golden set, "this would pass" stops being a standard that wobbles from person to person, and you can produce reproducible scores against the same bar any time. There are three evaluation methods — human evaluation, automated evaluation, and LLM-as-Judge — and they aren't mutually exclusive. The practical combination is to let automated evaluation do a fast first-pass filter, then bring in a human or an LLM judge only for cases that fail or look unusual. It's a way of balancing accuracy against cost.
이 강의가 특히 강조하는 건 평가가 "한 번 돌리고 끝"이 아니라는 점입니다. 평가 → 개선 → 재평가는 루프입니다. 이 루프의 동력은 숫자예요. "지난번보다 몇 점 올랐다"가 다음 개선의 근거가 됩니다. 그리고 최근 평가 관행에서 중요해진 관점 하나 — 에이전트는 같은 입력에도 매번 똑같이 답하지 않기 때문에, 한 번의 성공은 운일 수 있습니다. 그래서 여러 번 돌려서 매번 통과하는지를 봐야 합니다. 한 번에 75퍼센트로 성공하는 일도, 세 번 연속 다 성공할 확률은 42퍼센트로 뚝 떨어지거든요. Rule No.1(결과를 믿지 마라)이 여기서 숫자로 돌아옵니다.What this lecture especially emphasizes is that evaluation is not a one-time run. Evaluate → improve → re-evaluate is a loop, and the fuel of that loop is numbers — "the score went up by this much from last time" becomes the basis for the next improvement. And here's a perspective that's grown important in recent evaluation practice: because an agent doesn't answer the same input identically every time, a single success can be luck. So you need to run the same thing multiple times and check whether it passes every single time. Something that succeeds seventy-five percent of the time on one try has only a forty-two percent chance of succeeding three times in a row. Rule No.1 — don't trust the result — comes back here, expressed in numbers.
거창한 인프라는 필요 없습니다. 골든셋 10개, 스프레드시트 한 장, Claude에게 채점을 맡기는 몇 번의 API 호출이면 시작할 수 있습니다. 핵심은 구조가 아니라 습관이에요 — 수정하면 측정하고, 비교하고, 그다음에 배포하는 순서를 지키는 것. 이 습관이 자리를 잡으면 언젠가 CI 파이프라인에 자동으로 편입시킬 수 있고, 팀 전체가 "좋다"의 기준을 공유하게 되어 품질 논쟁 대신 품질 개선에 집중할 수 있습니다. 측정은 이 코스에서 배운 다른 모든 원칙 — 컨텍스트를 지켜라, 팀을 만들어라 — 을 완성시키는 마지막 조각입니다.You don't need grand infrastructure. Ten golden-set examples, a spreadsheet, and a handful of API calls asking Claude to grade the output are enough to start. What matters isn't the structure — it's the habit: edit, measure, compare, then ship, in that order. Once that habit sticks, you can eventually fold it into a CI pipeline, and the whole team ends up sharing the same standard for "good," so meetings shift from debating quality to actually improving it. Measurement is the final piece that completes every other principle this course has taught — guard your context, build a team.
핵심 개념 5가지Five key concepts
-
01
골든셋 — 평가의 기준선The golden set — your evaluation baseline
골든셋은 정답이 알려진 입출력 쌍의 모음입니다. "이 입력에는 이런 출력이 맞다"고 미리 정해 둔 테스트 케이스들이죠. 골든셋이 없으면 "좋은 출력"의 정의가 사람마다 달라서 매번 다른 판단이 나옵니다. Anthropic 공식 문서는 "양을 우선하라"며 가능하면 수백 개 규모를 권장하지만, 처음부터 완벽할 필요는 없습니다. 열 개로 시작해서 점차 키워 가는 것으로 충분합니다. 골든셋이 있으면 같은 기준으로 언제든 재현 가능한 점수를 낼 수 있고, 이게 이후 모든 평가 작업의 출발점이 됩니다.A golden set is a collection of input-output pairs with known correct answers — test cases where you've pre-defined "this input calls for this output." Without one, the definition of "good output" shifts from person to person, and judgments come out differently every time. The Anthropic docs say "prioritize volume" and recommend hundreds of examples where possible, but it doesn't need to be perfect from day one — starting with ten and growing it gradually is enough. With a golden set you can produce reproducible scores against the same standard any time, and that becomes the starting point for every evaluation task that follows.
-
02
세 가지 평가 방법을 조합하라Combine three evaluation methods
평가에는 인간 평가, 자동 평가, LLM-as-Judge 세 가지가 있습니다. 인간 평가는 가장 정확하지만 시간과 비용이 많이 들고, 자동 평가는 빠르고 재현 가능하지만 의미적 판단이 어렵고, LLM-as-Judge는 그 중간에서 의미적 판단이 필요할 때 유용하되 API 비용이 듭니다. 이 셋은 상호 배타적이지 않습니다. Anthropic 공식 문서도 상황에 따라 조합해서 쓰라고 권장합니다. 실용적인 조합은 자동 평가로 일차 필터링을 하고, 실패하거나 특이한 케이스에 한해서만 인간 평가나 LLM 판사를 투입하는 것 — 비용을 최소화하면서 중요한 케이스는 꼼꼼히 보는 방식입니다.There are three evaluation methods: human evaluation, automated evaluation, and LLM-as-Judge. Human evaluation is most accurate but costs time and money; automated evaluation is fast and reproducible but struggles with semantic judgment; LLM-as-Judge sits in between, useful when semantic judgment is needed, at the cost of API spend. These three aren't mutually exclusive — the Anthropic docs recommend combining them depending on the situation. The practical combination is automated evaluation as a first-pass filter, with human evaluation or an LLM judge reserved only for cases that fail or look unusual — minimizing cost while still giving careful attention to what matters.
-
03
회귀는 개선하려다 생긴다Regressions happen while trying to improve
프롬프트를 수정했을 때, 수정 전엔 잘 되던 케이스가 수정 후에 갑자기 실패하는 일이 있습니다. 이걸 회귀라고 합니다 — 개선하려다 다른 걸 망가뜨리는 것이죠. 평가 없이 배포하면 이런 회귀를 발견할 방법이 없습니다. 방지법은 간단합니다. 수정 전과 수정 후 모두 골든셋으로 점수를 내고 비교하는 것. 점수가 내려가면 경고를 띄웁니다. 이렇게 하면 프롬프트를 마음껏 실험하면서도 이전보다 나빠지는 일 없이 안전하게 반복할 수 있습니다.When you edit a prompt, a case that worked fine before can suddenly fail after the edit — that's a regression, breaking one thing while trying to improve another. Deploy without evaluation and you have no way to catch these. The fix is simple: score with the golden set both before and after the edit, then compare — and raise an alert if the score drops. This lets you experiment freely with your prompts while staying protected from quietly making things worse.
-
04
좋은 벤치마크의 네 가지 조건Four qualities of a good benchmark
좋은 벤치마크는 네 가지를 갖춰야 합니다. 재현 가능성 — 같은 입력에는 항상 같은 채점 방식이 적용돼야 하고, 대표성 — 실제 서비스에서 일어나는 케이스를 충분히 반영해야 하며, 명확한 기준 — "좋다/나쁘다"를 숫자로, 예컨대 "핵심 키워드 세 개가 모두 포함됐는가"처럼 이진법이나 점수로 정의해야 하고, 유지 관리 가능성 — 서비스가 바뀌어도 벤치마크를 갱신할 수 있는 구조여야 합니다. 이 중 하나라도 빠지면 벤치마크는 신뢰를 잃거나, 아무도 유지하지 않는 죽은 문서가 됩니다.A good benchmark needs four things. Reproducibility — the same scoring method applies to the same input, always. Representativeness — it adequately reflects the cases that actually happen in your service. Clear criteria — "good/bad" is defined numerically, for instance as a binary check like "do all three key keywords appear?" And maintainability — the structure allows updates as the service evolves. Miss any one of these and the benchmark either loses credibility or turns into a dead document nobody keeps up.
-
05
측정 → 개선 → 재측정, 그리고 여러 번 재보기Measure → improve → re-measure — and check more than once
평가는 한 번 돌리고 끝나는 게 아니라 루프입니다. 평가를 돌려 약점을 발견하고, 프롬프트를 수정하고, 다시 평가를 돌립니다. 이 루프의 동력은 숫자예요 — "지난번보다 몇 점 올랐다"가 다음 개선의 근거가 됩니다. 느낌이 그 동력이 되면 팀을 설득할 수 없고 루프가 멈춥니다. 여기에 더해, 에이전트는 같은 입력에도 매번 똑같이 답하지 않기 때문에 한 번의 성공은 운일 수 있습니다. 그래서 같은 케이스를 여러 번 돌려서 매번 통과하는지를 봐야 합니다 — 한 번에 75퍼센트로 성공하는 일도 세 번 연속 성공 확률은 42퍼센트로 떨어집니다. 그리고 에이전트를 평가한다는 건 모델만이 아니라 모델과 그걸 둘러싼 하네스를 함께 평가하는 일입니다.Evaluation is not a one-time run — it's a loop. Run the eval, spot a weakness, fix the prompt, run the eval again. The fuel of this loop is numbers — "the score went up by this much from last time" becomes the basis for the next improvement. If feel drives it instead, you can't convince a team and the loop stalls. On top of that, because an agent doesn't answer the same input identically every time, a single success can be luck — so you need to run the same case multiple times and check whether it passes every single time. Something that succeeds seventy-five percent of the time on one try has only a forty-two percent chance of succeeding three times running. And evaluating an agent means evaluating not just the model, but the model together with the harness around it.
실습 예제Exercise
골든셋을 만드는 게 어렵게 느껴질 수 있지만, 오늘 배운 대로면 딱 세 단계로 충분합니다. 코드도 인프라도 필요 없습니다 — 여러분이 실제로 자주 Claude에게 시키는 작업 하나를 고르고, 아래 지시문을 그대로 붙여 넣어 골든셋 버전 0.1을 만들고 바로 채점까지 해 보는 연습입니다. 완벽한 평가 체계가 아니라, "측정하는 습관"을 오늘 시작하는 게 목표입니다.Building a golden set can feel daunting, but by what we learned today, three steps are enough. No code, no infrastructure needed — pick one task you actually ask Claude to do often, paste the instruction below as-is, and build golden set version 0.1 while grading it on the spot. The goal isn't a perfect evaluation system — it's starting the habit of measuring, today.
다음 세 단계를 순서대로 해줘. 내가 실제로 자주 시키는 작업은 이거야: [여기에 여러분이 자주 쓰는 작업을 한 문장으로 적기 — 예: "주간 실적 리포트 요약해줘", "이 문의 메일에 답장 초안 써줘"] ## 1단계 — 케이스 10개 만들기 위 작업에 대해, 실제로 자주 나올 법한 입력 예시 10개를 만들어줘. 실제 사용 데이터가 없으니 네가 현실적으로 그럴듯한 예시를 만들어도 좋아. 각 예시는 서로 다른 상황(쉬운 경우, 애매한 경우, 정보가 부족한 경우 등)을 대표해야 해. ## 2단계 — 통과 기준 적기 각 예시에 대해 "이 정도 출력이 나오면 통과"라는 기준을 1~2줄로 적어줘. 추상적인 "좋음"이 아니라, "핵심 정보 A, B, C가 모두 포함되어야 한다"처럼 구체적이고 확인 가능한 형태로 적어줘. ## 3단계 — 실제로 돌리고 채점하기 이제 각 예시 입력에 대해 네가 직접 실제 작업을 수행한 다음, 2단계에서 만든 기준에 맞는지 스스로 채점해줘. 통과/실패로 표시하고, 실패했다면 왜 실패했는지 한 줄로 짚어줘. 마지막으로, 10개 중 몇 개가 통과했는지 점수로 요약해줘.
- 골든셋 v0.1 만들기: 위 지시문을 붙여 넣고 1, 2단계 결과를 본다. 열 개의 입력 예시와 각각의 통과 기준이 나오면, 그게 바로 오늘의 골든셋 초안이다. 완벽하지 않아도 된다 — Anthropic도 처음엔 적은 개수로 시작해 키우라고 권장한다.Build golden set v0.1: paste the instruction above and look at the step 1 and 2 output. Ten input examples with a pass criterion for each — that's today's golden-set draft. It doesn't need to be perfect; even the Anthropic docs recommend starting small and growing it.
- 채점 결과 확인: 3단계에서 10개 중 몇 개가 통과했는지 숫자로 나온 걸 확인한다. "그럴듯해 보인다"가 아니라 "10개 중 7개 통과"처럼 숫자로 나온다는 게 오늘 배운 것의 핵심이다. 실패한 케이스와 이유를 특히 눈여겨본다 — 그게 다음 개선의 입력이 된다.Check the scored result: confirm step 3 gives you a number — how many of the 10 passed. "It looks plausible" versus "7 out of 10 passed" is exactly the shift this lesson is about. Pay special attention to the failing cases and their stated reasons — those become the input for your next improvement.
- 전후 비교 습관 만들기: 다음에 이 작업의 프롬프트를 조금이라도 고칠 일이 생기면, 고치기 전에 이 골든셋으로 한 번, 고친 후에 또 한 번 돌려서 통과 개수를 비교한다. 점수가 내려갔다면 회귀가 생긴 것이다. 이 "수정 전·후, 두 번만 재보기" 습관이 오늘 실습에서 가져갈 가장 실용적인 결과물이다.Build the before/after habit: next time you tweak this task's prompt even slightly, run this golden set once before the change and once after, and compare the pass count. A dropped score means a regression happened. This "check twice — before and after" habit is the single most practical takeaway from today's exercise.