1 · 보너스 룰1 · Bonus rule

이십 강까지, 코스 본편을 끝까지 따라오신 분들을 위한 보너스 한 단입니다. 십사 강에서 우리는 "혼자 쓰지 말고 팀을 만들어라"를 배웠죠. 그런데 막상 팀을 꾸려 보면 금방 알게 됩니다. 팀을 만들 줄 아는 것과, 그 팀을 어떤 모양으로 짤지 잘 고르는 것은 전혀 다른 문제라는 걸요. 오늘은 그 다음 한 단을 올라갑니다. 일의 모양을 읽고 거기 맞는 패턴을 고르는 법, 그리고 그 고르는 일마저 추천받아 자동화하는 법이에요. 보너스 룰은 이겁니다. 팀을 만들 줄 알면, 이제 그 모양을 골라라.This is a bonus step for those of you who followed the main course all the way through Lesson Twenty. In Lesson Fourteen we learned "don't work solo — build a team." But once you actually put a team together, you quickly notice something: knowing how to build a team and choosing the right shape for that team are completely different problems. Today we climb one more step — how to read the shape of the work and pick the matching pattern, and then how to automate even that choice by getting a recommendation. The bonus rule is this: once you can build a team, now choose its shape.

2 · 둘 다 '팀'인데2 · Both used a 'team'

두 장면을 보여드릴게요. 둘 다 십사 강에서 배운 대로, 일을 혼자 안 하고 "팀"으로 나눴습니다. 첫 번째 팀. 신상품 입점 일을 다섯 명한테 나눠 줬어요. 그런데 이 일은 순서가 있죠. 경쟁사 가격을 조사해야 설명 초안을 쓰고, 초안이 있어야 마진을 검증하고, 그게 끝나야 품의서를 올립니다. 앞이 끝나야 뒤가 시작되는 일이에요. 그런데 이걸 다섯 명한테 동시에 던졌더니, 검증을 맡은 사람이 이럽니다. "저, 초안이 아직 안 왔는데요?" 뒷사람이 앞사람 결과를 못 받아서 전부 엉켜 버립니다. 두 번째 팀. 이번엔 서로 상관없는 카테고리 다섯 개의 경쟁사 조사예요. 가전, 식품, 의류, 따로따로 봐도 되는 일이죠. 그런데 굳이 한 줄로 줄을 세웠습니다. 하나 끝나고 다음, 또 그다음. 동시에 끝낼 수 있는 일을 차례로 기다리느라, 기다리는 시간이 통째로 쌓여서 한참 느려집니다.Let me show you two scenes. In both, just like Lesson Fourteen taught, the work wasn't done solo — it was split into a "team." First team. A new product onboarding job, handed out to five people. But this job has an order: you research competitor prices before you draft the description, you need the draft before you verify the margin, and only then do you file the proposal. Each step needs the one before it. Yet all five were thrown out at the same time — and the person assigned to verification says, "Um, the draft hasn't arrived yet?" The later steps never get the earlier results, and the whole thing tangles up. Second team. This time it's competitor research for five unrelated categories — appliances, food, clothing — each fine to look at on its own. But they were lined up in a single queue: finish one, then the next, then the next. Work that could have finished at once waits its turn, and the waiting piles up until it crawls.

자, 두 팀 다 분명히 "나누긴" 했어요. 십사 강에서 배운 대로 팀으로 만들었죠. 그런데 하나는 엉키고, 하나는 느렸습니다. 왜일까요? 문제는 나눴느냐가 아니었어요. 어떤 모양으로 나눴느냐였습니다. 순서가 있는 일을 동시에 던지면 엉키고, 서로 상관없는 일을 줄 세우면 느려져요. 그래서 오늘의 질문은 이겁니다. 팀으로 나누되, 어떤 모양으로 나눌 것인가.Now, both teams clearly did split the work. They built a team, exactly like Lesson Fourteen said. Yet one tangled and one crawled. Why? The problem wasn't whether they split. It was what shape they split into. Throw an ordered job out all at once and it tangles; line up unrelated jobs and it crawls. So today's question is this: split into a team, yes — but into what shape?

3 · 오늘의 질문3 · Today's question

십사 강은 "나눌까, 말까"를 가르쳤어요. 작고 단순한 일은 혼자, 크고 독립적인 일은 팀으로. 그 판단까지였죠. 오늘은 그 다음을 묻습니다. 나누기로 했다면, 어떤 모양으로 나눌까. 방금 봤듯이, 같은 팀이라도 모양을 잘못 고르면 느려지거나 아예 틀립니다. 그러니까 팀을 만들 줄 아는 것만으로는 부족하고, 일을 보고 맞는 모양을 골라내는 안목이 필요해요. 그 안목을 오늘 두 장의 표와 네 개의 질문으로 손에 쥐여 드릴게요.Lesson Fourteen taught "whether to split." Small, simple jobs solo; big, independent jobs as a team. It stopped at that judgment. Today we ask the next question. If you've decided to split — into what shape? As we just saw, even the same team, given the wrong shape, runs slow or comes out wrong. So knowing how to build a team isn't enough; you need the eye to look at a job and choose the matching shape. Today I'll put that eye in your hands — with two tables and four questions.

4 · 패턴 6종 카탈로그4 · The six-pattern catalog

그럼 팀의 모양에는 어떤 것들이 있는지 카탈로그를 펼쳐 볼게요. 크게 여섯 가지인데, 비유로 빠르게 지나가겠습니다. 첫째, 컨베이어 벨트. 한 사람의 결과물이 다음 사람의 재료가 되어 줄줄이 이어지는 모양이에요. 조사 결과가 초안으로, 초안이 검증으로 넘어가죠. 이걸 프롬프트 체이닝이라고 부릅니다. 둘째, 안내데스크. 들어온 일을 보고 "이건 환불 담당, 저건 기술 담당" 하고 유형별로 알맞은 곳에 배정하는 모양이에요. 라우팅이라고 합니다. 셋째, 동시에 던지기. 서로 상관없는 일을 여러 사람한테 한꺼번에 맡기는 모양이죠. 십사 강에서 본 병렬, 팬 아웃이 이거예요. 여기에 한 가지 변형이 있는데, 같은 질문을 일부러 여러 번 시켜 보고 그 답들을 모아 투표로 정하는 방식도 있습니다.So let's open the catalog of team shapes. There are six broad kinds, and I'll run through them quickly with metaphors. One: a conveyor belt. One person's output becomes the next person's material, linked in a chain — research feeds the draft, the draft feeds the verification. This is called prompt chaining. Two: a reception desk. You look at what came in and route it to the right place — "this one's for refunds, that one's for tech." That's routing. Three: throwing things out at once. Handing unrelated jobs to several people simultaneously — this is the parallel, the fan-out, we saw in Lesson Fourteen. There's a variation, too: deliberately asking the same question several times and then settling it by a vote among the answers.

넷째, 팀장. 일을 어떻게 쪼갤지 미리 정하지 않고, 가운데 팀장이 상황을 보며 그때그때 나눠 맡기는 모양이에요. 십사 강의 오케스트레이터, 바로 그 사람입니다. 다섯째, 작가와 편집자. 한 사람이 초안을 쓰면 다른 사람이 비평하고, 그걸 받아 또 고치고, 이렇게 주고받으며 다듬는 모양이에요. 십사 강의 생산자-검증자를 한 단계 더 밀어붙인, 평가자-최적화 루프입니다. 여섯째, 끝 조건만 주기. 단계를 일일이 짜 주지 않고 "이 조건이 되면 끝"만 정해 준 뒤 알아서 움직이게 두는, 자율 에이전트예요. 한 가지 꼭 짚고 갈게요. 이 여섯 가지를 "Anthropic이 정한 여섯 패턴"이라고 외우시면 안 됩니다. Anthropic은 정해진 길을 따르는 워크플로우를 다섯 가지로 정리하고, 거기에 스스로 길을 정하는 "에이전트"를 따로 구분해요. 우리는 그 다섯에 자율 에이전트를 더해, 한 표로 보기 좋게 여섯 칸으로 묶은 겁니다. 그중 앞의 두 개, 컨베이어 벨트와 안내데스크, 그리고 투표는 십사 강엔 없던 새 모양이에요. 나머지는 복습에 이름표를 붙인 거고요.Four: a team lead. Instead of deciding up front how to slice the work, a lead in the center watches the situation and divvies it out on the fly. That's the orchestrator from Lesson Fourteen — the very same one. Five: a writer and an editor. One person writes a draft, another critiques it, the draft comes back to be revised, and they pass it back and forth until it's polished. That's the producer–verifier from Lesson Fourteen pushed one step further — the evaluator-optimizer loop. Six: giving only the end condition. Instead of scripting every step, you set just "stop when this is met" and let it move on its own — an autonomous agent. One thing to be careful about: don't memorize these as "Anthropic's six patterns." Anthropic organizes workflows that follow predefined paths into five kinds, and separately distinguishes the "agent" that directs its own path. We've added the autonomous agent to those five and bundled them into six neat cells in one table. Of these, the first two — the conveyor belt and the reception desk — plus voting are new shapes that weren't in Lesson Fourteen. The rest are review, with name tags attached.

5 · 매핑 치트시트5 · The mapping cheatsheet

이제 카탈로그를 외우는 대신, 찾아보는 표로 바꿔 볼게요. 일의 모양만 보면 맞는 패턴이 바로 보이도록요. 첫째, 앞이 끝나야 뒤가 시작되는 일, 순서가 있는 일이면 컨베이어 벨트, 체이닝입니다. 둘째, 들어오는 게 유형별로 갈리는 일이면 안내데스크, 라우팅이에요. 셋째, 서로 상관없는 일이 여러 개면 동시에, 병렬입니다. 넷째, 정답이 또렷하지 않거나 틀리면 대가가 큰 일이면 작가와 편집자, 평가자 루프를 쓰고, 중요하면 여러 결과를 세에서 다섯 개쯤 받아 서로 교차검증합니다. 다섯째, 범위가 너무 커서 어떻게 쪼갤지부터가 일이면 팀장한테 맡기는 오케스트레이터-워커예요.Now, instead of memorizing the catalog, let's turn it into a lookup table — so that just looking at the shape of a job points to the matching pattern. One: if the back can't start until the front finishes — an ordered job — it's the conveyor belt, chaining. Two: if what comes in splits by type — the reception desk, routing. Three: if there are several unrelated jobs — at once, in parallel. Four: if the answer isn't clear-cut, or being wrong is costly — use the writer-and-editor, the evaluator loop, and when it matters, take several results, say three to five, and cross-check them against each other. Five: if the scope is so big that even figuring out how to slice it is the job — hand it to the team lead, the orchestrator-workers.

여기서 가장 중요한 한마디. 패턴은 외우는 게 아니에요. 일의 모양에서 읽어내는 겁니다. "이 일은 순서가 있나? 유형이 갈리나? 독립이 여럿인가?" 이렇게 일을 먼저 들여다보면, 표가 알아서 패턴 하나를 가리켜요. 그래서 이 표가 오늘 강의에서 손에 남는 핵심 자산입니다. 패턴 이름을 다 못 외워도 괜찮아요. 이 표 하나만 곁에 두고 찾아보면 되니까요.Here's the most important line. Patterns aren't something you memorize. They're something you read from the shape of the work. "Does this job have an order? Does it split by type? Are there several independent pieces?" Look at the job first, and the table points to a single pattern on its own. That's why this table is the keeper from today's lesson — the thing that stays in your hands. It's fine if you can't memorize every pattern name. Just keep this one table nearby and look it up.

6 · 4질문 플로우차트6 · The four-question flowchart

방금 표가 찾아보기였다면, 이번엔 걸어가기예요. 위에서부터 네 가지만 순서대로 물으면, 자동으로 한 모양에 도착합니다. 첫 번째 질문. 단계끼리 의존성이 있나요? 앞이 끝나야 뒤가 되나요? 그렇다면 컨베이어 벨트, 체이닝입니다. 아니면 다음 질문으로. 두 번째 질문. 들어오는 일이 유형별로 갈리나요? 그렇다면 안내데스크, 라우팅이에요. 세 번째 질문. 서로 독립인 일이 여러 개인가요? 그렇다면 동시에, 병렬입니다. 네 번째 질문. 정답을 채점할 수 있거나, 틀리면 비싼 일인가요? 그렇다면 작가와 편집자, 평가자 루프에 교차검증을 더합니다.If the table was looking it up, this is walking it through. Ask just four questions, top to bottom, and you arrive at one shape automatically. First question: do the steps depend on each other? Does the back need the front to finish first? If so — the conveyor belt, chaining. If not, next question. Second question: does the incoming work split by type? If so — the reception desk, routing. Third question: are there several independent pieces? If so — at once, in parallel. Fourth question: can the answer be graded, or is being wrong costly? If so — the writer and editor, the evaluator loop, with cross-checking added.

같은 결정인데 표현이 두 가지예요. 표는 급할 때 곁눈질로 찾아보는 거고, 이 네 질문은 헷갈릴 때 한 발씩 걸어가는 길입니다. 둘 중 편한 걸 쓰시면 돼요. 그리고 한 가지. 일의 범위가 너무 커서 이 질문들을 사람이 일일이 따지기도 벅차다면, 그때는 팀장, 오케스트레이터-워커한테 맡깁니다. 이 따져 보는 과정 자체를 팀장이 대신 돌려 주거든요.It's the same decision in two forms. The table is for glancing up when you're in a hurry; these four questions are the path you walk, step by step, when you're unsure. Use whichever suits you. And one more thing: if the scope is so big that even working through these questions is too much for a person to do by hand, then hand it to the team lead, the orchestrator-workers. The lead runs that very weighing-up process for you.

7 · 흔한 실수 — 콜드오픈 해부7 · Common mistakes — dissecting the cold open

이제 맨 처음 두 장면이 왜 망했는지, 콜드 오픈을 해부해 볼게요. 첫 번째 팀의 실수. 순서가 있는 일인데 의존성을 무시하고 동시에 던졌어요. 그러니까 뒷사람이 앞사람 결과를 못 받아서 엉킨 겁니다. 답은 체이닝이었는데 병렬을 고른 거죠. 두 번째 팀의 실수는 정반대예요. 서로 독립인 일인데 굳이 한 줄로 줄을 세웠어요. 동시에 끝낼 수 있는 걸 차례로 기다리느라 느려진 겁니다. 답은 병렬이었는데 체이닝을 고른 거고요.Now let's dissect the cold open — why those first two scenes failed. The first team's mistake: it was an ordered job, but they ignored the dependency and threw it out all at once. So the later people never got the earlier results, and it tangled. The answer was chaining, but they chose parallel. The second team's mistake is the exact opposite. The pieces were independent, yet they were forced into a single queue. Work that could have finished at once waited its turn and slowed down. The answer was parallel, but they chose chaining.

세 번째 함정도 있어요. 작고 단순한 일인데 굳이 팀장에 서브에이전트까지 거창하게 붙이는 거예요. 그러면 일은 그대로인데 조율하는 품만 늘어납니다. 십사 강에서 "나눌 가치가 있을 때만 나눠라" 했던 그 경계가 여기서도 똑같이 적용돼요. 그래서 오늘 가장 중요한 한 줄은 이겁니다. 패턴을 지정한다고 품질이 올라가는 게 아니라, 맞는 패턴을 골라야 올라갑니다. 틀린 모양을 억지로 씌우면, 차라리 안 나누느니만 못할 수도 있어요. 일 강의 룰, 결과를 그냥 믿지 말라는 말이 여기서도 살아 있는 거죠. 구조를 씌웠다고 안심하지 말고, 그게 맞는 모양인지 확인하세요.There's a third trap, too: taking a small, simple job and grandly bolting on a team lead and sub-agents anyway. The work stays the same, but the coordination effort piles up. The caution from Lesson Fourteen — "split only when it's worth splitting" — applies here just the same. So today's single most important line is this: quality doesn't rise because you assigned a pattern — it rises when you pick the right one. Force the wrong shape on a job, and you can end up worse off than not splitting at all. Rule Number One from the very first lesson — don't just trust the result — is alive here too. Don't relax just because you've imposed a structure; check that it's the right shape.

8 · 오케스트레이션 플래너8 · The orchestration planner

여기가 오늘의 심장입니다. 사실 표도 네 질문도, 매번 머리로 돌리면 번거롭잖아요. 그래서 한 걸음 더 갑니다. 패턴을 외우지 말고, 실행 전에 추천을 받는 거예요. 화면을 보세요. 먼저 할 일을 플랜으로 적습니다. 조사, 초안, 검증, 품의. 그러면 플래너가 단계마다 모양을 추천해 줘요. "조사 다섯 개는 서로 독립이니 병렬로, 초안은 조사 다음이니 체이닝으로, 검증은 평가자 루프로." 방금 우리가 표와 네 질문으로 했던 그 판단을, 실행 전에 한 장의 전략표로 미리 뽑아 주는 겁니다.This is the heart of today. Honestly, running the table and the four questions in your head every time is a hassle. So we go one step further: instead of memorizing patterns, you get a recommendation before you run. Look at the screen. First you write the work down as a plan — research, draft, verify, proposal. Then the planner recommends a shape for each step: "The five research items are independent, so run them in parallel; the draft comes after research, so chain it; verification gets the evaluator loop." The very judgment we just made with the table and the four questions, pulled out in advance as a single strategy sheet.

그러면 사람은 모든 패턴을 외울 필요가 없어요. 검토자가 되는 거죠. "좋아, 다 괜찮은데 검증만 더 중요하니까 결과를 여러 개 받아 교차검증하자." 이렇게 승인하거나 고치면 됩니다. 추천을 그냥 따르는 게 아니라, 사람이 보고 정한다는 게 중요해요. 일 강의 룰, 결과를 그냥 믿지 말라는 거요. 그리고 마음에 드는 방식이 나오면, 그걸 십사 강에서 배운 하네스, 그러니까 대본에 박제해 둡니다. 그러면 다음번 비슷한 일에도 전략표가 자동으로 떠요. 여기서 좋은 소식. 이걸 하려고 무슨 새 프레임워크를 깔 필요가 전혀 없습니다. 그냥 "이 플랜에 맞는 실행 패턴을 단계별로 추천해 줘" 한마디면 됩니다. 별도 도구, 영 개.That way, you don't have to memorize every pattern. You become the reviewer. "Good — this all looks fine, but verification matters most, so let's take several results and cross-check." You approve it, or you adjust it. The point is you don't just follow the recommendation — you look it over and decide. That's Rule Number One: don't just trust the result. And when you land on an approach you like, you freeze it into the harness — the script — from Lesson Fourteen. Then the strategy sheet comes up automatically for the next similar job. Now the good news: you don't need to install any new framework to do this. Just one line — "recommend an execution pattern for each step of this plan" — is enough. Zero extra tools.

9 · 프론티어 — 자동 최적화9 · Frontier — auto-optimization

여기서 한 발만 더 나가 볼게요. 지금까지는 사람이 모양을 골랐죠. 추천을 받더라도 최종 결정은 사람이었고요. 그런데 연구 쪽에서는, 그 배선 자체를 인공지능이 데이터로 진화시키는 시도가 있습니다. 두 가지만 이름을 가볍게 짚을게요. 하나는 지피티 스웜. 에이전트를 점으로, 그 사이 연결을 선으로 본 그래프를 두고, "어떤 연결이 점수를 올리는지"를 학습해서 좋은 연결은 강화하고 쓸모없는 연결은 잘라 냅니다. 또 하나는 디에스파이. 사람이 프롬프트를 손으로 다듬는 대신, 프롬프트와 가중치를 정해진 점수를 향해 자동으로 튜닝해 줘요. 둘 다 "팀의 모양을 사람이 아니라 데이터가 고른다"는 방향이에요.Let's take just one more step. Up to now, a person chose the shape — even with a recommendation, the final call was human. But in research, there are attempts to have AI evolve that wiring itself from data. Let me name two, lightly. One is GPTSwarm. It treats agents as dots and the connections between them as lines — a graph — and learns "which connections raise the score," strengthening the good ones and pruning the useless ones. The other is DSPy. Instead of a person hand-tuning prompts, it automatically tunes the prompts and weights toward a set score. Both point the same way: the team's shape is chosen by data, not by a person.

그런데 여기 결정적인 조건이 하나 있어요. 이 자동 최적화는 "정답을 점수로 채점할 수 있는 일"에서만 작동합니다. 수학 문제나 코딩 문제처럼, 맞고 틀림을 객관적으로 매길 수 있는 일이요. 점수를 매길 함수가 있어야 어느 쪽이 더 나은지를 기계가 판단하거든요. 반대로 "가계부를 보기 좋게 정리해 줘"처럼 무엇이 더 나은지 채점이 모호한 일에는, 이 방식이 헛돕니다. 어디로 가야 좋은지 신호 자체가 없으니까요. 그래서 이건 지금 당장 실무에 들이라는 도구가 아니라, 아직 연구하고 벤치마크하는 단계예요. "이런 방향이 가능하구나" 하는 감각용입니다. 그리고 이 대목이 십팔 강과 곧장 이어져요. 측정하지 못하면 개선할 수 없다. 채점할 수 없으면 자동 최적화도 못 한다는 말이, 결국 같은 이야기거든요.But there's one decisive condition here. This auto-optimization only works on jobs where the answer can be scored. Jobs like math problems or coding problems, where right and wrong can be judged objectively. You need a scoring function for the machine to decide which side is better. By contrast, for something like "tidy up my household ledger nicely," where what counts as better is fuzzy, this approach spins its wheels — there's no signal telling it which way is good. So this isn't a tool to bring into your daily work right now; it's still at the research-and-benchmark stage. It's for a sense of direction — "so this kind of thing is possible." And this is exactly where Lesson Eighteen connects: if you can't measure it, you can't improve it. "If you can't score it, you can't auto-optimize it" is, in the end, the very same statement.

10 · 실무 스펙트럼 — 너의 위치10 · The practical spectrum — where you stand

그럼 지금 우리가 어디쯤 있는지, 한 줄로 펼쳐 볼게요. 왼쪽 끝은 수동 배선입니다. 사람이 팀의 모양을 직접 그리는 방식이에요. 랭그래프나 크루 에이아이 같은 도구들이 여기 있고, 제어하기 쉬워서 지금 실무의 표준이에요. 가운데가 디에스파이. 모양의 뼈대는 사람이 정하되 안쪽 프롬프트는 자동으로 다듬는, 반자동이죠. 오른쪽 끝이 지피티 스웜. 연결 자체를 데이터로 진화시키는, 연구 프론티어예요. 왼쪽에서 오른쪽으로 갈수록 사람이 정하는 몫은 줄고, 기계가 정하는 몫이 늘어납니다.So let me lay out, in one line, roughly where we stand. The far left is manual wiring — where a person draws the team's shape directly. Tools like LangGraph or CrewAI live here; they're easy to control, and they're today's working standard. In the middle is DSPy: a person sets the skeleton of the shape, but the prompts inside get tuned automatically — semi-automatic. The far right is GPTSwarm, evolving the connections themselves from data — the research frontier. As you move left to right, the share a person decides shrinks, and the share the machine decides grows.

여기서 중요한 건 여러분의 위치예요. 실무는 거의 다 왼쪽에서 가운데 사이에 있습니다. 그리고 이 코스를 끝까지 들은 여러분은, 사실 이미 왼쪽을 쓰고 있어요. 십사 강에서 만든 하네스, 그 대본이 바로 수동 배선이거든요. 그러니까 새 프레임워크를 급히 깔기보다, 가진 걸 잘 쓰는 게 먼저입니다. 오른쪽 끝의 자동 최적화는 "언젠가 저런 것도 있다"는 방향 감각으로 알아 두시면 충분해요.What matters here is your position. Almost all real work sits between the left and the middle. And you, having taken this course to the end, are already using the left. The harness you built in Lesson Fourteen — that script — is exactly manual wiring. So rather than rushing to install a new framework, using well what you already have comes first. The auto-optimization on the far right is enough to know as a sense of direction — "someday, there's that too."

11 · 모양 고르기 5문항11 · Five questions to choose the shape

자, 오늘의 핵심을 다섯 가지 점검으로 묶어 볼게요. 팀을 짜기 전에 이것만 물어보세요. 첫째, 단계 사이의 의존성을 그려 봤나요? 앞이 끝나야 뒤가 되면 체이닝, 서로 상관없으면 병렬입니다. 둘째, 들어오는 일에 유형 분기가 있나요? 있으면 안내데스크, 라우팅이에요. 셋째, 정답을 채점할 수 있거나, 틀리면 비싼 일인가요? 그렇다면 작가와 편집자, 평가자를 따로 두고, 중요하면 여러 결과를 세에서 다섯 개 받아 교차검증하세요.Alright, let me tie today's core into five checks. Before you assemble a team, just ask these. One: did you map the dependencies between steps? If the back needs the front, chain it; if they're unrelated, parallel. Two: does the incoming work split by type? If so, the reception desk — routing. Three: can the answer be scored, or is being wrong costly? If so, place a separate writer-and-editor, an evaluator, and when it matters, take several results — three to five — and cross-check them.

넷째, 실행하기 전에 전략을 한 번 추천받고 골랐나요? 머리로만 정하지 말고, 플래너한테 단계별 추천을 받아 검토자로서 승인하세요. 다섯째, 그 선택을 대본에, 하네스에 적어 뒀나요? 십사 강에서 배웠죠. 조율은 대화가 아니라 대본에 적는다. 다음에도 똑같이 굴러가게요. 마지막으로 꼭 기억하실 게 있어요. 패턴은 많이 쓴다고 좋은 게 아니에요. 맞는 모양을 고를 때 좋은 겁니다. 화려한 모양보다, 이 일에 맞는 모양. 그게 전부예요.Four: before running, did you get a strategy recommendation and choose from it? Don't decide it all in your head — get a per-step recommendation from the planner and approve it as the reviewer. Five: did you write that choice into the script, the harness? You learned it in Lesson Fourteen — coordination goes into a script, not a chat, so it runs the same way next time. And finally, one thing to hold onto: patterns aren't better because you use more of them. They're good when you pick the right shape. Not the fanciest shape — the one that fits this job. That's all there is to it.

12 · 한 문장으로12 · In one sentence

오늘 배운 걸 한 문장으로 굳혀 볼게요. 팀을 만들 줄 아는 건 시작입니다. 일의 모양을 읽고 맞는 패턴을 고르는 안목이 그다음이고, 그 선택마저 데이터로 자동화하는 게 프론티어예요. 시작, 안목, 프론티어. 십삼 강의 환경 설계, 십사 강의 팀, 십팔 강의 측정이 이 한 줄에서 만납니다. 다만 순서를 거꾸로 가지 마세요. 자동화는 채점할 수 있을 때만 되는 거라, 안목 없이 자동화부터 욕심내면 헛돕니다. 만들 줄 알고, 고를 줄 알고, 그다음이 자동화예요.Let me lock today into one sentence. Knowing how to build a team is the start. The eye to read the shape of the work and pick the matching pattern comes next, and automating even that choice from data is the frontier. Start, eye, frontier. Lesson Thirteen's designing the environment, Lesson Fourteen's team, and Lesson Eighteen's measuring all meet in this one line. Just don't run the order backwards. Automation only works when you can score, so reaching for automation without the eye first just spins. Be able to build, be able to choose — and then automation.

13 · 닫으며 — 회수와 자기참조13 · Closing — callback and self-reference

맨 처음 두 장면, 기억나시죠. 이제 답을 돌려받을게요. 첫 번째 팀은 의존성을 그렸어야 했어요. 순서가 있는 일이었으니까요. 두 번째 팀은 독립성을 봤어야 했고요. 서로 상관없는 일이었으니까요. 둘 다, 답은 결국 "모양"이었습니다. 십사 강이 "혼자 쓰지 말고 팀을 만들어라"였다면, 오늘은 한 단을 더 올려 "그 팀의 모양을 골라라"였어요. 그리고 그 고르는 일마저 실행 전에 추천받고, 언젠가는 데이터로 자동화까지 갑니다. 이십 강까지 본편을 다 마친 분들을 위한, 보너스 한 단이었어요.Those first two scenes — remember them? Let me hand back the answers now. The first team should have mapped the dependency — it was an ordered job. The second team should have seen the independence — the pieces were unrelated. For both, the answer, in the end, was "shape." If Lesson Fourteen was "don't work solo — build a team," today went one step up: "choose that team's shape." And even that choosing gets a recommendation before you run, and someday goes all the way to being automated from data. This was a bonus step, for those of you who finished the main course all the way through Lesson Twenty.

마지막으로 작은 고백 하나. 사실 이 보너스 강 자체도 오늘 배운 대로 만들어졌어요. 집필과 팩트체크를 한 줄로 세우지 않고 동시에, 병렬로 돌렸고요. 바깥세상 사실, 그러니까 지피티 스웜이나 디에스파이 같은 건 틀리면 비싸니까, 일부러 교차검증을 끼워 넣었습니다. 오늘 표에서 "정답이 중요하면 교차검증"이라고 했던, 바로 그 모양이죠. 즉, 오늘 가르친 모양 고르기를 이 강이 직접 해 본 거예요. 여러분도 다음에 큰일을 맡기실 때, 딱 한 가지만 떠올리세요. 나누기 전에, 이 일은 어떤 모양일까. 그거면 충분합니다.One last small confession. This bonus lesson itself was made exactly the way we learned today. Writing and fact-checking weren't lined up in a queue — they ran at the same time, in parallel. And the outside-world facts — things like GPTSwarm and DSPy — are costly to get wrong, so we deliberately slotted in cross-checking. That's the very shape the table called for: "when the answer matters, cross-check." In other words, the shape-choosing we taught today, this lesson did itself. So next time you hand off something big, recall just one thing: before you split, what shape is this job? That's enough.