오케스트레이션Orchestration

반장은 직접 벽을 바르지 않아요

흐름을 관리하는 부분은 대개 아주 평범한 프로그램이에요. 똑똑한 판단을 하는 게 아니라 "이게 끝나면 저것", "이 값이 비어 있으면 여기로"처럼 미리 적어 둔 규칙을 그대로 따라가요.

판단이 필요한 자리에만 AI를 불러요. 긴 글을 간추리거나, 문의가 어떤 종류인지 가르거나, 초안을 쓰는 자리 같은 곳이에요. 나머지 자리에는 검색, 계산, 저장처럼 정확하게 딱 떨어지는 도구를 두고요. 이렇게 나누면 AI가 잘하는 일과 못하는 일을 갈라 맡길 수 있어요.

한 번에 다 시키지 않고 나누는 이유가 여기 있어요. 긴 지시를 한 덩어리로 던지면 어디서 어긋났는지 알 수 없지만, 단계로 나누면 어느 칸에서 멈췄는지 바로 보여요. 그 칸만 다시 부르면 되고요.

공정표에는 순서와 조건이 함께 적혀요

흐름이 늘 한 줄로 이어지지는 않아요. 서로 상관없는 두 단계는 나란히 돌려서 시간을 아끼고, 결과에 따라 갈라지는 자리에는 갈림길을 그려 둬요. 문의가 단순하면 바로 답하고, 복잡하면 자료를 찾는 단계로 보내는 식이에요.

같은 단계를 여러 번 도는 흐름도 있어요. 초안을 쓰고, 검토하고, 지적된 곳을 고치고, 다시 검토하는 식이죠. 이때는 몇 번까지 돌지 한계를 정해 두어야 해요. 한계가 없으면 서로 고쳐 달라는 말만 주고받으며 끝나지 않는 공사가 되거든요.

앞 공정의 결과가 다음 공정의 자재예요

단계와 단계 사이에서 가장 자주 사고가 나요. 앞 단계가 목록을 내놓기로 했는데 문장 한 덩어리를 내놓으면, 다음 단계는 받아 든 자재를 쓰지 못하고 멈춰요. 사람이 쓰는 말로 답하는 AI를 중간에 두면 이 어긋남이 특히 잦아요.

그래서 단계 사이에 검사를 끼워 넣어요. 나온 결과가 약속한 모양인지 확인하고, 아니면 다시 요청하거나 고쳐서 넘겨요. 넘기는 내용을 필요한 만큼만 추려 주는 것도 중요해요. 앞에서 나온 것을 통째로 다음 단계에 밀어 넣으면 시간과 비용이 눈덩이처럼 불어나요.

어긋났을 때를 미리 적어 둬요

흐름은 언제든 끊겨요. 부르려던 도구가 잠깐 응답하지 않거나, 사용량 한도에 걸리거나, 답이 예상 밖으로 나오거나 하죠. 잘 짠 흐름에는 이럴 때 몇 번까지 다시 시도할지, 그래도 안 되면 어떤 다른 길로 갈지, 어디에서 멈추고 사람을 부를지가 적혀 있어요.

되돌릴 수 없는 단계는 따로 표시해 둬야 해요. 메일을 보내거나 결제를 하는 자리처럼 한 번 지나가면 무를 수 없는 곳이에요. 이런 자리 앞에는 사람이 확인하는 칸을 두거나, 같은 요청이 두 번 들어와도 한 번만 처리되도록 막아 둬요.

무엇이 어디까지 진행됐는지 기록을 남기는 일도 빼놓을 수 없어요. 기록이 없으면 결과가 이상할 때 어느 공정에서 틀어졌는지 찾을 방법이 없어요.

정해진 순서와 스스로 정하는 순서

여기까지가 공정표를 미리 그려 두는 방식이에요. 반장이 순서를 쥐고 있으니 결과를 예상하기 쉽고, 문제가 생겼을 때 어디를 봐야 할지도 분명해요. 대신 미리 그려 두지 않은 상황이 오면 흐름이 그대로 멈춰요.

반대로 각자 판단해 순서를 정하게 맡기는 방식도 있어요. 어떤 도구를 언제 쓸지 AI가 그때그때 고르는 쪽이에요. 낯선 상황에 잘 대처하는 대신 같은 요청에도 매번 다른 길을 골라서, 결과를 예상하기 어렵고 값도 들쭉날쭉해져요. 실제 서비스에서는 큰 줄기를 공정표로 잡아 두고 판단이 필요한 칸 안에서만 자유를 주는 절충을 많이 써요.