Claude나 GPT를 오픈소스 LLM으로 교체하기

마이그레이션 플레이북: 어떤 오픈 모델이 어떤 폐쇄 모델에 매핑되나, 뭐가 깨지나, 갈아타기 전 섀도 테스트법.

1. STEP 1

   모델 → 모델 매핑

   Claude Opus / GPT-5 → DeepSeek V4 685B(프론티어). Claude Sonnet / GPT-5 mini → DeepSeek V4 67B 또는 라마 4 70B. Claude Haiku / GPT-5 nano → 라마 4 8B 또는 Qwen3.6 7B. 항상 자기 프롬프트로 테스트 — 품질 매핑은 벤치마크와 다름.

2. STEP 2

   평가셋 먼저 구축

   프로덕션 프롬프트 200~500개 추출. 각각 폐쇄 모델 응답 수집 — 이게 정답. 오픈 모델 돌려서 다른 LLM(LLM-as-judge) 또는 사람이 채점. 없으면 마이그레이션이 품질 떨어뜨리는지 알 수 없음.

3. STEP 3

   프롬프트 템플릿 처리

   Claude와 GPT는 챗 포맷, 오픈 모델은 모델별 채팅 템플릿(Llama-3 포맷, ChatML, Mistral-Instruct 등). 직접 작성 말고 허깅페이스 apply_chat_template() 사용.

4. STEP 4

   프로덕션 섀도 테스트

   1~2주간 각 요청을 폐쇄 모델(사용자에 응답)과 오픈 모델(로그만) 둘 다 보냄. 로그 비교. 사용자보다 먼저 차이 발견.

5. STEP 5

   폐쇄 모델은 폴백으로 유지

   전환 후, 회귀하는 요청 유형은 Claude/GPT로 되돌리는 라우팅 레이어 유지. 대부분 팀이 하이브리드로 안착: 루틴 80%는 오픈, 필요한 20%는 폐쇄. 비용 절감은 여전히 큼.