◀ 이전 회차: 메모 몇 줄이면 버그 리포트가 완성된다고?
1. 사건의 발단 (Case Study)
🎙️ 미니 인터뷰: "패치노트 한 줄이 체크항목 열 개가 되는 세계"
Q. 리그레션 테스트가 그렇게 힘든 건가요? 기존 체크리스트 돌리면 되는 거 아닌가요?
기존 체크리스트 돌리는 거... 그게 쉬우면 좋겠는데요. 저희 팀 리그레션 체크리스트가 800항목이 넘거든요. 패치 때마다 800개를 다 돌릴 수는 없잖아요. 그래서 패치노트 보고 '이번에 뭘 건드렸지?' 확인한 다음에 관련된 항목만 골라야 하는데... 패치노트에 '전투 밸런스 조정'이라고 써 있으면 그게 스킬 데미지인지 쿨타임인지 매칭 로직인지 전부 기획서까지 가서 확인해야 해요. 골 라내는 것 자체가 반나절이에요.
Q. 패치노트가 상세하게 안 나오나요?
개발팀 내부 패치노트는 좀 나은 편인데... 그래도 'PVP 매칭 로직 개선'이라고 한 줄이면 저는 매칭 대기, 매칭 성사, 매칭 취소, 매칭 후 로딩, 매칭 후 닉네임 표시까지 다 펼쳐봐야 하거든요. 한 줄이 체크항목 열 개가 되는 거예요. 근데 이게 패치 항목이 20개면... 아 진짜 눈앞이 캄캄해지죠. 그래서 보통 급한 것부터 골라서 하는데, 그러다 빠뜨리는 영역이 생기는 거예요.
Q. 빠뜨리면 어떻게 되는 건가요?
라이브 나가고 나서 유저가 커뮤니티에 올려요. '패치 후에 스킬 이펙트 안 나옴' 이런 거... 그러면 긴급 핫픽스 들어가는데 그때 '왜 QA에서 못 잡았냐'가 나와요. 전투 쪽은 특히... 유저가 바로 체감하니까 커뮤니티 반응이 빠르거든요. 이전에 스킬 쿨타임 관련 리그레션을 놓친 적이 있었는데, 그때 커뮤니티에 '이번 QA 뭐 했냐' 글 올라왔었어요... 그때 진짜 밤잠을 못 잤어요.
Q. 그래서 지금은 어떻게 하고 있어요?
패치노트를 엑셀에 옮기고, 기존 체크리스트랑 한 줄 한 줄 대조해요. 영향받을 것 같은 항목에 색칠하고, 새로 추가할 항목은 별도 시트에 적고... 솔직히 이 매핑 작업에만 하루가 꼬박 걸려요. 근데 패치 일정은 정해져 있으니까 매핑 끝나면 바로 테스트 시작해야 하고, 시간에 쫓기다 보면 '이거 영향 있을 것 같은데... 일단 넘어가자' 하게 되거든요. 그게 결국 누락으로 이어지는 건데... 알면서도 시간이 없으니까.
2. 문제 해결을 위한 레시피 (Solution)
🩺 마스터의 진단
하은 씨의 핵심 병목은 리그레션 테스트 자체가 아니라 '어디를 테스트해야 하는지 결정하는 과정'에 있습니다. 패치노트 한 줄에서 영향 범위를 펼치고, 300개 넘는 기존 체크리스트와 대조하고, 빠진 엣지케이스를 새로 설계하는 이 매핑 작업이 하루를 잡아먹고 있거든요.
AI를 투입하면, 패치 항목별 영향 범위 분석과 체크리스트 선별을 자동화해서 QA의 시간을 '매핑'이 아닌 '실제 테스트'에 집중시킬 수 있습니다.
[Step 1] 패치노트 + 기존 체크리스트 준비하기
이번 패치의 내부 패치노트(변경 사항 목록)를 텍스트로 복사합니다. 그리고 팀에서 사용 중인 리그레션 체크리스트를 엑셀이나 구글 시트에서 텍스트로 복사합니다. 체크리스트는 항목 번호와 설명이 있으면 충분합니다.
⚠️ 패치노트와 체크리스트에 사내 코드명이나 미공개 기능명이 포함될 수 있습니다. 사내 보안 정책을 반드시 확인하세요. ChatGPT 무료 플랜은 입력 데이터가 모델 학습에 사용될 수 있습니다. 민감한 내용은 일반적인 표현으로 바꿔서 입력하는 것을 권장합니다.
[Step 2] ChatGPT에 분석 프롬프트 입력하기
ChatGPT(chatgpt.com)에 접속해서 아래 프롬프트를 복사합니다. [패치노트]와 [기존 체크리스트] 자리에 준비한 텍스트를 붙여넣고 전송합니다. 체크리스트가 길면 파일로 업로드해도 됩니다.
[역할]
너는 모바일 게임 QA팀에서 리그레션 테스트를 전담하는 시니어 QA 엔지니어야. 패치노트를 보고 영향 범위를 빠짐없이 분석하고, 기존 체크리스트에서 다시 돌려야 할 항목을 선별하는 데 능숙해.
[임무]
아래 패치노트를 분석해서 리그레션 체크리스트를 만들어줘.
[분석 절차]
1. 패치노트 각 항목을 읽고, 변경된 기능이 영향을 줄 수 있는 관련 기능을 모두 나열해
2. 기존 체크리스트에서 해당 영향 범위에 포함되는 항목을 선별해
3. 기존 체크리스트에 없지만 이번 패치로 새로 검증해야 할 항목을 추가해
[출력 형식]
표 2개로 나눠줘.
표 1: 기존 체크리스트에서 선별한 항목
| # | 기존 항목 번호 | 항목 설명 | 관련 패치 항목 | 우선순위 |
표 2: 신규 추가 체크항목
| # | 항목 설명 | 관련 패치 항목 | 검증 포인트 | 우선순위 |
[우선순위 기준]
- 상: 핵심 기능(전투/결제/매칭) 직접 영향, 유저 체감 즉시
- 중: 연관 기능 간접 영향, 특정 조건에서 발생 가능
- 하: UI/텍스트/사운드 등 플레이에 지장 없는 변경
[작성 규칙]
- 패치 항목 하나가 여러 기존 항목에 영향 줄 수 있으니 빠짐없이 매핑해
- 신규 항목은 기존 체크리스트에 없는 엣지케이스 위주로 (기존 항목과 중복 금지)
- 검증 포인트는 '어떤 상태에서 어떻게 확인하는지' 한 줄로 적어
[패치노트]
(여기에 이번 패치노트를 붙여넣으세요)
[기존 체크리스트]
(여기에 기존 리그레션 체크리스트를 붙여넣으세요. 파일 업로드도 가능합니다)여기서는 샘플로 만든 패치노트(12항목)와 리그레션 체크리스트(30항목)를 넣어보겠습니다.
[Step 3] 체크리스트 검토 후 테스트 계획에 반영하기
AI가 생성한 리그레션 체크리스트를 검토합니다. [신규 추가] 항목은 실제 게임 플로우에서 유효한지 확인합니다. 우선순위가 높은 항목부터 이번 패치 테스트 계획에 반영합니다. 팀 체크리스트 원본에 신규 항목을 추가해두면 다음 패치에서도 활용할 수 있습니다.
3. 결과 (Result)
핵심 수치: 리그레션 체크리스트 매핑 시간: 하루(6~8시간) → 15분
주요 특징:
1. 패치 항목별 영향 범위 자동 분석
2. 800+ 기존 항목에서 관련 항목 자동 선별
3. 기존에 없는 엣지케이스 신규 항목 자동 생성
시사점: 리그레션 테스트의 진짜 병목은 '테스트를 실행하는 것'이 아니라 '무엇을 테스트할지 결정하는 것'이었습니다. AI가 영향 범위 매핑을 대신하면 QA는 판단과 실행에 온전히 집중할 수 있습니다.
4. 리뷰 (Review)
📊 AI 활용 비포 & 애프터 비교
단순히 요청했을 때와, 우리의 [마스터 프롬프트]를 사용했을 때의 결과물 차이를 확인해 보세요.
💡 Master's Secret: 결정적 차이를 만드는 프롬프트의 원리
💡 Master's TIP!
💡 시니어 QA 역할 → 연쇄 영향 범위 추론
단순히 '체크리스트 만들어줘'라고 하면 패치노트를 그대로 옮기는 수준에 그칩니다. 시니어 QA 엔지니어 역할을 부여하면, '스킬 쿨타임 변경'에서 '버프 중첩', '전투 중 UI 갱신', 'PVP 밸런스'까지 연쇄적으로 영향받는 영역을 추론합니다.
💡 분석 절차 명시 → 빠짐없는 매핑
AI에게 '1. 영향 범위 나열 → 2. 기존 항목 선별 → 3. 신규 항목 추가' 순서를 강제하면, 패치 항목 하나를 대충 훑고 넘어가는 대신 체계적으로 처리합니다. 절차를 주지 않으면 패치 항목 20개 중 뒤쪽 10개의 분석이 부실해질 수 있습니다.
💡 표 2개 분리 → 기존 vs 신규의 의사결정 분리
'기존 항목 선별'과 '신규 항목 추가'를 하나의 표에 섞으면 검토할 때 '이건 이미 있던 건가, 새로 만든 건가?'를 매번 판단해야 합니다. 표를 분리하면 기존 항목은 바로 테스트 계획에 넣고, 신규 항목만 별도로 유효성을 확인하면 되니 검토 효율이 올라갑니다.
💬 서하은 QA 테스터의 한마디
전에는 패치 때마다 엑셀이랑 패치노트 사이를 왔다 갔다 하면서 하루가 날아갔거든요. 지금은 패치노트랑 체크리스트 붙여넣고 15분이면 끝나요. 시니어한테 '이번에 빠진 거 없냐'고 물어봤는데 오히려 '이런 항목까지 봤어?' 하시더라고요. 그때 속으로 좀 뿌듯했어요.
▶ NEXT CHAPTER
주간 QA 회의. 리그레션 체크리스트를 화면에 띄우고 항목별로 훑는데, 시니어가 고개를 끄덕인다. "신규 추가 항목 근거도 붙어 있고, 우선순위 기준도 괜찮네. 이대로 이번 패치 테스트 플랜에 반영하자."
체크리스트가 통과됐다 — 속으로 좀 뿌듯해 하고 있는데, 회의가 끝나려는 타이밍에 시니어가 슬라이드를 하나 더 넘긴다.
시니어: "아 맞다, 하나만 더. 이번에 전투 쪽 스킬 명칭이랑 효과 설명 바뀐 거 있잖아. 번역팀이 스트링 업데이트 넣었는데 — 변수 깨진 거 없는지 1차 검수 좀 봐줄 수 있어? 지난번에 {player_name}이 통째로 깨져서 라이브에서 난리 났었으니까."
회의실을 나와서 스트링 테이블을 열었다. 12개 언어, 행이 수천 줄. 스크롤을 내리는데 벌써 {player_name}이 {0}으로 바뀐 곳, 문장이 통째로 비어 있는 곳이 눈에 띈다.
한 줄 한 줄 보기엔 양이 너무 많은데 — 패턴이 있는 오류라면 한꺼번에 걸러낼 수 있지 않을까.
▶ [다음 회] 12개국 번역 스트링, 변수 깨짐을 AI가 1차 필터링해준다고?
📂 부록: 함께 읽으면 좋은 레시피 & 용어
◀ 이전 회차: 메모 몇 줄이면 버그 리포트가 완성된다고?
▶ [게임 기획] 서브 퀘스트 30개를 2주 안에? AI로 시나리오 뼈대 10분 만에 잡기
▶ [콘텐츠 부업] "블로그 글 하나 쓰는 데 3시간... SEO 초안을 30분에 뽑는 법"
▶ [게임 기획] 서브 퀘스트 30개를 2주 안에? AI로 시나리오 뼈대 10분 만에 잡기
패치 후 리그레션에서 빠뜨려서 라이브에서 터진 경험, 다들 한 번쯤 있으시죠? 어떤 유형의 리그레션이 가장 잡기 어려운지 댓글로 남겨주시면 체크리스트 설계 팁을 알려드릴게요!