2025.09 — 현재
와이즈에이아이
AI 의료 SaaS인바운드·아웃바운드 AI Agent의 응답 품질을 검증하고 SQL 기반 데이터 정합성과 병원 EMR·API 연동 결과를 확인합니다. Python과 API를 활용해 QA 운영과 배포 프로세스 자동화도 구축했습니다.
Introduce
실행을 넘어
품질의 기준을 설계합니다.
게임과 AI 기반 B2B SaaS에서 약 7년간 QA를 경험했습니다. 테스트 전략과 설계부터 데이터 정합성 검증과 릴리즈 판단까지 담당하며 반복되는 QA 프로세스는 자동화로 개선해 왔습니다.
Career Snapshot
게임 QA에서
AI 서비스 QA까지
개발 초기부터 출시·라이브 운영까지 쌓은 검증 경험을 데이터와 자동화 영역으로 확장하고 있습니다.
2021.10 — 2025.02
모아이게임즈
Game QA트라하 인피니티와 Dungeon Done의 개발·출시·라이브 QA를 수행했습니다. 업데이트의 테스트 범위와 우선순위를 설계하고 3인 QA 업무 조율과 최종 Sign-off를 담당했습니다.
2020.12 — 2021.10
라인게임즈
Game QA카오스모바일·이카루스 이터널·언디셈버의 모바일·PC 기능과 BM·결제 데이터 정합성을 검증했습니다. 테스트 설계와 테스터 업무 분배도 수행했습니다.
2018.01 — 2020.01
EA Korea
Game QAFIFA ONLINE 4의 기능·통합·회귀·호환성 테스트를 수행했습니다. TestRail과 Jira로 테스트 결과와 결함을 관리하고 검증 절차를 문서화했습니다.
Selected Work
문제를 발견하고
더 나은 흐름을 만들었습니다.
산출물의 양보다 어떤 상황에서 무엇을 판단했고 팀과 제품에 어떤 변화를 만들었는지를 중심으로 정리했습니다.
Process Improvement
01
Luffy, Luna
Luffy는 QA 반복 수작업의 90% 이상을 자동화했습니다. Luna는 개발자의 배포 취소 수작업을 없애고 도입 후 자동 배포로 인한 테스트 중단을 0건으로 줄였습니다.
QA Strategy02
Live Service QA Strategy
배포 직전 결함의 실제 사용 맥락과 즉시 수정 리스크를 비교해 릴리즈 판단을 지원했습니다.
UI Automation03
실행 영상 포함 사례 보기게임 화면 + 코드 실행 로그 · 1:07
Gameplay Automation
인식 기준 화면을 맞춘 뒤 이벤트 탐색·실행·재화 수집을 반복하는 게임플레이 자동화를 구현했습니다.
AI Agent Quality04
AI Agent 응답 품질 개선
목표 미달 오류율을 낮추고 목표는 달성하지만 과정이 어색한 응답·툴 사용도 별도 고도화 대상으로 다뤘습니다.
Case Studies
판단의 근거와
실행 과정에 대해
각 사례는 문제 정의, 판단 근거, 실행 방식, 검증 가능한 결과 순서로 읽히도록 구성했습니다.
01 / QA Process Improvement
Luffy, Luna
Luffy는 QA 프로세스에서 사람이 반복 처리하던 티켓·이슈·상태 업무를 자동화했습니다. 기존 워크플로는 코드 머지·푸시 후 배포까지 자동 실행됐고 로직을 바로 수정하기 어려워 개발자가 매번 배포를 직접 취소해야 했습니다. 취소를 놓치면 QA 테스트 서버가 중단되는 일이 반복됐습니다. Luna는 배포를 대기·제어하는 흐름으로 바꿔 이 수작업을 없앴고 도입 후 해당 원인으로 인한 테스트 중단도 발생하지 않았습니다.
90%+
Luffy · QA 프로세스 반복 수작업 자동 처리 비율
Luna · 배포 관련 반복 수동 작업 90% 이상 감소 · 자동 배포로 인한 테스트 중단 0건
Luffy · QA Operations
Slack과 Jira를 연결해 운영 전 검수, 잔여 이슈, 릴리즈·스프린트의 반복 수작업을 자동 처리합니다.
- Slack에서 Jira 이슈 조회·검색·담당자 지정·상태 변경
- ‘QA 가능’ 메시지를 감지해 검수 티켓, 활성 스프린트, 담당 버튼과 체크리스트 생성
- 상태·댓글·담당자 변경을 webhook으로 동기화하고 잔여 이슈 핀을 갱신
- 릴리즈 이후 다음 스프린트를 만들고 미완료 이슈를 자동 이동
Luna · Deploy Control
기존 자동 배포 로직을 바로 바꾸기 어려운 상황에서 GitHub Actions와 Slack을 연결해 배포를 대기·제어했습니다. 개발자의 반복 취소 작업이 사라졌고 업무 만족도도 높아졌습니다.
- BE 머지 직후 자동 배포를 대기시키고 Slack 스레드에서 재실행·취소
- 실패 로그의 메모리 부족을 감지해 최대 2회 자동 재시도
- FE의 HQ·SVC workflow 결과를 동일 커밋 기준으로 통합 알림
- 배포 서버 헬스체크 이후 서버 ON 상태를 기존 배포 스레드에 연결
신뢰성 설계 · webhook 서명 검증 · 이벤트 중복 방지 · 실패 재시도 · 개발/운영 기능 토글
01 · DETECTSlack·Jira·GitHub 이벤트 감지
02 · ROUTELuffy와 Luna의 책임을 분리
03 · CONTROL명령과 버튼으로 상태 직접 제어
04 · RECOVER중복 방지와 실패 자동 재시도
05 · INFORM관련 결과를 같은 Slack 흐름에 전달
02 / Release Risk Decision
Live Service Update QA
트라하 인피니티 업데이트 배포 직전, 특정 직업의 쉴드 생성 스킬에 쉴드량이 과도하게 적용되는 결함을 발견했습니다. 결함 자체뿐 아니라 실제 사용 맥락과 즉시 수정의 위험을 함께 비교해 출시 여부를 판단한 사례입니다.
- 역할업데이트 빌드 QA와 출시 판단 단독 수행
- 판단사용 빈도·서비스 영향과 수정 위험 비교
- 결과일정대로 출시, 해당 건 CS·긴급 패치 없음
릴리즈 판단 흐름 · 쉴드량 결함 사례
- 01 · 발견
배포 직전 결함 확인
특정 직업의 쉴드 생성 스킬에서 의도보다 많은 쉴드량이 적용되는 문제를 확인했습니다.
- 02 · 분석
결함의 실제 사용 맥락 검토
해당 스킬이 사냥 빌드 중심으로 쓰이고 PVP 활용도는 낮다는 점을 근거로, 사용자 체감 가능성과 서비스 영향 범위를 판단했습니다.
- 03 · 비교
잔존 결함과 즉시 수정 위험을 함께 평가
사업 부서는 수정 후 출시를 요청했습니다. QA는 현재 결함의 영향과, 배포 직전 수정이 연관 로직에 사이드이펙트를 만들 가능성을 함께 설명했습니다.
- 04 · 제안
출시 후 대응 방안 협의
사용 빈도와 영향도를 판단 근거로 제시하며, 즉시 수정 없이 예정대로 출시하고 이후 상황에 대응하는 방안을 제안했습니다.
- 05 · 결과
일정대로 출시, 긴급 대응 없이 운영
빌드는 예정대로 출시됐고 해당 건으로 인한 유저 CS나 긴급 패치는 없었습니다. 이후 유사한 상황에서 참고하는 판단 사례가 됐습니다.
03 / UI Automation
Gameplay Automation
배경 변화로 이미지 인식 결과가 흔들리는 문제를 줄이기 위해 먼저 인식 기준 화면으로 이동해 스캔 배경을 일정하게 맞췄습니다. 이후 이벤트 이미지를 탐색하고 감지된 이벤트에 맞는 동작과 단계별 재화 수집을 수행한 뒤 중단할 때까지 같은 루프를 반복하도록 설계했습니다.
- 안정화기준 화면으로 이동해 배경 조건 통일
- 분기이벤트 이미지 감지에 따라 동작 선택
- 반복이벤트 처리·재화 수집 후 재탐색
01 · BASELINE기준 화면으로 이동해 배경 고정
02 · SCAN이벤트 이미지를 루프에서 탐색
03 · ACT감지된 이벤트 동작 수행
04 · COLLECT단계별 생성 재화 수집
05 · LOOP중단 전까지 탐색·실행 반복
04 / AI Agent Response Quality
AI Agent 응답 품질 개선
AI Agent 콜 결과를 목표 미도달, 목표 달성, 목표는 달성했지만 과정이 어색한 경우로 나눠 검증했습니다. 목표 미도달 비율을 오류율로 관리해 이를 낮추는 한편, 목표를 달성해도 대화 흐름이나 도구 사용이 어색한 사례는 별도의 품질 고도화 대상으로 분석했습니다.
약60~70%
담당 시나리오 반복 테스트에서 기록한 목표 미도달 비율의 초기 대비 감소
01 · CLASSIFY결과를 세 가지 유형으로 분류
02 · MEASURE목표 미달 비율로 오류율 추적
03 · TRACE누적 사례에서 반복 패턴 확인
04 · SUGGEST호출 지시와 도구 사용 흐름 개선 제안
05 · RETEST일부 제안 반영 후 동일 조건 재검증
판정 기준 · 성공 여부와 과정 품질을 분리
A. 목표 미도달오류율에 포함
요청한 결과에 명확하게 도달하지 못한 케이스입니다.
B. 목표 달성정상 결과
요청한 결과에 도달하고 수행 과정도 자연스러운 케이스입니다.
C. 과정 어색오류율 제외 · 별도 고도화
결과는 맞지만 응답 흐름이나 도구 사용 경험을 다듬어야 하는 케이스입니다.
오 류 율 = A ÷ (A + B + C) × 100
고도화 필요 비율 = C ÷ (B + C) × 100
반복 테스트에서 도출한 개선 제안
누적 패턴을 반영한 호출 지시 개선
테스트 케이스가 쌓이며 드러난 반복 패턴을 정리하고 필요한 패턴이 적절히 호출되도록 명령 구조를 조정할 것을 제안했습니다.
이미 조회한 정보의 재사용
도구 실행 과정에서 이미 가져온 정보를 다시 조회하는 반복 호출을 확인하고 확보한 정보를 재사용해 불필요한 동작을 줄이도록 제안했습니다.
Current Initiative
WiseAI Project · In Progress
QA Agent 환경 구축
기획서와 기능 정보를 분석해 TC를 설계하고 정책 확인이 필요한 지점을 다시 질문하는 QA Agent를 구축하고 있습니다. 현재는 Playwright로 웹 자동화 테스트를 수행합니다. 테스트 내용을 분석해 API 검증이 필요하면 API 테스트 도구를 호출하는 확장 구조를 설계하고 있습니다. 결과물은 사용자가 검토해 Legacy 자동화 도구 승격 여부를 판단합니다.
CURRENT DIRECTION
Agent 검증 경험에서
QA 실행 환경으로
QA 실행 환경으로
END-TO-END QA AGENT ALGORITHM입력 정보 테스트에서 자동화 테스트 생성까지
01 · INPUT A기획서 입력
요구사항 · 사용자 흐름 · 기대 동작
01 · INPUT B기능 정보 입력
기능 조건 · 상태 변화 · 연관 동작
02 · AI ANALYSIS요구사항과 기능 구조 분석
기능 흐름을 구조화하고 정상·예외 조건과 정책 의존 지점을 식별합니다.
03 · TC DESIGN테스트 케이스 설계
사전 조건 · 수행 단계 · 기대 결과를 기준으로 TC 초안을 생성합니다.
04 · PRIORITY우선순위 분류
핵심 사용자 흐름과 서비스 영향도를 기준으로 검증 순서를 분류합니다.
05 · DECISIONTC 설계에 추가 정책 확인이 필요한가?
NO정책 정보가 충분함
현재 입력 정보를 기준으로 TC 초안과 우선순위를 정리합니다.
YES정책 정보가 부족함
05-1필요한 정책 항목 식별
05-2정책 정보 입력 요청
05-3정책 반영 후 AI 재분석
06 · QA REVIEWTC와 우선순위 최종 검토
생성된 TC와 정책 근거를 QA가 확인한 뒤 검증 범위를 확정합니다.
07 · TEST ROUTING · 확장 설계테스트 내용 분석과 실행 도구 선택
확정된 TC의 수행 단계와 기대 결과를 분석해 화면 조작·표시 검증과 API 요청·응답 검증을 구분합니다.
07-1 · TOOL SELECTION · 확장 설계이 TC에 어떤 검증 도구가 필요한가?
08-A · WEB UI · 현재 적용Playwright 기반 웹 테스트
화면 조작과 사용자 흐름 검증이 필요한 경우 Playwright를 실행합니다. 실제 웹 환경에서 동작과 화면의 기대 결과를 확인합니다.
08-B · API · 확장 설계API 테스트 도구 호출
API 검증이 필요한 경우 요청 조건과 기대 결과를 API 테스트 도구에 전달합니다. 응답 상태와 반환 데이터가 기대 결과에 부합하는지 확인하도록 설계합니다.
UI만 필요 → 웹 테스트 · API만 필요 → API 테스트 · 둘 다 필요 → 시나리오 의존 순서에 따라 두 도구 실행
09 · RESULT PACKAGE실행 결과 통합과 결과물 생성
선택한 도구의 실행 결과를 TC 단위로 모읍니다. 성공·실패 결과와 실행 로그 및 재현 근거를 사용자가 판단할 수 있는 형태로 정리합니다.
10 · USER DECISION결과물을 Legacy 자동화 도구로 승격할 것인가?
YESLegacy 자동화 도구로 승격
반복 실행할 가치가 있는 시나리오를 회귀 테스트용 자동화 테스트로 등록합니다.
NO보류 또는 보완
단발성 결과로 유지하거나 TC와 정책 및 실행 흐름을 보완한 뒤 다시 테스트합니다.
정책 부족 → AI 재분석 · 실행 결과 보완 필요 → TC 또는 도구별 실행 흐름 수정 완료 → 테스트 산출물을 자동화 테스트로 남길지 사용자에게 제공 → 반복 회귀 자산으로 활용
현재 구축 중인 프로젝트입니다. 지속적인 설계 업데이트와 사용 도구는 확장 중이며 현재까지의 설계 정보를 시각화 한 정보입니다.
About
QA의 역할을 테스트 실행에 한정하지 않습니다.
요구사항을 검증 가능한 형태로 정리하고 서비스 영향도를 기준으로 리스크를 판단합니다. 반복되는 문제가 있다면 테스트 방법과 업무 프로세스까지 개선합니다.
01검증 가능한 요구사항
모호함을 줄이고 팀이 같은 기준으로 판단하도록 정리합니다.
02영향도 기반의 우선순위
모든 문제를 동일하게 보지 않고 사용자와 서비스 영향을 기준으로 판단합니다.
03반복을 줄이는 개선
SQL·API·Python과 AI 도구로 검증 범위와 문제 해결 속도를 높입니다.
Keep Growing
새로운 영역을 배우며 검증의 깊이를 넓혀갑니다.
게임 QA에서 AI 의료 SaaS QA로 영역을 넓히며 익숙하지 않은 서비스도 사용자 흐름과 데이터 구조부터 이해해 왔습니다. 필요한 기술은 직접 익혀 SQL·API 검증과 Python 자동화에 적용했습니다. 배운 내용은 팀이 다시 활용할 수 있는 방식으로 발전시키고 있습니다.
Building Now
AI Agent 검증 경험을 QA Agent 환경으로 확장하고 있습니다.
AI Agent의 응답 품질과 도구 사용 흐름을 검증하며 축적한 평가 기준을 QA Agent 구축에 적용하고 있습니다. 반복 검증과 결과 정리를 지원해 QA가 품질 리스크 판단에 더 집중할 수 있는 환경을 만드는 중입니다.
Contact