운영 중인 A/S 시스템에서 직원이 화면 문제를 제보하면, 대부분 증상 한 줄뿐이었습니다. 원인을 찾으려면 화면에서 라우트, API, 컨트롤러, 서비스, 오류 코드까지 따라가야 했습니다. 제보 단계에서 재현 정보와 원인 후보 위치를 확보해, 개발자가 바로 수정에 들어갈 수 있는 이슈가 필요했습니다.
설계와 구현
01
쓰기 도구가 없는 에이전트
에이전트의 도구 9종은 전부 읽기 전용이고, 이슈를 만드는 도구는 두지 않았습니다. 이슈는 사람이 [이슈 만들기]를 누르고 서버가 확인 체크·대화 소유자·최신 초안을 검증해야 만들어집니다. 프롬프트 주입이 성공해도 이슈를 만들 방법이 없습니다.
도구 권한 · 개념도
에이전트의 도구
읽기 전용9종
이슈를 만드는 도구없음
프롬프트 주입이 성공해도 이슈를 만들 방법이 없습니다
초안
이슈 생성
사람[이슈 만들기]
서버확인 체크·대화 소유자·최신 초안
✓ 검증해야 만들어집니다
02
배포된 커밋의 소스를 읽고, 서버가 다시 확인
빌드 직전에 배포 커밋의 소스 스냅샷을 만들어 서버에 함께 싣습니다. 임베딩·벡터 DB 없이 라우트·API·오류 코드 색인과 줄 단위 읽기로 조사합니다. 모델이 짚은 의심 위치는 서버가 스냅샷에서 파일·줄이 실제로 있는지 다시 확인하고, 없으면 버립니다.
03
서버 2대에서 대화 상태를 Redis로
운영 서버 2대에서 대화를 만든 서버와 다음 요청을 받는 서버가 다르면 대화를 찾지 못했습니다. 대화 상태를 Redis로 옮기고, 소유 토큰을 확인하는 Lua 스크립트 잠금으로 만료 뒤 늦게 도착한 쓰기가 상태를 덮지 못하게 했습니다. 턴 세대 번호로 시간 초과된 턴의 결과를 버리고, 대화 키는 해시 태그로 같은 슬롯에 묶어 클러스터 모드의 CROSSSLOT 오류를 피했습니다.
04
실제 모델 호출 평가와 위반 주입
실제 모델을 호출하는 평가를 6회차 진행했습니다. 모델이 초안 형식을 어길 때 다시 제출하게 하자 5건 중 4건이 같은 모양으로 반복했습니다. 그래서 거부하지 않고 빠진 칸만 복원하도록 바꿨습니다. 방어 코드를 일부러 빼는 위반 주입 22건이 모두 테스트 실패로 드러나는 것도 확인했습니다.
05
제보에서 배포까지 잇는 입구
도우미가 만든 이슈는 화면·재현 순서·오류 코드·의심 위치가 구조화돼 들어옵니다. 이후 계획·구현·검증·배포는 직접 만든 jira-harness 워크플로가 잇습니다. 도우미가 적은 원인은 가설로 보고, 재현 테스트로 먼저 확인한 뒤 고칩니다.
제보
되묻기
소스 조사
초안
사람 확인
Jira 이슈
이해를 돕기 위해 단순화한 개념 흐름입니다.
현재 범위
도우미를 거쳐 등록된 이슈 109건
Jira 라벨 집계 · 2026-11-19 조회
2026년 10월 운영 환경에 켠 뒤 도우미를 거쳐 등록된 이슈는 109건(운영 제보 94건 · 오픈 전 QA 15건)이고, 그중 69건을 처리 완료했습니다. 제보부터 완료까지 중앙값은 약 1.9일입니다(완료 69건 기준 · Jira 집계 2026-11-19). 실제 모델 호출 평가에서 건당 비용은 약 $0.003~0.006였습니다. 후속으로 고객 검색·묶음 접수·업무 통계 조회를 대화로 처리하는 AI 업무 도우미를 설계했습니다. AI는 초안까지만 만들고 등록은 사람이 확정하는 원칙이며, 서로 다른 두 모델의 독립 교차 검증으로 설계 보완 26건을 찾았습니다.