NotesAI / Development / Release / AX

AI가 코드를 짜도 배포 검증은 따로 해야 한다

코드가 수정됐다는 것과 실제 운영에 올바르게 반영됐다는 것은 다른 상태입니다. 코드, 빌드, 배포, 실제 사용자 화면을 분리해 확인하게 된 경험을 정리했습니다.

개발하면서 한 번쯤 이런 상황을 만납니다.

분명 수정했는데
운영 화면은 왜 그대로지?

코드는 바뀌어 있습니다.

테스트도 통과했습니다.

그런데 실제 사용자가 보는 화면에는 변경이 반영되지 않았습니다.

이 경험을 몇 번 하고 나니 코드 수정 완료와 배포 완료를 같은 상태로 보면 안 된다는 것이 분명해졌습니다.

코드가 맞는 것과 배포가 맞는 것은 다르다

저는 변경을 세 단계로 나눠서 보기 시작했습니다.

1. 코드 상태
2. 빌드 산출물
3. 운영 배포 상태

각 단계는 서로 다릅니다.

코드는 수정됐지만 빌드가 안 됐을 수 있습니다.

빌드는 성공했지만 이전 산출물이 배포됐을 수도 있습니다.

배포 명령은 성공했지만 실제 서비스가 다른 설정을 보고 있을 수도 있습니다.

그래서 “수정 완료”라는 말만으로는 실제 완료 상태를 알기 어렵습니다.

AI는 현재 프로젝트를 잘 봐도 운영 맥락까지 아는 것은 아니다

코딩 에이전트는 저장소를 읽고 관련 파일을 찾고, 수정과 테스트까지 상당한 일을 할 수 있습니다.

하지만 별도로 확인해야 하는 정보가 있습니다.

실제 운영 서버는 어디인가
현재 어떤 버전이 배포돼 있는가
운영 환경 변수는 무엇인가
배포 절차는 무엇인가
이 변경을 되돌리는 방법은 무엇인가

코드 저장소 안에 없는 운영 맥락도 있기 때문입니다.

그래서 작업을 맡길 때 구현 지시와 별도로 완료 조건을 붙이게 됐습니다.

  • 먼저 현재 상태를 확인할 것
  • 변경 전 영향 범위를 볼 것
  • 수정 후 타입 검사와 빌드를 실행할 것
  • 배포 전에 변경 내역을 요약할 것
  • 배포 후 실제 응답과 주요 화면을 확인할 것

핵심은 AI에게 더 자세한 코딩 방법을 알려주는 것이 아니라

어디까지 확인해야 완료인지 알려주는 것이었습니다.

배포 체크리스트는 짧을수록 쓰기 좋았다

복잡한 절차보다 짧고 반복 가능한 체크가 더 유용했습니다.

변경 파일 확인
→ 테스트
→ 빌드
→ 배포
→ 실제 응답 확인
→ 주요 화면 확인

특히 마지막 두 단계가 중요했습니다.

배포 명령 성공
≠
사용자 화면 정상

도메인, 캐시, 프록시, 환경 변수, 외부 연계처럼 코드 밖의 문제도 있기 때문입니다.

변경 이력은 기억을 대신한다

AI가 여러 파일을 수정하거나 한 작업에서 변경 범위가 넓어지면 사람이 모든 내용을 머릿속에 들고 있기 어렵습니다.

그래서 최소한 다음 정보는 남기는 편이 좋았습니다.

  • 무엇을 바꿨는가
  • 왜 바꿨는가
  • 어떤 테스트를 했는가
  • 어느 버전이 배포됐는가
  • 문제가 생기면 어디로 돌아갈 것인가

이 기록은 보고용이라기보다 문제가 생겼을 때 현재 상태를 다시 찾기 위한 기준입니다.

특히 “어제 무엇을 올렸지?”가 아니라

지금 운영에 무엇이 올라가 있는가

를 확인할 수 있어야 합니다.

운영에서만 보이는 문제가 있다

환경 변수, 네트워크, 외부 API, 도메인, 캐시처럼

로컬에서는 재현하기 어려운 문제도 있습니다.

그래서 운영 배포 후에는 단순 HTTP 응답만 보는 것으로 끝내기 어렵습니다.

기능 특성에 따라 중요 경로를 따로 확인합니다.

  • 로그인
  • 권한
  • 주요 API
  • 파일 업로드
  • 외부 연계
  • 모바일 화면
  • 실제 데이터 흐름

모든 기능을 매번 확인할 수는 없습니다.

대신 실패했을 때 영향이 큰 경로를 정해서 그 부분은 반복해서 확인하는 편이 현실적입니다.

PM도 완료의 경계를 알아야 한다

PM이 코드를 직접 작성하지 않더라도 기능이 어느 상태까지 와 있는지는 구분할 필요가 있습니다.

코드 수정
빌드 성공
개발 환경 확인
운영 배포
사용자 경로 확인

이 중 어디까지 끝났는지에 따라 “완료”의 의미가 달라집니다.

그래서 PM도 이런 질문을 할 수 있어야 합니다.

  • 이 변경은 어디까지 영향을 주는가?
  • 테스트는 무엇을 확인했는가?
  • 운영에도 같은 설정이 있는가?
  • 되돌릴 방법이 있는가?
  • 실제 사용자 화면까지 확인했는가?

이건 개발팀을 감시하기 위한 질문이 아닙니다.

프로젝트의 완료 상태를 같은 기준으로 보기 위한 질문입니다.

AI 코딩에서도 마지막 단계는 별개다

AI가 코드를 작성하고, 테스트까지 수행한다고 해도

실제 운영에 반영되는 과정은 별도의 흐름입니다.

구현 완료
≠
릴리스 완료
≠
사용자 확인 완료

이 구분이 없으면 “코드는 끝났는데 왜 안 되지?”라는 일이 반복됩니다.

저는 AI 코딩을 쓰면서 오히려 이 경계가 더 선명하게 보였습니다.

AI가 어디까지 했는지가 아니라,

사용자가 실제로 바뀐 결과를 만났는가

까지 확인해야 비로소 하나의 작업이 닫힙니다.