QA에서 버튼보다 먼저 확인하고 싶은 것
기획부터 출시 이후 개선까지 이어지는 QA는 어떤 모습일까요? 기능 동작과 실제 사용자 흐름을 함께 검증하고, 발견한 문제를 다음 설계로 연결하는 방법을 생각해봤습니다.
QA라고 하면 버튼을 누르고 오류를 찾는 장면이 먼저 떠오른다.
저장되는지, 검색되는지, 화면이 깨지지 않는지 확인하는 일은 필요하다. 그런데 각각의 기능이 정상이어도 사용자는 일을 끝내지 못할 수 있다.
입력은 됐는데 무엇을 제출했는지 확인할 수 없거나, 다음 사람이 처리할 정보를 찾지 못하는 경우다.
그래서 QA에서도 화면의 동작과 함께 사용자가 시작한 일을 어디까지 마칠 수 있는지 보고 싶다.
기획의 가정을 확인하는 시나리오
검토와 승인이 있는 서비스를 가상으로 생각해보자.
버튼별로 테스트하면 등록, 승인, 알림 발송이 각각 정상인지 확인할 수 있다. 여기에 처음 사용자가 신청하고, 담당자가 검토하고, 보완 후 결과를 확인하는 시나리오도 필요하다.
처음 기획에서 예상한 행동과 실제 흐름을 비교할 수 있기 때문이다.
사용자가 어떤 정보를 알고 있다고 가정했는지, 담당자가 언제 확인할 것으로 생각했는지도 드러난다. 가정이 틀렸다면 동작 오류가 없어도 설계를 바꿔야 할 수 있다.
예외 상황을 사용자 입장에서 이어보기
중복 클릭을 막았다는 사실과 사용자가 처리 결과를 이해한다는 사실은 다르다.
제출 중 연결이 끊겼을 때 요청이 접수됐는지 알 수 없다면, 사용자는 다시 제출할 수 있다. 시스템이 중복 처리를 막더라도 안내가 없으면 계속 불안할 것이다.
보완 요청, 권한 변경, 담당자 부재처럼 예상할 수 있는 예외를 골라, 그 이후 사용자가 어디로 가는지 확인하고 싶다.
에러 메시지가 나오는 것에서 끝내지 않고 현재 상태와 가능한 다음 행동이 보여야 한다. 돌아갈 방법도 검증의 대상이 된다.
문제를 고칠 때도 이유를 공유하기
QA에서 발견한 문제를 모두 같은 우선순위로 처리할 수는 없다.
업무를 끝낼 수 없는 문제인지, 잘못된 결과를 만들 가능성이 있는지, 일부 상황에서만 발생하는지 구분해야 한다. 수정에 따른 영향과 출시 일정도 함께 봐야 한다.
“불편하니 바꿔주세요”보다 어느 사용자에게 어떤 상황에서 문제가 생기고, 어떤 결과를 기대하는지 설명하면 협업하기 수월할 것 같다.
디자이너와 개발자가 다른 해결책을 제안할 수도 있다. 처음 그린 화면을 지키는 것보다 처음 해결하려던 문제가 해결되는지 함께 판단하는 편이 좋겠다.
작은 검증이 출시 판단으로 이어지기
모든 항목을 확인했다는 체크리스트만으로 출시를 결정하기는 어렵다.
사용자 흐름의 핵심 부분이 검증됐는지, 아직 확인하지 못한 조건은 무엇인지, 남은 문제를 누가 어떤 방식으로 다룰지 정리해야 한다.
초기 사용 범위를 제한하거나 일부 기능을 뒤로 미루는 선택도 있을 것이다. 출시 후 문제가 생겼을 때 중단하거나 복구할 방법도 함께 확인할 필요가 있다.
검증에서 배운 내용이 출시 범위와 운영 계획에 반영돼야 QA가 다음 단계와 연결된다.
오픈 이후에도 확인할 가정은 남아 있다
출시 전에 시험한 사람과 실제 사용자는 다르다. 사용 환경과 데이터도 더 다양해진다.
그래서 문의와 오류 기록, 완료하지 못한 흐름, 반복해서 우회하는 행동을 개선의 재료로 보고 싶다.
다만 문의가 하나 들어왔다고 바로 기능을 추가하기보다, 어떤 조건에서 발생했고 얼마나 반복되는지 확인해야 한다. 정책의 문제인지, 안내의 문제인지, 구현의 문제인지에 따라 대응도 달라진다.
수정한 뒤에는 같은 문제를 다루던 시나리오를 다시 확인해야 한다. 반복되는 문제라면 다음 QA의 기준으로 남길 수 있다.
이번에 발견한 문제가 다음 설계와 검증을 어떻게 바꿨을까?
이 질문이 남는 QA라면 출시를 위한 확인을 넘어 제품을 조금씩 개선하는 과정이 될 수 있을 것 같다.