NotesPM / PL / AI / AX / Experiment

AI 도입 후 좋아졌다는 보고서를 믿기 전에

AI가 바꾼 성과와 업무 방식을 어떻게 구분할까? 네 편의 연구를 바탕으로 업무 맥락, 비교군, 측정 기준을 함께 정하는 PM의 작은 실험을 생각해봅니다.

AI를 도입한 뒤 문서 작성 시간이 줄었다. 코드가 더 많이 만들어졌고, 리뷰도 빨라졌다.

이런 결과를 보면 다음 프로젝트에도 AI 활용을 확대하고 싶어진다. 그런데 투자나 업무 방식의 변경을 결정하려면 한 가지 질문이 더 필요하다.

좋아진 결과 중에서 AI가 바꾼 부분은 무엇일까?

업무가 쉬워졌을 수도 있고, 담당자의 경험이 쌓였을 수도 있다. 같은 시기에 양식이나 승인 절차를 바꿨을 가능성도 있다. AI 도입 이후라는 시간적 순서만으로 변화의 원인을 설명하기는 어렵다.

최근 공개된 연구 네 편은 이 질문을 서로 다른 방향에서 다룬다. AI를 사용하는 작업의 특성, 개발자 행동의 변화, PM 업무에서의 활용 범위, 그리고 AI가 들어온 회의에서 사람들이 일하는 방식이다.

같은 업무를 비교하고 있는가

Meta의 개발자 1만 명 이상과 코드 변경 40만 건 이상을 분석한 연구는 AI의 사용이 모든 작업에 고르게 분포하지 않는다는 점을 보여준다.[1]

AI 코드가 최종 반영되는 양상은 변경 규모, 프로그래밍 언어, 개발자 경험, 다른 코드와 연결된 정도 등에 따라 달랐다. 연구진은 이런 맥락을 고려하지 않은 비교가 업무 특성의 영향을 AI 효과로 잘못 해석할 수 있다고 설명한다.

단일 기업의 관찰 연구이고 주로 코드 자동완성 방식의 AI를 다루므로, 결과를 모든 조직이나 자율 에이전트에 적용하기는 어렵다. 다만 성과를 비교하는 방법에 대해서는 분명한 질문을 던진다.

가령 AI를 사용한 작업은 반복적인 테스트 작성이고, 사용하지 않은 작업은 장애 원인을 찾는 유지보수였다면 처리 시간을 그대로 비교해도 될까?

PM이 복잡한 통계 분석을 직접 해야 한다는 뜻은 아니다. 우선 기록할 때부터 신규 개발, 유지보수, 테스트 작성처럼 업무 종류를 나누고 변경 규모와 위험 수준을 함께 남길 수 있다.

전체 평균을 보기 전에, 비교하는 작업의 조건이 얼마나 비슷한지 확인해야 한다.

도입 전후의 차이에 비교 대상을 더하기

LUT대학교 연구진은 103개 저장소의 개발자 669명을 추적하고, 에이전트 활동이 없는 저장소의 개발자 228명을 비교군으로 분석했다.[2]

AI 에이전트 도입 이후 PR, 즉 코드 변경 검토 요청의 설명 길이 중앙값은 76.8% 증가했고 테스트 관련 활동도 개선됐다. 한편 리뷰가 빨라지고 덜 상세해지는 변화는 비교군에서도 나타났다.

이 결과를 단순히 “AI 때문에 리뷰가 부실해졌다”고 읽기는 어렵다. AI 도입과 무관하게 개발 환경 전반에서 일어나는 변화일 수 있기 때문이다.

그렇다고 설명이 길어지고 테스트 활동이 늘었다는 사실만으로 소프트웨어 품질이 좋아졌다고 단정할 수도 없다. 기록의 양과 결과의 품질은 별도로 확인해야 한다.

실무에서도 비슷한 업무를 하는 팀에 도구를 단계적으로 적용하면 참고할 비교 대상이 생긴다. 비교군을 두기 어렵다면 같은 담당자가 수행한 유사 업무를 비교하고, 일정 압박이나 양식 변경처럼 결과에 영향을 줄 조건을 기록할 수 있다.

이런 비교가 정교한 실험을 대신하지는 못한다. 그래도 도입 전후 숫자 하나만으로 결론을 내리는 것보다, 무엇을 확인했고 무엇이 불확실한지 설명하기 쉬워진다.

많이 쓰는 것과 성과가 나는 것을 구분하기

일본PMO협회가 공개한 세미나 사전 설문에서는 147건의 응답 중 113명이 생성형 AI를 사용한다고 답했다.[3]

응답에서 수집한 활용 사례 223건 중 회의록·요약·문서 작성은 51.6%, 계획·WBS·일정·요구사항과 위험·품질·리뷰 관련 사례는 21.1%였다. 이 비율의 기준은 응답자 수가 아니라 활용 사례 수다.

AI에 관심이 있는 세미나 참여자들의 응답이므로 일본 기업 전체의 활용 수준으로 볼 수 없다. 프로젝트 성과가 개선됐는지를 측정한 조사도 아니다.

그 대신 PM의 일에서 AI를 어느 부분에 사용하고 있는지 살펴볼 단서를 준다. 문서 초안을 만드는 활용에서 계획의 누락을 찾거나 위험을 검토하는 활용으로 범위를 넓힐 때는, 평가 기준도 달라져야 한다.

WBS 초안을 빨리 만들었다면 작성 시간 외에도 빠진 작업이 있는지, 선후 관계가 타당한지, 책임과 일정이 현실적인지를 확인해야 한다. 교육 역시 프롬프트 작성에서 끝내기보다, 초안을 평가하고 수정 이유를 설명하는 과정까지 연결할 수 있다.

AI가 결과물뿐 아니라 일하는 방식도 바꾼다면

사내 시스템과 연결된 LLM 에이전트를 사용하는 IT서비스 조직의 직원을 인터뷰한 CSCW 연구에서는 조금 다른 변화가 나타났다.[4]

초기 인터뷰에는 14명, 후속 인터뷰에는 9명이 참여했다. 참여자들은 AI가 나중에 내용을 정리하고 문서로 활용할 수 있도록 회의 중 주제와 목표, 티켓 번호, 실행 약속을 더 명시적으로 말하기도 했다.

AI가 회의 이후의 기록만 담당한 것이 아니다. 사람들이 이후의 기록을 예상하며 현재의 대화 방식을 조정한 것이다.

이는 한 조직의 소규모 질적 연구로, 회의 생산성이 몇 퍼센트 높아졌다는 증거는 아니다. 다만 AI 도입 효과를 관찰할 때 놓치기 쉬운 대상을 보여준다.

회의록이 빨리 작성됐는지와 함께, 회의 중 실행 약속이 더 명확해졌는지, 회의 뒤 다시 확인하는 질문이 줄었는지도 살펴볼 수 있다.

PM이 시작할 수 있는 작은 실험

네 연구를 업무 현장에 연결한다면, 처음부터 조직 전체의 AI 생산성을 계산하기보다 반복되는 업무 하나를 정해 관찰하는 편이 현실적이다.

예를 들어 주간 프로젝트 회의의 기록과 후속 업무 정리를 대상으로 삼을 수 있다. 다음은 연구 결과를 바탕으로 구성한 실험 제안이며, 실제 수행한 사례는 아니다.

정할 항목 실험 예시
대상 업무 비슷한 목적과 길이로 진행되는 주간 프로젝트 회의
기대하는 변화 회의록 정리·수정 시간 감소, 실행 항목 누락 감소
시간 기록 자료 준비, AI 처리, 검토·수정, 공유까지 구분
품질 확인 결정 사항·담당자·기한의 누락과 잘못 기록된 약속
후속 관찰 회의 후 추가 확인 질문, 업무 재배정·재작업 여부
비교 조건 참석자, 안건 난이도, 회의 길이, 양식·운영 방식 변경

가능하다면 적용 전후에 여러 차례 반복해 관찰하고, 비슷한 회의에도 순차적으로 적용한다. 처음 사용하는 동안의 학습 부담과 익숙해진 뒤의 결과를 구분해 보는 것도 도움이 된다.

회의 진행 방식까지 함께 바꿨다면 그것도 기록해야 한다. 도구와 회의 운영을 동시에 바꾼 결과를 AI 단독 효과라고 부르기는 어렵다. 대신 “AI와 새로운 회의 운영 방식을 함께 적용한 결과”로 설명할 수 있다.

측정할 항목을 너무 많이 만들 필요는 없다. 시간 한 가지, 품질 한 가지, 후속 업무 한 가지 정도부터 시작해도 다음 판단에 필요한 근거를 남길 수 있다.

다음 결정을 설명할 수 있는 근거

AI 도입 결과가 모든 업무에서 같을 필요는 없다. 문서 초안에는 효과적이지만 복잡한 협의에는 도움이 제한적일 수도 있고, 초반에는 느려져도 익숙해진 뒤 개선될 수도 있다.

이런 차이는 확대할 업무와 보완할 조건을 구분하는 데 유용한 정보다.

무엇이 빨라졌는가. 어떤 조건에서 효과가 있었는가. 검토와 후속 업무까지 포함해도 개선됐는가. 아직 확인하지 못한 부분은 무엇인가.

이 질문에 답할 수 있다면 AI를 더 적용할지, 업무 방식을 바꿀지, 실험을 중단할지 판단하기가 수월해진다.

PM이 설계할 작은 실험은 다음 결정을 설명할 수 있을 만큼의 근거를 남기는 일에서 시작할 수 있다.

참고 자료

아래 자료는 모두 2026년 10월 16일 이전에 공개됐다. 본문의 실무 제안은 각 연구의 결과와 구분해 읽어야 한다.

  1. Mockus 외, A Preliminary Analysis of the Impact of AI Assisted/Generated Code on Quality, Centrality and Review Time at Scale, ESEM 2026, 2026.10.05. 원문
  2. Hamza·Siemon·Awan, Does Working with AI Agents Change How Developers Code, Test, and Review?, ESEM 2026, 2026.10.05. 원문
  3. 일본PMO협회, NPMO survey finds 77% of respondents use generative AI in project environments, 2026.10.04. 원문
  4. O’Hara·Massimi·Khan, Exploring How Knowledge Workers Situate an Organisationally Embedded LLM Agent in their Collaborative Work Practices, CSCW, 2026.09.24. 원문