NotesAI / Automation / AX / Grok / Workflow

카드뉴스 자동화를 만들다가, AI를 믿으면 안 되는 지점을 찾았다

Grok으로 SNS 카드뉴스 자동화를 만들던 중 잘못된 미국 증시 정보가 자동 발행되는 문제를 겪었습니다. 프롬프트의 '검증해'와 실제 검증 시스템은 전혀 다르다는 것을 배운 과정을 정리했습니다.

최근에 작은 실험을 하나 만들고 있습니다.

매일 아침 인터넷에서 사람들이 가볍게 볼 만한 소식을 모으고, 그중 몇 가지를 골라 카드뉴스 형태로 만들어주는 자동화입니다.

뉴스와 여러 신호를 수집하고, AI가 주제를 고릅니다. 내용을 요약하고 제목을 만든 뒤, 다시 AI를 이용해 세로형 카드 이미지까지 생성합니다.

처음 생각은 단순했습니다.

정보 수집
→ 주제 선정
→ 글 작성
→ 이미지 생성
→ 발행

사람이 매일 반복해서 하던 일을 AI가 대신하면 되는 구조였습니다.

실제로 첫 결과도 꽤 그럴듯했습니다.

5장의 카드가 자동으로 만들어졌고, 디자인도 예상보다 괜찮았습니다. 매일 아침과 저녁에 자동으로 하나씩 만들어지도록 하면 재미있는 프로젝트가 되겠다는 생각도 들었습니다.

그런데 문제가 생겼습니다.

뉴욕 증시가 하락했다고?

아침 카드 중 하나에는 전날 미국 증시 이야기가 들어갔습니다.

카드에는 뉴욕 증시가 하락했고, 나스닥도 내렸다는 내용이 적혀 있었습니다.

그런데 실제 시장을 확인해보니 달랐습니다.

나스닥은 상승했고, 다시 최고치를 기록한 날이었습니다.

자동화에서 가장 나오면 안 되는 종류의 오류였습니다.

디자인이 조금 이상한 것은 다시 만들면 됩니다. 문장이 마음에 들지 않는 것도 고칠 수 있습니다.

하지만 사실이 틀린 콘텐츠를 자동으로 발행하는 것은 완전히 다른 문제입니다.

어디에서 잘못됐는지 흐름을 따라가 봤습니다.

흥미로운 점은 정확한 최신 뉴스가 이미 수집돼 있었다는 것입니다.

문제는 그 다음이었습니다.

수집한 뉴스 후보들을 점수순으로 추리면서 직장생활, 여행, 할인 같은 생활형 뉴스들이 높은 점수를 받았습니다. 미국 증시 기사는 상대적으로 낮은 점수를 받아 최종 후보에서 빠져버렸습니다.

AI에게 전달된 데이터에는 최신 미국 증시 정보가 없었습니다.

그런데 프롬프트에는 이런 요구가 있었습니다.

숫자와 날짜를 확인할 것.
사실을 검증할 것.
숫자를 만들어내지 말 것.

저는 이 정도면 AI가 부족한 정보를 찾아 검증할 거라고 생각했습니다.

그렇지 않았습니다.

AI는 그럴듯한 숫자와 출처를 만들어 결과를 반환했고, 시스템은 그것을 그대로 통과시켰습니다.

“검증해”는 검증 시스템이 아니었다

여기에서 꽤 중요한 차이를 하나 알게 됐습니다.

AI에게 “검증해”라고 지시하는 것과 시스템이 **“검증되지 않은 값은 통과하지 못하게 하는 것”**은 전혀 다른 일입니다.

기존 자동화에도 검증 과정은 있었습니다.

하지만 확인했던 것은 이런 것이었습니다.

스토리가 4개인가?
카드가 5개인가?
JSON 형식이 맞는가?

즉 데이터 구조를 검증했지, 데이터의 사실을 검증한 것은 아니었습니다.

형식적으로 완벽한 오답도 얼마든지 통과할 수 있는 구조였습니다.

숫자를 결정하는 역할을 AI에게서 빼냈다

이후 방식을 바꿨습니다.

미국 증시는 더 이상 AI가 숫자를 작성하지 않습니다.

프로그램이 먼저 Nasdaq, S&P500, Dow의 실제 마감 데이터를 가져옵니다.

세 지수가 같은 거래일인지 확인하고, 최신 뉴스 여러 곳에서 전체 시장 흐름도 다시 확인합니다.

그 과정이 끝난 뒤에야 AI가 등장합니다.

시장 데이터 수집
→ 거래일 확인
→ 지수 값 비교
→ 뉴스 교차 검증
→ 확정된 데이터 전달
→ AI가 읽기 좋은 문장으로 편집

AI가 하는 일은 숫자를 결정하는 것이 아니라 확정된 숫자를 사람이 읽기 좋은 이야기로 바꾸는 것입니다.

그리고 검증 과정 중 하나라도 실패하면 카드뉴스를 만들지 않도록 바꿨습니다.

잘못된 콘텐츠를 만드는 것보다 아무것도 발행하지 않는 편이 낫기 때문입니다.

AI가 잘하는 일과 코드가 해야 하는 일

이 일을 겪고 나니 자동화에서 AI의 역할이 조금 더 명확해졌습니다.

AI는 애매한 것을 다루는 데 강합니다.

  • 어떤 뉴스가 흥미로운지 고르기
  • 제목 만들기
  • 여러 내용을 짧게 정리하기
  • 같은 사실을 더 읽기 좋은 표현으로 바꾸기
  • 카드에 맞는 시각적 표현 만들기

반대로 정확히 하나의 답이 있어야 하는 일은 가능하면 AI에게 맡기지 않는 편이 좋았습니다.

  • 주가
  • 날짜
  • 가격
  • 수량
  • 상태값
  • 발행 가능 여부

이런 값은 프로그램이나 데이터 소스가 결정하고, AI는 그 결과를 사용하는 쪽이 안전했습니다.

그래서 지금 이 프로젝트의 흐름은 처음보다 조금 복잡해졌습니다.

수집
→ 선별
→ 사실 데이터 확정
→ 교차 검증
→ AI 편집
→ 검증
→ 이미지 생성
→ 재검증
→ 발행

자동화라고 하면 흔히 사람의 작업을 줄이는 것부터 생각합니다.

그런데 실제로 만들어보니 더 중요한 것은 AI가 틀렸을 때 어디에서 멈추게 할 것인가였습니다.

결과물보다 프로세스가 더 재미있어졌다

처음에는 이 프로젝트에서 카드뉴스 결과물이 중요하다고 생각했습니다.

매일 만들어지는 5장의 이미지가 프로젝트의 결과라고 생각했습니다.

지금은 생각이 조금 달라졌습니다.

실제 카드뉴스는 나중에 Instagram 같은 SNS에서 소비될 것입니다. 굳이 누군가가 제 홈페이지까지 찾아와 매일 카드를 볼 이유는 크지 않습니다.

오히려 홈페이지에 남겨둘 만한 것은 그 뒤의 과정입니다.

  • 어떤 데이터를 모았는가
  • AI에게 무엇을 맡겼는가
  • 어떤 오류가 발생했는가
  • 오류를 다시 일어나지 않게 어떻게 바꿨는가
  • 사람이 판단해야 하는 지점은 어디였는가

그래서 이 프로젝트는 카드뉴스 생성기라기보다 점점 AI Content Pipeline 실험에 가까워지고 있습니다.

카드 이미지는 결과물이고, 제가 실제로 기록하고 싶은 것은 그 결과물이 만들어지는 구조입니다.

자동화의 핵심은 더 많이 맡기는 것이 아니었다

이번 오류 때문에 오히려 이 프로젝트에서 보여주고 싶은 것이 하나 더 분명해졌습니다.

AI를 잘 활용한다는 것은 AI에게 많은 일을 시키는 것이 아니라,

AI가 잘할 수 있는 일과 반드시 시스템이 책임져야 하는 일을 구분하는 것

에 더 가까운 것 같습니다.

처음에는 AI가 어디까지 해줄 수 있는지를 보고 싶었습니다.

지금은 반대로 묻고 있습니다.

어디부터는 AI가 결정하면 안 되는가?

이 질문을 찾아가는 과정 자체가 제가 요즘 하고 있는 AX 실험과도 닮아 있습니다.

다음 단계는 실제 SNS 발행까지 연결하는 것입니다.

그때 또 새로운 예외가 생길 겁니다.

아마 그 예외를 하나씩 구조로 바꿔가는 것이 이 실험의 다음 기록이 될 것 같습니다.