검증 돌리고 결과 읽기

시나리오를 만들었으면, 이제 검증(시나리오대로 앱이 진짜 그렇게 동작하는지 직접 눌러 확인하는 것 · 흔히 말하는 테스트)을 돌릴 차례예요. 여기서는 검증을 어떻게 실행하고, 통과·실패 결과를 어떻게 읽고, 문제가 생겼을 때 수정 리포트를 받아 어떻게 AI에게 넘기는지 차례로 알려드릴게요.

검증 실행하기

작업실의 서비스 지도("사용자 시나리오" 탭)로 가면, 만들어 둔 시나리오들이 영역별로 보여요. 검증하고 싶은 시나리오에서 테스트 실행을 누르면 시작돼요.

누르면 진짜 브라우저가 열려서, 사람이 하듯 시나리오 단계를 하나씩 직접 클릭해 나가요. "회원가입 페이지 열기"면 정말 그 페이지를 열고, "이메일 입력"이면 정말 이메일칸에 입력해요. 그동안 화면에는 검증 중이라고 표시돼요.

검증 한 번에 1크레딧이 들어요. 크레딧이 부족하면 크레딧과 요금제에서 충전(크레딧을 채우는 것)할 수 있어요.

검증할 시나리오가 여러 개라면 하나씩 차례로 돌리면 돼요. 검증마다 새 결과가 따로 남기 때문에, 어느 시나리오가 통과하고 어느 게 막혔는지 한 화면에서 비교해 볼 수 있어요. 회원가입처럼 매번 새 계정이 필요한 흐름은 검증할 때마다 임의의 새 정보로 진행되니, 같은 검증을 반복해도 서로 부딪히지 않아요.

검증을 돌리려면 코드 연결(검증할 앱의 주소 — 테스트 환경의 프론트엔드 주소 — 를 등록해 두는 것)이 되어 있어야 해요. 아직 연결을 안 했다면 코드 연결하기를 먼저 봐 주세요.

결과 읽기 — 통과·실패

검증이 끝나면 결과가 배지(작은 상태 표시)로 나와요. 결과는 둘 중 하나예요.

• 통과 — 시나리오대로 앱이 잘 동작했어요. 모든 단계가 막힘 없이 끝났다는 뜻이에요.
• 실패 — 어느 단계에서 시나리오대로 되지 않았어요. 어느 단계에서 멈췄는지 함께 보여줘요.

결과 옆에는 검증 시각(언제 돌렸는지)이 같이 적혀요. 그래서 "이 결과가 방금 것인지, 어제 것인지"를 헷갈리지 않게 확인할 수 있어요. 통과면 초록, 실패면 빨강이라 멀리서 봐도 한눈에 들어와요.

결과는 "통과 아니면 실패", 딱 두 가지예요. 애매하게 "거의 됐어요" 같은 중간은 없어요. 그래서 "이게 되는 건가 안 되는 건가"를 분명하게 알 수 있어요.

영상과 스크린샷 다시 보기

검증을 돌릴 때마다, 브라우저가 클릭해 나간 과정이 영상과 스크린샷으로 저장돼요. 결과 화면에서 영상을 눌러 처음부터 다시 볼 수 있어요. 어느 단계에서 무슨 화면이 떴는지, 어디서 멈췄는지를 눈으로 직접 확인하는 거예요.

코드 읽을 줄 몰라도 괜찮아요. 영상만 보면 "아, 결제 버튼을 눌렀는데 다음 창이 안 떴구나" 하고 바로 알 수 있어요. 단계마다 스크린샷도 한 장씩 남기 때문에, 영상을 끝까지 안 보고도 "어느 화면에서 멈췄는지"만 빠르게 훑어볼 수 있어요. 누군가에게 상황을 설명할 때 그 스크린샷 한 장이면 충분할 때가 많아요.

같은 시나리오를 여러 번 돌리면 영상이 새것으로 바뀌어요. 만약 결과가 무효가 된 시나리오(예: 단계 순서를 바꿔서 이전 결과를 더는 믿을 수 없게 된 경우)라면, 남아 있는 영상에는 이전 영상이라는 안내가 붙어요. 지금 시나리오와 그 영상이 다를 수 있다는 표시예요.

실패했을 때 — 수정 리포트

검증이 실패하면, 수정 리포트를 받을 수 있어요. 개선 제안 보기 버튼을 누르면 AI가 실패한 단계를 분석해서 이런 걸 정리해 줘요.

• 어느 단계에서 막혔는지 — 예: "결제 취소 — 버튼이 반응하지 않습니다"
• 원인 — 예: "취소 확인 창이 열리지 않아 다음 단계로 진행되지 않았습니다"
• 개선 제안 — 예: "취소 버튼의 연결 함수를 확인해 주세요"

여기서 한 가지 분명히 해 둘게요. Specnote는 코드를 직접 고쳐 주지 않아요. 대신 위처럼 실패 원인과 기대했던 결과·실제 결과, 화면에 뜬 오류 같은 걸 깔끔하게 정리한 리포트를 만들어 줘요.

그다음은 이래요. 리포트를 복사해서, 평소 쓰는 AI 코딩 도구(Cursor·Claude Code 같은 것)에 붙여넣으면 거기서 실제 수정이 시작돼요. 즉, 실패 원인을 찾아 정리하는 일은 Specnote가, 코드를 고치는 일은 사용자의 AI 도구가 나눠서 해요. 고친 다음에는 다시 검증을 돌려서 이번엔 통과하는지 확인하면 돼요.

실패 종류는 세 가지로 구분돼요. 막힘(그 단계에서 멈춤), 앞 단계 때문에 건너뜀(앞이 막혀 뒤를 못 함), 기획과 달라짐(앱이 시나리오와 다르게 동작함 · drift). 어떤 종류인지에 따라 손볼 곳이 달라져요.

결과 알림 받기

검증이 끝났는데 매번 화면을 지켜볼 수는 없죠. 그래서 결과를 알림으로 받을 수 있어요.

받는 곳	언제 켜지나요
앱 안 알림 센터	항상 켜져 있어요
이메일	직접 켜야 받아요(옵트인)
Slack	웹훅(알림을 보낼 주소)을 등록하면 받아요

알림은 종류별로 나와요. 화면 둘러보기, 다시 둘러보기, 검증, 자동 복구, 코드 동기화. 이 중 코드 동기화 알림은 기본적으로 외부 발송이 꺼져 있어요. 너무 자주 와서 방해되지 않게 하려는 거예요. 필요하면 설정에서 켤 수 있어요.

알림을 켜 두면, 검증이 오래 걸리는 동안 다른 일을 하다가도 결과만 받아 볼 수 있어요. 어떤 알림을 어디로 받을지는 설정에서 종류별로 따로 정할 수 있으니, 중요한 검증 결과만 이메일이나 Slack으로 받고 나머지는 앱 안에서만 확인하는 식으로 골라 쓰면 돼요.

다시 검증하기

코드를 고치면, 그게 정말 고쳐졌는지 다시 검증해야 해요. 가장 간단한 건 같은 시나리오에서 테스트 실행을 한 번 더 누르는 거예요. 그러면 새 영상과 새 결과가 나와요.

코드를 여러 군데 바꿨다면, 매번 전체를 다 돌리긴 번거로워요. 이럴 때 바뀐 곳 다시 확인하기를 쓰면, 바뀐 부분만 골라서 영향받는 화면만 다시 점검해요. 바뀌지 않은 곳은 AI 비용 없이 빠르게 확인하고, 정말 새로 봐야 하는 화면만 다시 보기 때문에 비용도 아껴요.

다시 검증해서 통과로 바뀌면, 시나리오에 다시 통과 배지가 붙어요. 이렇게 고치고 다시 확인하기를 반복하면, 시나리오가 늘 지금 앱과 어긋나지 않은 상태로 유지돼요. 기획한 대로 동작하는지를 한 번 확인하고 끝내는 게 아니라, 코드가 바뀔 때마다 손쉽게 다시 맞춰 볼 수 있는 거예요.

코드를 올릴 때마다 검증이 저절로 돌아가게 하는 연동(CI 통합)은 곧 출시될 예정이에요. 지금은 검증을 직접 눌러 실행하는 방식이에요.

검증이 실제로 어떤 원리로 동작하는지 더 알고 싶다면 검증은 어떻게 작동하나요를, 코드 연결을 아직 안 했다면 코드 연결하기를 봐 주세요.