검증은 어떻게 작동하나요

실제 브라우저가 직접 눌러봐요

"AI가 직접 눌러 본다"는 말이 실제로는 이런 뜻입니다. Specnote는 진짜 웹 브라우저를 하나 띄워서, 시나리오를 처음부터 끝까지 사람처럼 재생합니다. 주소를 열고, 칸에 글자를 입력하고, 버튼을 누르고, 다음 화면으로 넘어가요. 이 과정을 **처음부터 끝까지 재생(full-replay)**이라고 부릅니다.

여기서 중요한 건 테스트 코드를 한 줄도 작성할 필요가 없다는 점이에요. 보통 자동 테스트를 만들려면 개발자가 별도의 코드를 짜야 하는데, Specnote는 정리해 둔 시나리오의 단계를 그대로 따라가기 때문에 그럴 필요가 없습니다. 시나리오가 곧 테스트 대본인 셈이에요.

브라우저는 사람이 보는 화면과 똑같은 환경에서 움직입니다. 그래서 "내 눈으로 직접 해 봤을 때"와 가장 가까운 결과를 얻을 수 있어요.

통과·실패는 이렇게 가려요

시나리오 안의 모든 단계가 똑같은 무게를 갖는 건 아닙니다. 판정의 기준이 되는 단계는 사람이 직접 입력하거나 누르는 단계예요. 이메일을 적고, 비밀번호를 넣고, 로그인 버튼을 누르는 — 사용자가 실제로 하는 행동이죠. 이런 단계가 전부 성공하면 통과입니다.

반면 다음과 같은 단계는 통과·실패를 가르는 셈에서 빠집니다.

• 화면 이동 — 다음 페이지로 넘어가는 것 같은 흐름.
• 시스템 처리 — 화면 뒤에서 자동으로 도는 작업.
• 뒷정리 — 끝나고 정돈하는 단계.
• 외부 서비스 의존 — Specnote 밖의 다른 서비스에 기대는 단계.

이런 단계는 사용자가 직접 좌우할 수 없는 부분이라, 여기서 막히더라도 시나리오 전체를 실패로 떨어뜨리지 않습니다. 예를 들어 결제 단계에서 외부 결제사 응답이 잠깐 늦더라도, 그건 우리 화면의 문제가 아니라 바깥 사정이기 때문에 시나리오 자체를 실패로 보지는 않아요.

판정은 통과 아니면 실패, 둘 중 하나로만 나뉩니다. 애매한 중간 판정은 없어요. 혹시 자동 판정이 놓친 부분이 있어 직접 눈으로 확인했다면, **손으로 "통과 처리"**를 해 둘 수도 있습니다.

잘 안 풀릴 때 — 자동 복구

한 번에 깔끔하게 안 되는 경우가 있어요. 화면이 조금 늦게 뜨거나, 버튼을 정확히 찾지 못하는 상황이죠. 이럴 때 Specnote는 바로 실패로 처리하지 않고 스스로 다시 시도합니다. 단계마다 방법을 바꿔 가며 최대 세 번까지 손을 써 보는 3단 자동 복구예요.

사람으로 치면 "어, 안 눌리네? 잠깐 기다렸다가 다시 해 볼까?" 하고 한 번 더 해 보는 것과 같습니다. 이렇게 해서 진짜 문제인지, 잠깐의 일시적인 걸림이었는지를 가려 줘요. 그래도 끝내 안 되면 그때 실패로 남깁니다.

단계가 진짜 맞는지 먼저 확인해요

검증을 본격적으로 돌리기 전에, Specnote는 한 가지를 먼저 점검합니다. 시나리오의 단계가 지금 화면과 실제로 맞는지 대조하는 일이에요. 이걸 단계 확정이라고 부릅니다.

예를 들어 "이메일 입력" 단계가 적혀 있는데, 화면에 그 입력 칸이 정말 있는지 먼저 비춰 봅니다. 맞으면 그 단계를 "확정"으로 표시하고, 위치가 바뀌었거나 찾지 못하면 "확인이 필요한" 단계로 따로 알려 줘요.

좋은 점은 이 단계 확정 과정이 크레딧을 쓰지 않는다는 거예요. 검증을 본격적으로 돌리기 전에 미리 정리해 두는 안전 점검이라, 부담 없이 거칠 수 있습니다. 미리 한 번 맞춰 보고 들어가면, 정작 검증을 돌렸을 때 엉뚱한 곳에서 헛걸음하는 일이 줄어듭니다.

영상과 스크린샷으로 남아요

검증을 돌릴 때마다 두 가지가 함께 저장됩니다.

• 화면 영상 — 브라우저가 시나리오를 재생하는 모습을 처음부터 끝까지 담은 영상(.webm 형식)이에요. 어디서 어떻게 진행됐는지를 그대로 되돌려 볼 수 있습니다.
• 단계별 스크린샷 — 각 단계에서 화면이 어떤 모습이었는지를 사진으로 남겨요.

그래서 "통과/실패"라는 결과 한 줄에서 끝나지 않습니다. 실패했다면 영상과 스크린샷을 열어 어느 장면에서 무엇이 어긋났는지 눈으로 직접 확인할 수 있어요.

실패한 시나리오는 수정 리포트로 정리됩니다. 무엇이 어긋났는지 원인을 모아, 코드를 고치는 AI에게 그대로 넘길 수 있는 형태예요. Specnote가 코드를 직접 손대는 건 아니고, "여기를 이렇게 고쳐야 한다"는 정리를 만들어 주는 역할입니다.

검증 결과를 어떻게 읽고 활용하는지는 검증 실행과 결과 보기에서 더 자세히 다룹니다. 용어가 헷갈린다면 핵심 용어 한눈에로 돌아가 찾아보세요.