자동자막은 “완료됨”보다 과정이 중요합니다

테스트 fixture

현재 회귀 테스트에는 43.076375초, 1920×1080 H.264 영상과 48kHz AAC stereo 오디오가 포함된 실제 미디어 fixture를 사용합니다. 파일을 Studio 미디어 보관함에 넣고 Timeline에 배치한 뒤 자동자막 경로와 SRT serialize까지 통과시키는 방식입니다. 파일 이름과 작품 내용 자체는 공개 검증의 핵심이 아니므로 Lab에서는 기술 정보만 기록합니다.

왜 50%에서 멈춘 것처럼 보였나

이전 빌드는 모델 다운로드가 끝난 뒤 첫 Whisper 추론이 시작되면 진행률이 거의 움직이지 않았습니다. 특히 모바일에서 Whisper Small 계열을 바로 선택하면 첫 구간 계산만 수십 초 이상 걸릴 수 있어 사용자는 다운로드가 끝났는지, GPU가 계산 중인지, 앱이 멈췄는지 구분할 수 없었습니다.

v0.54에서는 모바일 자동 계획에서 Small을 제외하고 Base q4 WebGPU를 균형 모드로 시작한 뒤 Tiny q4로 내려갈 수 있게 했습니다. 분석 chunk도 모바일 5초, 데스크톱 16초로 나눠 첫 결과가 더 빨리 나오도록 했습니다.

품질 gate는 transcript만 보지 않습니다

자동자막에서 가장 눈에 띄는 오류 중 하나는 서로 다른 cue가 같은 In/Out을 공유해 화면에 겹치는 문제였습니다. 그래서 생성된 텍스트가 그럴듯한지와 별도로 모든 cue를 시간순으로 repair하고, 다음 cue와 겹치지 않는지 검사합니다.

1. Whisper timestamp를 cue 후보로 변환합니다.
2. 긴 문장은 의미 단위에 가까운 짧은 조각으로 나눕니다.
3. 각 조각에 동일 타임코드를 복제하지 않고 길이에 비례해 시간을 배분합니다.
4. overlap window에서 거의 같은 문장은 fuzzy duplicate로 제거합니다.
5. 한국어 모드에서 비정상적인 외국어 환각 fixture가 남는지 검사합니다.
6. SRT serialize 후 start < end와 cue overlap 0건을 다시 확인합니다.

실제 음성 정확도와 deterministic fixture를 구분합니다

격리 QA 환경에서는 외부 Whisper weight를 항상 내려받을 수 없기 때문에, 모든 테스트에서 실제 음성을 모델에 넣어 단어 오류율을 측정했다고 주장하지 않습니다. 미디어 ingest와 PCM decode는 실제 fixture로 검증하고, 네트워크가 막힌 환경의 lexical ASR 단계는 이전에 발생한 환각·중복 패턴을 재현한 deterministic recognizer output으로 후처리 경로를 검사합니다.

따라서 Lab의 overlap 0건은 실제로 보장하는 구조적 회귀 항목이지만, 특정 영상의 “GPT와 동일한 받아쓰기 정확도”를 의미하지는 않습니다. 배포 환경의 실제 모델 추론은 기기, WebGPU 드라이버, 음성·음악 비율에 따라 달라질 수 있습니다.

현재 통과 기준

자동자막 기능 열기 ↗