Tractus
맥에서 한국어 회의를 받아 적는 모델 고르기: Qwen3-ASR · Whisper · Nemotron
한 줄 요약: 한국어 회의에서는 Qwen3-ASR-1.7B가 Whisper-large-v3-turbo보다 오류가 36% 적었고(CER 9.49 vs 14.92), 1시간 녹음을 8.2분에 받아 적었습니다. Tractus는 이 결과로 기본 모델을 정했습니다.
Tractus는 회의 녹음을 이 Mac에서 텍스트로 바꿉니다. 그래서 Mac에서 돌릴 수 있고, 한국어 회의에 강하고, 한국어 사이에 섞인 영어 용어(p95 latency, connection pool)도 받아 적는 모델이 필요했습니다. 공개된 수치는 대부분 낭독 음성이나 영어 기준이라, 실제 회의에 가까운 데이터로 직접 쟀습니다.
무엇으로 쟀나
| 데이터 | 무엇을 보나 | 지표 |
|---|---|---|
| FLEURS-ko | 깨끗한 한국어 낭독. 공개 수치 재현 확인 | CER |
| HiKE | 한·영 코드스위칭 | MER |
| AI Hub 회의 음성 | 실제 다자 회의 4세션, 66–90분, 총 5.2시간 | CER |
| AMI | 영어 회의 | WER |
모든 지표는 낮을수록 좋습니다. AI Hub 데이터는 재배포가 금지되어 지표만 공개합니다.
결과
| 모델 | FLEURS-ko CER | HiKE MER | AI Hub 회의 CER | AMI WER | 1시간 처리 | 피크 메모리 |
|---|---|---|---|---|---|---|
| Qwen3-ASR-1.7B | 2.62 | 24.1 | 9.49 | 9.50 | 8.2분 | 3.6 GB |
| Qwen3-ASR-0.6B | 3.92 | 26.1 | 11.47 | 10.14 | 3.3분 | 2.4 GB |
| Whisper-large-v3-turbo | 3.08 | 26.6 | 14.92 | 14.28 | 6.0분 | 2.2 GB |
| Nemotron 3.5 ASR 0.6B | 7.02 | 45.1 | 10.93 | 14.13 | 7.6분 | 2.0 GB |
- 회의에서 차이가 가장 큽니다. 1.7B가 Whisper보다 글자 오류가 36% 적고, 작은 0.6B도 Whisper보다 낫습니다.
- FLEURS는 네 모델 모두 공개 수치와 0.5%p 안에서 재현됐습니다. 측정 파이프라인은 믿을 만합니다.
- 긴 회의도 끝까지 받아 적습니다. 66–90분 세션 4개를 모두 완주했습니다.
측정하면서 알게 된 것
- 언어를 한국어로 고정하면 오히려 나빠집니다. 영어 위주 발화를 번역해 버리고 반복 루프에 빠졌습니다. Tractus 기본값은 언어 자동 감지입니다.
- 용어 힌트(자주 쓰는 단어)는 효과가 있습니다. 용어 재현율이 71.6%에서 84.2%로 올랐습니다. 실제 회의 노트에서도 분야 용어 몇 개를 넣자 "온톨로지" 오인식이 10번에서 0번이 됐습니다(2026-10-18). 그래서 Tractus는 노트 제목과 메모의 낱말을 함께 넣습니다.
- 청크 길이는 거의 상관없습니다. 15·30·60초 청크의 CER은 9.69·9.49·9.39였습니다. 화자가 바뀌는 지점에서 잘라도 CER 차이는 0.1%p였습니다.
- Whisper에 영어 용어를 프롬프트로 주면 역효과가 납니다. 출력이 영어로 끌려가 CER이 16.7에서 58.3으로 나빠졌습니다.
왜 Nemotron은 고르지 않았나
회의 CER만 보면 0.6B보다 낫지만, 한·영 코드스위칭에서 MER이 45.1로 다른 모델의 두 배 가까이 나빴고, 영문 약어를 한글 발음으로 적어 용어 재현율이 1.1%에 그쳤습니다.
한계
- AI Hub는 한 분야 4세션뿐입니다. 순위는 믿을 만하지만 절대값은 회의마다 다릅니다.
- 측정 기기는 Apple M3·16GB 한 대입니다.