gongyeh粵語辨識測試結果
2026 年 10 月。我們用同一批粵語錄音、同一套標準化方法，比較 Gongyeh 採用的模型與常見的本機語音辨識。方法、局限同每一句的原始輸出都公開，結果可以重現。
錯字率：500 條 Common Voice 粵語錄音
| 系統 | 字錯率 | 95% 信賴區間 | 整句全對 | 每句延遲（中位數） |
|---|---|---|---|---|
| Gongyeh 採用的 Qwen3-ASR 1.7B（發佈版量化） | 6.33% | 5.50–7.14% | 61.0% | 0.16 秒 |
| Apple SpeechTranscriber（macOS 26 本機，zh_HK） | 7.12% | 6.19–8.11% | 58.0% | 0.11 秒 |
| SenseVoice-Small（yue） | 7.28% | 6.43–8.23% | 54.4% | 0.80 秒 |
| Apple DictationTranscriber（macOS 26 本機聽寫模組） | 7.57% | 6.63–8.58% | 56.8% | 0.18 秒 |
| Whisper large-v3（yue） | 13.26% | 11.76–14.91% | 42.4% | 1.23 秒 |
| Apple SFSpeechRecognizer（舊接口，本機模式） | 15.61% | 12.90–18.55% | 51.6% | 0.17 秒 |
| Whisper large-v3-turbo（yue） | 53.22% | 40.88–69.67% | 6.4% | 0.93 秒 |
Gongyeh 採用的模型在呢批測試錯字率最低，同每個系統比較，配對 bootstrap 檢定都達到 p < 0.05。同 macOS 26 內置的兩個本機引擎相比，差距約 0.8–1.2 個百分點：領先係真實嘅，但幅度唔大。Whisper large-v3-turbo 即使指定粵語，都經常將口語改寫成書面普通話，所以錯字率特別高；SFSpeechRecognizer 舊接口有 39 條（7.8%）冇返回文字，大多係較長嘅句子。
長段聽寫
0.9.14 起錄音不設長度限制。我們將同一批片段按次序拼接，句與句之間留 0.6 秒停頓，模擬長段說話，再按 App 嘅方式即時串流辨識：
| 長度 | 長段串流字錯率 | 逐句單獨轉寫 | 參考／辨識字數 | 放開後等待 |
|---|---|---|---|---|
| 2 分鐘（22 句） | 6.53% | 6.12% | 245 / 245 | 0.34 秒 |
| 5 分鐘（57 句） | 6.87% | 6.70% | 582 / 582 | 0.22 秒 |
長段準確率同逐句轉寫相若，字數完全一致，冇因為分段而漏字或重複；放開快捷鍵後嘅等待時間唔會隨錄音長度增加。
方法
- 資料：Mozilla Common Voice 25.0 粵語 test 分割（CC0），按講者分組、固定隨機種子抽取，500 條片段來自 500 位唔同講者，參考文字共 5,137 字。
- 音訊：統一轉為 16 kHz 單聲道，所有系統讀取完全相同嘅檔案；冇使用咪高峰或任何私人錄音。
- 語言設定：每個系統都明確指定粵語，用佢最有利嘅設定。
- 評分：所有輸出用同一套標準化（OpenCC 轉簡體、去標點及空格、全半形統一、拉丁字母轉小寫）後計算字級編輯距離；標點唔計分。95% 信賴區間來自 2,000 次 bootstrap 重抽樣。
- 延遲：完整一句一次過送入（唔係 App 嘅串流模式），每個系統先預熱一次，逐個系統依次執行。硬件：Apple M2 Max、96 GB、macOS 26.5。
局限
- Common Voice 係朗讀語料，唔係日常對話，冇中英夾雜、背景噪音或口語停頓；日常聽寫嘅錯字率會較高，系統之間嘅排名亦可能唔同。
- Common Voice 係公開資料，任何模型都可能喺訓練時見過相似片段，絕對數字可能偏低。
- 只喺一部機測試；延遲會因晶片同記憶體而異，準確率唔受影響。
- 呢度比較嘅係辨識引擎，唔係 App 之間嘅比較；實際體驗仲包括快捷鍵、輸入方式、即時預覽同介面。
- 長段測試用拼接朗讀錄音，唔係一口氣講出嚟嘅自然長段口語。
引用
模型：Qwen3-ASR（Qwen 團隊，Apache-2.0）；SenseVoice-Small（FunAudioLLM）；Whisper large-v3／large-v3-turbo（OpenAI，MIT，MLX 版本）；Apple Speech framework。資料：Mozilla Common Voice（CC0）。Gongyeh 負責 Mac 錄音、輸入同使用體驗，並非以上模型嘅作者。如需原始輸出或評分腳本，請聯絡 gongyeh@noum.tech。