# 🐦 BlueMagpie-TTS 技術深度對接提綱 > 本提綱旨在與研發團隊探討 **Barbet**、**橋接模組** 與 **VoxCPM** 在台華中英多語言情境下的底層架構、工程瓶頸、生成穩定性及商業落地可行性。 --- ## 一、 變調、口音與語言混雜（Tone Sandhi & Accent Control） > 台語的變調極其複雜，且多語言夾雜時極易出現「腔調污染」。本區塊著重於底層語言學特徵的控制力。 Q1. 台語變調（Tone Sandhi）控制機制：** * 台語變調規律極其複雜（含連讀變調與口語慣用變調）。請問 Barbet 是依賴前端 NLP 進行「硬規則變調標記」，還是完全交由模型 **End-to-End（端到端）** 自行預測？ * 在面對未曾見過的漢字（如新詞、外來語直譯）時，變調的錯誤率與崩音率大約是多少？是否支援人工介入強制作調（Tone Sandhi Override）？ Q2. 腔調污染（Accent Bleeding）的防範：** * 在中、英、台三語夾雜情境下，模型如何防止「腔調污染」？ * *例如：如何避免念英文單字時帶有過重的台語腔，或是在切換語言時，主語者的音色（Voice Identity）產生非預期的漂移與變形？* Q3. 臺灣口音（Taiwan Mandarin）的定型階段：** * 臺灣口音特徵主要是在基礎預訓練（Pre-training）**階段就已定型，還是在後續的**領域微調（Fine-tuning）中被學入的？ --- ## 二、 幻覺、崩音與穩定性邊界（Hallucination & Stability Guardrails） > 類 VALL-E 的自迴歸（Autoregressive）語音大模型在生產環境中，最致命的是其「不確定性」。 Q4. 壞例（Bad Cases）的發生率與攔截機制：** * 自迴歸語音大模型常見的「無限重複（Looping）」、「無聲幻覺」或「突然尖叫/雜音」，在你們的生產環境中發生率（Failure Rate）大約是多少？ * 系統是否有內建的 **Guardrail（安全護欄）** 機制（例如 ASR 實時對齊校對、能量偵測），能在 API 輸出前自動攔截並重新生成這些壞例？ Q5. 掉字/漏字的根本歸因：** * 針對生成時偶發的「掉字/漏字」現象，依團隊經驗，其瓶頸主要源於前端的 Barbet（Text-to-Semantic）、橋接模組，還是後端的 VoxCPM（Semantic-to-Acoustic）？ * **Q6. 長文本語速異常與長度崩潰：** * 我們測試發現，透過自建 API 輸入約 100 字時，就會出現明顯的語速加快現象。這是否與 Position Encoding 的長度外推（Extrapolation）限制有關？ * `max_len` 限制為 2000 字，但在實際應用中，文字達到多少字數時，會出現明顯的品質下降、語調崩潰或幻覺？ --- ## 三、 推論效能與商用落地成本（Inference & Computational Cost） > 語音大模型的運算成本極高，這是評估商業化可行性的關鍵指標。 Q7. 首字延遲（TTFA）與推論速度（RTF）：** * 在商用即時對話（如 AI 客服、即時翻譯）場景下，系統的首字延遲（Time to First Audio, TTFA）平均為多少毫秒（ms）？ * 在主流企業級 GPU（如 A100 / L4）與消費級 GPU（如 RTX 4090）上，單路並行（Single-stream）的 **RTF（Real-Time Factor）** 表現為何？ Q8. 長文本分割與上下文連貫：** * 對於大於 1000 字的新聞稿等長文本，團隊建議如何進行切片（Segmentation）？ * 若使用 `prompt_wav_path` 將前一句的生成結果作為下一句的 Context 拼接，是否能有效確保前後句的語氣與音色連貫性？這會增加多少顯存（VRAM）與運算開銷？ --- ## 四、 聲紋複製、資料合規與版權（Voice Cloning & Compliance） > 零樣本（Zero-shot）複製與資料來源合法性，是企業客戶最敏感的法律紅線。 Q9. 零樣本複製（Zero-shot Cloning）的性能極限：** * 上傳聲音生成的音檔相似度偏低，這通常是受限於參考音檔本身的表現力/雜音，還是屬於現階段模型 Zero-shot 泛化能力的上限？ * 若要達到「商用級」的還原度，推薦的參考音檔規格（如採樣率、位元深度、雜訊比 SNR）與最少錄音時長為何？ Q10. 訓練語料的合法性與合規風險（版權痛點）：** * 高品質的台語語料極其稀缺。請問訓練語料的來源合規性（Copyright & Consent）如何處理？ * 是否有使用未授權的 YouTube、Podcast、新聞廣播或公開影視音訊？在提供商業授權（Commercial Licensing）時，如何確保用戶免受潛在的版權侵權訴訟？