# [技術摘要] OpenFormosa BlueMagpie-TTS 底層架構與核心價值分析 結論先行： - 這個專案真正的技術護城河與最大價值，在於其核心的「Barbet 文字大腦」 - 而 TTS 語音生成本質上是高度務實的「voxCPM2 開源拼裝與套殼」。 # 原始voxCPM2 ```mermaid graph TD %% 定義節點樣式（與 BlueMagpie 圖表保持視覺一致） classDef input fill:#f9f9f9,stroke:#333,stroke-width:2px; classDef brain fill:#e1f5fe,stroke:#0288d1,stroke-width:2px; classDef bridge fill:#fff3e0,stroke:#f57c00,stroke-width:2px; classDef acoustic fill:#e8f5e9,stroke:#388e3c,stroke-width:2px; classDef output fill:#fce4ec,stroke:#c2185b,stroke-width:2px; classDef external fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px,stroke-dasharray: 5 5; Input["輸入文字<br/>(原始格式)"]:::input subgraph original_model ["原始 VoxCPM2 模型"] %% 移除了方向指令以防止解析錯誤，繼承外部 graph TD CPM["原始文字大腦 (CPM)<br/>(整合一體化)<br/>負責：語意理解、韻律規劃"]:::brain LocDiT["VoxCPM 擴散解碼器<br/>負責：聲學特徵生成"]:::acoustic CPM -->|"輸出語意藍圖"| LocDiT end Centroid["講者特徵檔 .pt<br/>(用於指定音色)<br/>容量：極小"]:::external AudioVAE["AudioVAE 聲學底層<br/>(波形還原)"]:::acoustic Output["輸出語音波形<br/>(預設口音)"]:::output %% 外部連接 Input --> CPM Centroid -.->|"推論時強制掛載音色"| LocDiT LocDiT -->|"潛在表徵 Latents"| AudioVAE AudioVAE --> Output ``` # openFormosa ```mermaid graph TD %% 定義節點樣式 classDef input fill:#f9f9f9,stroke:#333,stroke-width:2px; classDef brain fill:#e1f5fe,stroke:#0288d1,stroke-width:2px; classDef bridge fill:#fff3e0,stroke:#f57c00,stroke-width:2px; classDef acoustic fill:#e8f5e9,stroke:#388e3c,stroke-width:2px; classDef output fill:#fce4ec,stroke:#c2185b,stroke-width:2px; classDef external fill:#f3e5f5,stroke:#7b1fa2,stroke-width:2px,stroke-dasharray: 5 5; Input["輸入文字<br/>中英夾雜 / 台灣用語"]:::input subgraph 主模型權重包 ["pytorch_model.bin - 約 7.75 GB"] Barbet["Barbet 1B 語言模型<br/>(自研原生台灣大腦)<br/>負責：語意理解、韻律規劃"]:::brain Bridge["橋接模組 Bridge<br/>(黏合劑)<br/>負責：格式翻譯與對齊"]:::bridge LocDiT["VoxCPM 擴散解碼器<br/>(沿用開源聲學軀幹)<br/>負責：聲學特徵生成"]:::acoustic Barbet -->|"輸出語意藍圖"| Bridge Bridge -->|"轉換為聲學條件"| LocDiT end Centroid["講者特徵檔 .pt<br/>例如：李宏毅老師音色<br/>容量：約 2.69 KB"]:::external AudioVAE["AudioVAE 聲學底層<br/>audiovae.pth - 約 377 MB<br/>負責：聲音波形還原"]:::acoustic Output["輸出語音波形<br/>自然台灣口音"]:::output %% 外部連接 Input --> Barbet Centroid -.->|"推論時強制掛載音色"| LocDiT LocDiT -->|"潛在表徵 Latents"| AudioVAE AudioVAE --> Output ``` 以下為底層架構拆解： ### 1. 專案最大價值：純血自研的 Barbet 基礎模型 (Base Model) 這專案最硬核的技術火力，全展示在這顆 1B 參數的語言模型上。它**不是**拿 Llama 或 Qwen 這些市面上的開源模型來做微調 (Fine-tuning)，而是實打實從地基蓋起的原生大腦。 * **Megatron-LM 底層訓練**：他們是直接硬扛 NVIDIA 開源的 Megatron-LM 分散式訓練架構，用龐大的 GPU 叢集與算力從零開始 (Training from scratch) 燒出來的。 * **專為「中英夾雜」打造**：為了解決台灣語境最痛的 Code-switching（如："等一下 meeting 先 cancel"），他們連分詞器都沒偷懶，自己從頭煉了一套 `PangolinTokenizer` 詞表。 * **混合神經網路架構**：沒有完全照抄 Transformer，而是自己實作了 Attention + Mamba 的混合層 (Hybrid Architecture)，這是微調套殼做不到的底層改動。 ### 2. BlueMagpie-TTS 語音生成：工程暴力的「接骨手術」 至於 TTS 專案本身，就是一個非常高明的「開源底盤改裝車」。 * **沿用 VoxCPM 聲學底盤**：他們沒有從頭訓練語音解碼器，而是直接拿了清大與 OpenBMB 開源的 **VoxCPM2** 作為身體（聲學模組）。 * **暴肥的主模型 (7.75 GB)**：他們把 VoxCPM 原本的文字腦袋拔掉，硬接上自家訓練的 Barbet 大腦。為了讓新大腦與舊身體不產生排斥反應，裡面寫了大量的橋接對齊程式碼 (Bridge/Glue code)，這也是 `pytorch_model.bin` 體積龐大的主因。 ### 3. 聲音克隆 (Voice Cloning)：簡單粗暴的特徵掛載 * 專案中主打的「李宏毅老師音色」或聲音複製功能，其實就是標準的套殼操作。 * 做法是透過腳本預先提取一段目標聲音的特徵向量 (Speaker Centroid，一個極小的 `.pt` 檔)，然後在推論時透過指令強制掛載進去，讓模型預設輸出該音色。 --- **總結：** Barbet 語言模型**是真正考驗 ML Infra 與算力資本的自研硬功夫； 而 **BlueMagpie-TTS** 是 (VoxCPM2) 來「換腦+改裝」的工程應用。 -- BlueMagpie-TTS：臺灣口音、中英混合的語音合成 · OpenFormosa https://openformosa.com/blog/2026/06/23/bluemagpie-tts/ OpenFormosa/Barbet: Hugging Face Transformers modeling code for the Barbet 1B causal language model https://github.com/OpenFormosa/Barbet OpenFormosa/PangolinBench https://github.com/OpenFormosa/PangolinBench/tree/main OpenFormosa/BlueMagpie-TTS: BlueMagpie-TTS https://github.com/OpenFormosa/BlueMagpie-TTS OpenFormosa/BlueMagpie-TTS at main https://huggingface.co/OpenFormosa/BlueMagpie-TTS/tree/main/checkpoints OpenFormosa/barbet-1b-base at main https://huggingface.co/OpenFormosa/barbet-1b-base/tree/main