ACE-Step 1.5：A100 上 2 秒生成一首歌，開源音樂生成現在能做到什麼程度

文字轉圖片這條賽道上，Stable Diffusion 花了兩年時間，才把「生成速度」這道門檻打穿。音樂生成現在正站在同一個節點上——ACE-Step 1.5 在 A100 上不到 2 秒就能生成一首歌，RTX 3090 也在 10 秒內完成，MIT 授權，9.2k stars。這不再是「跑得動，但慢得讓人不想等」的研究展示，而是今天就能接進工作流的工具。

ACE Studio + StepFun 做了什麼

這個專案由 ACE Studio（專業 AI 音樂工具商）與 StepFun（步躍）聯合發布。兩家都有各自的商業音樂產品，把底層模型開源是在賭一件事：底層引擎開放，上面的應用護城河才算真的深。

ACE-Step 1.5 是他們的第二代架構，前身 ACE-Step v1 已有一定的社群基礎；1.5 版在速度、多語言覆蓋與訓練效率上都做了系統性升級。

架構：Hybrid LM + Diffusion Transformer

ACE-Step 1.5 的架構設計，比單純的「把 LLM 加進去」更有意思。核心是兩個模組的協作：

Loading diagram...

LM Planner 負責把文字語義轉換成結構化的音樂意圖表示，DiT 再把這份意圖擴散成實際的音訊波形。兩者分工明確：LM 做語言理解與音樂結構規劃，Diffusion Transformer 做高品質的聲音生成。

兩個版本的規格差異：

版本	DiT 參數	LM 規模	VRAM 要求
Standard	2B	0.6B / 1.7B	8GB+
XL	4B	1.7B	12GB+

Standard 版適合 RTX 3090 / 4090 這類消費級顯卡，XL 版則留給需要更高音質的場景，或是有 A100 的環境。

訓練機制：Intrinsic RL 去掉外部獎勵模型

ACE-Step 1.5 的訓練裡，有一個值得注意的設計決策：用 Intrinsic RL（內在強化學習） 取代傳統的外部獎勵模型。

傳統的 RLHF / RLAIF 流程，需要一個單獨訓練的 reward model 來評分，而這個模型本身就會帶入 bias——它偏好的方向不一定對齊實際聽感；在音樂這種主觀性極強的領域，bias 的問題尤其明顯。

Intrinsic RL 讓模型從自身的生成過程中提取獎勵訊號，不依賴外部評分器。這樣訓練更穩定，也能避開「迎合獎勵模型」而不是「生成好音樂」的 reward hacking 問題。

生成速度：實際的數字

每首歌生成時間（秒，越低越好）

A100 上的 1.8 秒不是「生成片段」的時間，而是完整一首歌。即使在 RTX 3090 上，10 秒以內也足以支撐批次工作流。更重要的是，它支援一次最多 8 首同時生成，讓批次產出 playlist，或為遊戲大量生成 BGM 都變得可行。

能力邊界：這個模型可以做什麼

語言覆蓋：支援 50+ 種語言的歌詞生成，包括中文、日文、韓文、粵語。這對亞洲市場特別重要——過去多數音樂生成模型的「多語言」支援只是表面功夫，中文歌詞實際生成的品質並不好。

樂器支援：官方文件標榜 1000+ 種樂器。更精確的說法是：你可以在 prompt 中指定特定樂器，模型會盡量遵循。琵琶、二胡這類傳統民樂器也在支援範圍內。

時長：10 秒到 10 分鐘。這個範圍涵蓋了從短 jingle 到完整曲目的大部分使用情境。

生成控制：除了純文字 prompt，也支援旋律哼唱輸入（melody conditioning）與直接輸入歌詞。後者讓「我有歌詞、想配曲子」的創作場景可以直接動手。

LoRA 訓練：8 首歌、1 小時、RTX 3090

這是 ACE-Step 1.5 最值得關注的使用者側功能之一：在消費級 GPU 上做風格定制訓練。

官方給出的數字是 8 首歌、RTX 3090 上約 1 小時完成 LoRA fine-tuning。這讓下面這些場景變得可行：

# 安裝
pip install ace-step

# 以自有音樂素材訓練風格 LoRA
ace-step train-lora \
  --data ./my_songs \
  --output ./lora_output \
  --base-model standard \
  --epochs 50

# 使用訓練好的 LoRA 生成
ace-step generate \
  --prompt "indie folk, fingerpicking guitar, melancholic" \
  --lora ./lora_output/checkpoint-final \
  --duration 180

8 首歌的門檻很低。獨立音樂人把自己過去的作品丟進去，就能讓模型生成帶有自己風格簽名的新素材——不需要雲端服務，也不需把訓練資料交給第三方。

實際使用的三個場景

遊戲 / 影片製作的 BGM 工廠：用 prompt 陣列批次生成，速度夠快，MIT 授權也讓版權清算的顧慮降到最低。對獨立遊戲開發者與 Vtuber 這類使用者最直接。

風格原型的快速驗證：製作人或詞曲人在正式錄音前，可以用它快速把「我想要一首 70s funk 風格、帶 soul vocal、副歌衝擊感強」的想法音訊化。這比跟 session musician 反覆溝通快得多。

互動應用的即時音樂生成：A100 環境下 2 秒一首，這個速度讓「根據使用者狀態動態生成音樂」在技術上不再是奢望。

限制和誠實評估

ACE-Step 1.5 的聲音品質並非無懈可擊。與 Suno v4 或 Udio 這類商業服務相比，人聲細節與複雜編曲的層次感仍有差距。這是開源模型普遍的現實處境，不是刻意迴避的問題。

XL 版（4B DiT）在音質上比 Standard 版有明顯提升，但 12GB VRAM 的要求會把一部分使用者擋在門外。RTX 3080 以下的顯卡只能跑 Standard 版。

LoRA 訓練的效果同樣取決於訓練資料的品質與一致性。8 首風格散亂的歌，效果可能還不如 4 首風格高度一致的歌。

結語

音樂生成這條賽道過去一年的發展，比多數人預期的要快。ACE-Step 1.5 的意義不在於「又一個能生成音樂的模型」，而在於速度、多語言與本地訓練三個維度，同時做到了消費級可用。

MIT 授權加上 LoRA 支援，這個組合讓「用 AI 做音樂工具」的創業門檻降得相當低。接下來 12 個月，基於它長出來的垂直應用，可能比模型本身更值得追蹤。