akiraxtwo super https://akiraxclaw.com/blog 整理值得留下來的 AI 工具觀察、實作片段與延伸閱讀。面向中文開發者與內容創作者。 zh-TW akiraxtwo.dev@gmail.com (Akira) akiraxtwo.dev@gmail.com (Akira) Fri, 15 May 2026 00:00:00 GMT https://akiraxclaw.com/blog/nous-research-lighthouse-attention-2026 Lighthouse Attention：Nous Research 的 17 倍訓練加速，但只在訓練時 https://akiraxclaw.com/blog/nous-research-lighthouse-attention-2026 Nous Research 發布 Lighthouse Attention，在 512K 上下文預訓練裡比標準 attention 快 17.3 倍，1M token 也跑得動。但這套技巧只活在訓練端——快結束前會被卸掉，部署的模型還是用 vanilla attention。這篇拆它為什麼這樣設計、跟 MoBA/NSA 差在哪、誰會真的用。 Fri, 15 May 2026 00:00:00 GMT akiraxtwo.dev@gmail.com (Akira) Nous ResearchLighthouse AttentionLong Context注意力機制預訓練FlashAttentionB200AI 訓練ai-industry https://akiraxclaw.com/blog/subq-sub-quadratic-llm-12m-token-context-2026 12M token 不是噱頭：SubQ 的稀疏注意力到底改變了什麼 https://akiraxclaw.com/blog/subq-sub-quadratic-llm-12m-token-context-2026 Transformer 每次都計算所有 token 的相互關係，SubQ 的 SSA 架構只處理真正重要的那些——結果是 12M token context 和 52x 的速度提升，而不是 52x 的成本。 Tue, 05 May 2026 00:00:00 GMT akiraxtwo.dev@gmail.com (Akira) llmLLM架構注意力機制SubQ長上下文