来源：HN (126pts)
URL: https://sander.ai/2026/08/24/continuous-dlms.html
精读日期：2026-09-01
模型：DeepSeek V4 Flash（AI 生成，人工未审校）
正文获取：全文

一、核心论点/事实

1. 连续扩散语言模型（Continuous Diffusion Language Models, CDLMs）在经历数年沉寂后，近期出现复苏迹象，2023年后几乎被离散扩散方法完全取代。

2. 2021年首批语言扩散尝试采用离散扩散（multinomial diffusion），2022年Diffusion-LM首次提出用连续嵌入向量表示离散类别以适配高斯噪声扩散。

3. 2023年5月Gulrajani & Hashimoto量化了基于似然的连续扩散语言模型（Plaid-1B）的训练效率差距：比自回归基线差近两个数量级（约100倍）。

4. ChatGPT时刻（2022年底）将语言扩散研究焦点从理论优势转向原始性能，社区认为离散方法更易缩小与自回归模型的差距。

5. 2025年调查论文中的图表显示，2023→2024年间连续方法（黄色标记）几乎完全消失，离散方法（绿色标记）占据主导。

6. 连续扩散的核心优势包括：token级别的不确定性表示能力，以及可借用连续扩散领域丰富的采样算法和蒸馏技巧。

7. 作者认为连续方法灭绝可能受训练效率劣势、社区对Chinchilla最优化的执着、以及LLaMA（2023年2月）刚发布尚未改变训练效率导向等因素影响。

二、方法/架构拆解

  • 连续扩散用于离散数据的核心思路：将离散token映射为连续嵌入向量，使高斯噪声损坏过程可直接应用，无需修改图像扩散机制。
  • 关键方法谱系：
  • Diffusion-LM（2022）：首个连续扩散语言模型，主打可控文本生成
  • DiffuSeq（2022）：序列到序列的连续扩散变体
  • SED（Self-Conditioned Embedding Diffusion，2022）：作者参与，引入自条件化
  • CDCD（Continuous Diffusion for Categorical Data，2022）：作者参与，处理类别数据的连续扩散
  • Plaid-1B（2023）：基于似然的连续扩散模型，暴露训练效率问题
  • 离散扩散的替代方案：用离散损坏过程（如token替换/掩码）替代高斯噪声，直接建模类别数据，与自回归概念更接近。
  • 自回归范式的优势：将困难生成任务分解为顺序token预测，通过teacher forcing实现序列维度上的高效并行训练，是LLM扩展性的基础。
  • 连续扩散的潜在优势：token级不确定性建模、丰富的采样/蒸馏工具库、天然适配infilling和约束生成任务。

三、值得注意的局限/争议

作者承认的局限：

  • 训练效率差距巨大：Plaid-1B比自回归基线差近两个数量级，在当时Chinchilla最优化的社区氛围下难以被认真对待。
  • 对2023年后连续方法灭绝的原因分析高度推测性，作者自认"纯属猜测"，可能是巧合或动量效应。
  • 作者本人2023年后停止语言扩散研究，转向图像/视频生成，观察视角可能受限。

AI判断的局限/争议：

  • 连续扩散的"token级不确定性"优势是否在实践中真正转化为生成质量提升，缺乏系统性验证。
  • 嵌入空间的几何结构（各向异性、维度坍缩）可能影响高斯损坏过程的有效性，文中未深入讨论。
  • 连续扩散的采样速度（通常需要数十到数百步）与自回归的KV-cache优化相比，推理效率差距可能比训练效率更致命。
  • 离散扩散在2024-2025年的进展（如掩码扩散与自回归的统一视角）可能已部分吸收了连续方法的优势，使"复苏"的增量价值存疑。

四、与 RRLab 研究的关联

  • Harness工程：连续扩散的采样算法（如DDIM、DPM-Solver）和蒸馏技术可借鉴到多模型协同的推理调度中，优化生成延迟与质量权衡。
  • 多模型协同：连续扩散的"token级不确定性"能力可用于多模型间的置信度传递——低置信度token可触发协作验证或备选模型生成，提升整体输出可靠性。
  • 模型评测：训练效率差距（近100倍）的量化方法可复用到RRLab的评测框架中，建立"效率-质量"双维度基准，而非仅关注困惑度或下游任务分数。
  • Agent落地：连续扩散天然适配infilling和约束生成，可用于Agent的中间推理补全、结构化输出生成等场景，减少自回归的暴露偏差问题。
  • AI原生产品：扩散模型的并行生成特性（非顺序）可支撑低延迟的流式生成体验，适合需要快速响应的交互式AI产品；其不确定性表示也可用于产品端的"置信度可视化"功能。

本笔记由 DeepSeek V4 Flash 自动生成，未经人工审校。原文链接：https://sander.ai/2026/08/24/continuous-dlms.html