来源：HN (298pts)
URL: https://pwning.systems/posts/llm-memory-program-analysis/
精读日期：2026-08-31
模型：DeepSeek V4 Flash（AI 生成，人工未审校）
正文获取：全文

一、核心论点/事实

1. LLM 在长时间漏洞研究（数小时级）中会逐渐丢失已建立的结论，导致重复已排除的方案、基于失效假设继续推理等幻觉问题。

2. 传统 LLM 记忆系统（存储对话/观察 + 嵌入 + 检索）只能"记住"事实，无法自动处理事实变更后结论的级联失效。

3. 作者将问题类比为程序分析中的增量计算：当输入事实变化时，应只更新受影响的结果，而非全量重算。

4. 核心解决方案是引入 Datalog 引擎（作者命名为 Lemmalog），将 LLM 负责的"非结构化信息理解"与"确定性逻辑推导"分离。

5. Lemmalog 需要跟踪事实的推导依赖关系（支持集），以支持增量删除和自动失效，这同时带来了结论溯源（provenance）能力。

6. 事实支持集机制解决了"多路径支持"问题：一个结论可能由多个独立观察支撑，删除其中一个时结论仍可保留。

7. Lemmalog 支持事实的有效性区间（validity intervals），用于保留历史状态，解释"为什么之前认为某方案可行"。

二、方法/架构拆解

整体架构：LLM + Datalog 引擎（Lemmalog）双轨制

  • LLM 负责：理解自然语言、源代码、调试器输出等非结构化信息，将其转换为结构化事实（facts）。
  • Lemmalog 负责：确定性部分——存储事实、应用规则推导新事实、维护依赖关系、增量更新、提供溯源。

核心机制：

1. 事实与规则：用户/LLM 输入事实（如 object_a points_to object_b），定义推导规则（如"若 A 调用 B，B 可达 C，则 A 可达 C"），引擎计算不动点（fixed point）得到所有可推导结论。

2. 增量删除（支持集跟踪）：每条派生事实记录其推导来源（支持集）。删除事实时，仅当某结论的所有支持路径都被移除时才失效该结论。例如：结论 primitive_a viable 可由 observation_1 和 observation_2 独立支持，删除 observation_1 后结论仍成立。

3. 溯源（Provenance）：由于依赖跟踪，可查询任意结论的推导路径，回答"为什么模型认为 X 成立"。

4. 有效性区间：事实可带时间戳区间（如 [t1, t2)），支持历史状态查询，避免矛盾事实同时存在时依赖 LLM 判断。

5. 反幻觉机制：若 LLM 声称"我们已经建立了某结论"，可查询 Lemmalog 验证；无溯源支持的结论不属于维护状态，防止未经验证的结论悄悄混入调查。

关键设计决策：

  • 删除 ≠ 替换：旧事实保留在历史区间中，用于解释过去的推理路径。
  • 确定性推导交给数据库，LLM 只做一次"非结构化 → 结构化"的转换，避免反复重建状态。

三、值得注意的局限/争议

作者承认的局限：

  • LLM 在事实提取（extraction）阶段仍可能产生幻觉，Lemmalog 无法阻止这一点，只能防止无支撑结论成为调查的一部分。
  • 文章未讨论事实提取的准确性验证机制，即如何确保 LLM 转换出的结构化事实本身是正确的。

AI 判断的局限/争议：

  • 规则编写成本：Datalog 规则需要人工定义，对于复杂漏洞研究场景，规则覆盖度可能不足，且规则本身可能有缺陷。
  • 事实粒度问题：LLM 提取事实的粒度（什么算一个原子事实）缺乏明确标准，粒度不当会导致规则爆炸或推导失效。
  • 扩展性未验证：文章未提供性能数据，长时间、大规模调查中事实数量增长后，增量更新和溯源查询的开销未知。
  • 适用场景边界：该方法适用于"事实-规则"清晰的场景，但漏洞研究中大量推理是启发式/概率性的，强行结构化可能丢失关键上下文。
  • 有效性区间的语义模糊：时间戳区间的粒度（对话轮次？实际时间？）未定义，跨会话合并时可能产生歧义。

四、与 RRLab 研究的关联

Harness 工程：

  • 可借鉴"确定性逻辑层 + LLM 非确定性层"的分离架构，将 Harness 中重复性状态维护（如上下文管理、结论追踪）下沉到确定性组件，减少 LLM 调用次数和幻觉风险。
  • Lemmalog 的增量更新机制可应用于 Harness 的上下文窗口管理，实现"只更新受影响部分"而非全量重写。

多模型协同：

  • 该架构天然支持"提取模型 + 推理引擎"的分工：一个模型负责事实提取，另一个（或同一模型）负责策略决策，中间用结构化事实作为可靠接口，降低模型间信息传递的失真。

模型评测：

  • 溯源能力可作为评测维度：不仅看模型结论正确性，还可验证结论是否有可追溯的事实支撑，量化"无支撑断言"比例。
  • 有效性区间机制可用于评测模型在事实变更后的推理一致性，衡量模型是否能在新证据下正确修正结论。

Agent 落地：

  • 直接适用于长时间运行的 Agent 任务（如漏洞研究、代码审计、复杂调试），解决"长会话记忆漂移"这一核心落地痛点。
  • 反幻觉机制（结论必须可溯源）可作为 Agent 安全性的基础保障，防止 Agent 在长任务中积累错误假设。

AI 原生产品：

  • "可解释的 Agent 推理"可作为产品差异化卖点：用户可追问"为什么得出这个结论"，系统给出结构化溯源路径，而非黑盒输出。
  • 该模式可推广到任何需要"长期事实积累 + 逻辑推导"的领域（如法律分析、医学诊断、投资研究），形成通用"结构化记忆"产品能力。

本笔记由 DeepSeek V4 Flash 自动生成，未经人工审校。原文链接：https://pwning.systems/posts/llm-memory-program-analysis/