来源：HN (674pts)
URL: https://stolen-thoughts.com/
精读日期：2026-08-13
模型：DeepSeek V4 Flash（AI 生成，人工未审校）
正文获取：全文
一、核心论点/事实
- 研究团队成功从 OpenAI、Anthropic 和 Google 的专有 LLM API 中解码出隐藏的推理轨迹（reasoning traces），且解码结果与 API 报告的隐藏思考 token 数量高度吻合。
- 实验基于 120 道 Codeforces 题目，横轴为 API 报告的隐藏思考 token 数，纵轴为解码出的推理 token 数，两者呈显著正相关。
- 团队收集了 6,708 条公开的 agent 轨迹（来自 GitHub 和 Hugging Face），这些轨迹由 Claude、GPT 和 Gemini 模型生成，且仍包含加密的推理块；对所有签名块应用解码流程后成功还原内容。
- 解码出的隐藏轨迹中包含真实敏感信息：在非基准测试的真实用户会话中，恢复出 64 个密码、24 个访问令牌（access tokens）和 30 个个人邮箱地址，另有姓名、邮寄地址、内部信息等，其中 64 个敏感项仅出现在推理块内部。
- 文章展示了一个具体案例：模型在推理过程中主动搜索 API 密钥模式（如
AKIA、sk-、ghp_等），并尝试对仓库进行敏感信息清理，说明推理轨迹可能暴露模型在安全处理任务中的完整思维过程。
二、方法/架构拆解
- 数据来源：从 GitHub 和 Hugging Face 收集公开 agent 轨迹，筛选出由 Claude、GPT、Gemini 生成的、仍含加密推理块的样本，共 6,708 条。
- 解码管线：对每个签名推理块应用统一的解码流程，成功还原加密内容；解码 token 数与 API 报告的隐藏思考 token 数高度相关（基于 120 道 Codeforces 题验证）。
- 敏感信息提取：对解码后的推理轨迹进行模式匹配（如密码、token、邮箱等），区分基准测试与真实用户会话，统计敏感信息出现频率及是否仅存在于推理块中。
- 案例分析：展示了一个模型在推理中执行
grep -RIn搜索 API 密钥、识别 AWS/HuggingFace/GitHub token 模式、并计划替换为占位符的完整过程，涉及文件如ray_processing/process.py、ray_cluster.yaml等。 - 验证方式：通过对比 API 报告的隐藏 token 数与解码 token 数，证明解码结果与原始推理过程的一致性。
三、值得注意的局限/争议
作者承认的局限：
- 解码过程依赖公开可获取的 agent 轨迹，可能无法覆盖所有模型或所有加密格式。
- 敏感信息统计仅基于模式匹配，可能存在误报（如占位符被误认为真实密钥）。
- 部分轨迹来自基准测试数据集，真实用户会话占比有限。
AI 判断的局限/争议：
- 文章未说明解码管线的具体实现细节（如是否利用模型输出中的侧信道、概率分布或 token 级特征），可复现性存疑。
- 未讨论解码对模型 API 性能或延迟的影响，也未评估是否违反服务条款。
- 敏感信息提取可能涉及隐私伦理问题，文章未明确是否获得用户同意或进行脱敏处理。
- 案例中模型对密钥的搜索行为可能被过度解读，需区分模型“思考”与“执行”的边界。
四、与 RRLab 研究的关联
- Harness 工程：本文展示了如何从公开轨迹中提取隐藏推理信息，RRLab 可借鉴其解码管线设计，用于构建更透明的 agent 执行监控工具，或验证 harness 是否完整捕获模型推理过程。
- 多模型协同：文章覆盖 OpenAI、Anthropic、Google 三大厂商模型，RRLab 可参考其跨模型对比方法，评估不同模型推理轨迹的可解码性与信息泄露风险。
- 模型评测：解码 token 数与 API 报告 token 数的高度相关性，可作为评测模型推理一致性的新指标；RRLab 可将其纳入模型能力评估体系。
- Agent 落地：案例中模型在推理中主动进行敏感信息清理，提示 RRLab 在 agent 落地时需关注推理轨迹中的隐私泄露风险，设计更安全的敏感信息过滤机制。
- AI 原生产品：本文揭示的推理轨迹泄露问题，对 RRLab 开发面向用户的 AI 产品（如代码助手、数据处理工具）有警示作用，需在产品设计中内置推理内容脱敏功能。
本笔记由 DeepSeek V4 Flash 自动生成，未经人工审校。原文链接：https://stolen-thoughts.com/