研究不可复现,就不是研究
ML 研究中最常见的谎言是’上次跑的结果很好’。上次用的什么代码?什么数据版本?什么参数?没人说得清。我用文件系统事务(临时目录 → 原子重命名)实现了每次迭代的不可变快照,让’上次的结果’变成一个可查询的事实而不是一段记忆。
ML 研究中最常见的谎言是’上次跑的结果很好’。上次用的什么代码?什么数据版本?什么参数?没人说得清。我用文件系统事务(临时目录 → 原子重命名)实现了每次迭代的不可变快照,让’上次的结果’变成一个可查询的事实而不是一段记忆。
让 AI 驱动研究流程,不等于让 AI 决定系统怎么运行。我在设计 AI 编排系统时做了一个关键分离:AI 只是操作员,执行引擎才是法律。这个决策源于一次失败的经验。
MCP 的 JSON-RPC 传输没有问题。真正的问题是自然语言规则没有代码级强制力——LLM 可以完全无视你的 instructions。我设计了 Intent Validator 模式来补上这个缺口。
多智能体是当前 AI 工程的热门范式。但我在设计 AI 驱动的量化研究系统时选择了单 Agent + 状态机。不是因为多智能体太难,而是因为问题结构不匹配。
多数系统先设计功能,再补审计。我反过来做——先确定系统在出事后需要回答哪些问题,再倒推每一层应该记录什么。这个思维倒置改变了整个架构。