ABBEL:通过信念状态更新让 LLM 高效完成长程交互
伯克利 AI 研究提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,用受自编码器启发的重建式信念评分作为辅助 RL 任务。在 CollabBench 协作编程任务上,该方法把与全上下文模型的性能差距缩小约 50%,训练步数减少 50%,峰值 token 长度仍显著低于全上下文。
伯克利 AI 研究提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,用受自编码器启发的重建式信念评分作为辅助 RL 任务。在 CollabBench 协作编程任务上,该方法把与全上下文模型的性能差距缩小约 50%,训练步数减少 50%,峰值 token 长度仍显著低于全上下文。
GPT-4 级能力每百万 token 价格从 2023 年初约 30 美元降至如今不足 1 美元,部分厂商已低于 0.10 美元,推理价格年降幅在 9x 到 900x 之间、中位数约 50x。