跳到正文
Latent Space·· 1 天前AI 评分72

Goodfire 提出神经网络已足够清晰,可解释性争议再起

[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment

AI 导读

Goodfire 的 Nick Cammarata 发布文章提出“神经网络已经足够清晰”,认为许多著名的多义性与叠加案例经进一步智能体分析后可以被解读,而他在 2023 年 OpenAI 的自动可解释性工作中仅约 2% 神经元可读。Neel Nanda 表示这未改变他的核心判断,仍认为存在表征叠加,Leo Gao 则主张应以神经元模拟的 KL 来衡量解释质量。该文尚未正式发表。

来源:Latent Space · latent.space