传OpenAI几周内发布Astra:员工已在Codex里试用新版本
BiRun 讯,AI 爆料账号 Leo 称,OpenAI 昨天在内部告诉员工,计划在未来几周发布 Astra。发布时还会放出实际工作演示,展示 Astra 怎么直接做任务。一个更新后的 checkpoint(训练中的模型版本)也已经交给员工试用,员工可以通过 Codex 等工具直接使用。
Leo 称,这一版主要在修模型行为,而不是单纯继续提升能力。重点包括对齐,以及减少模型钻奖励机制的空子,比如硬编码答案、专门针对测试样例作弊,或者任务没做好却想办法骗过评分器拿高分。
但 OpenAI 刚在安全问题上给 Astra 踩了刹车:部分强化学习训练此前暂停了两周,现在虽然已经恢复一部分训练和评测,但仍有大量 Astra 任务停着,最大规模的前沿模型强化学习训练也还没重启。原因是 OpenAI 认为 Astra 的网络安全能力可能达到最高风险级别之一,因此提高了沙箱、联网权限和模型行为监控要求。
这两件事并不一定矛盾。OpenAI 可以继续测试和打磨已经训练出来的 Astra 版本,同时把更大规模的新一轮训练继续按住。
leo
Leo 称,这一版主要在修模型行为,而不是单纯继续提升能力。重点包括对齐,以及减少模型钻奖励机制的空子,比如硬编码答案、专门针对测试样例作弊,或者任务没做好却想办法骗过评分器拿高分。
但 OpenAI 刚在安全问题上给 Astra 踩了刹车:部分强化学习训练此前暂停了两周,现在虽然已经恢复一部分训练和评测,但仍有大量 Astra 任务停着,最大规模的前沿模型强化学习训练也还没重启。原因是 OpenAI 认为 Astra 的网络安全能力可能达到最高风险级别之一,因此提高了沙箱、联网权限和模型行为监控要求。
这两件事并不一定矛盾。OpenAI 可以继续测试和打磨已经训练出来的 Astra 版本,同时把更大规模的新一轮训练继续按住。
leo
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯