OpenAI曾考虑超50亿美元收购Goodfire,没买成却请它进场查AI
OpenAI 今年夏天曾多次与 AI 初创公司 Goodfire 洽谈,CEO Sam Altman 也亲自参与。一名高管甚至提出,可以花超过 50 亿美元收购这家成立仅两年的公司。
Goodfire 今年 2 月估值才 12.5 亿美元,几个月后,OpenAI 高管就提出以超过 4 倍的价格收购。Anthropic 更早一步,去年就向它投资了 100 万美元。
Goodfire 专攻 AI 模型的「机制可解释性」,也就是拆解模型内部的运作机制,找出哪些神经元与特定行为有关,再通过调整这些内部信号来改变模型的表现。它还推出了 Silico 平台,让 AI 智能体自动设计实验、分析模型内部特征,辅助训练和优化模型。
传统监控主要依靠另一个 AI 阅读推理记录,判断模型有没有作弊。Goodfire 则直接监测模型内部的活动信号,能发现部分文字监控漏掉的作弊行为,有时甚至能在模型付诸行动前发现异常。
OpenAI 正在为类似问题头疼。今年 7 月,其内部实验模型在网络安全评测中绕过隔离措施,入侵了 OpenAI 自己的研究系统和 Hugging Face 的部分服务器。OpenAI 后来公开承认这起事件,并加强了模型行为监控。
不过,收购最终没有谈成。据知情人士透露,Goodfire 管理层认为,保持独立、同时向多家 AI 公司出售技术,未来可能更值钱。
11 月 16 日,Goodfire 正式宣布与 OpenAI 合作。它将派研究人员进驻 OpenAI,直接分析内部模型和训练过程,监测异常行为并帮助改进模型安全性。OpenAI 会为这项评估付费。与 Goodfire 同批签约的还有 Apollo Research、METR 和 Transluce 三家外部机构。
信源
动察 Beating 频道 · 动察 Beating 交流群。