就在刚刚，那个掌管openai安全的北大校友，openai研究副总裁（安全）翁荔，离职了。
翁荔是openai华人科学家、chatgpt的贡献者之一。
北大毕业后，翁荔在2018年加入openai，后来在gpt-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。
最著名的agent公式也由她提出，即：agent=大模型 记忆 主动规划 工具使用。
而就在前不久，她还刚刚现身2024 bilibili 超级科学晚活动，发表了的主题演讲。
在她宣布离职消息之后，包括openai在内的众多同事发来了祝福：
在推文中，翁荔也分享了他跟团队做的最后的道别。
以下为离职信的完整内容。
亲爱的朋友们：
我做出了一个非常艰难的决定，将于11月15日离开openai，这将是我在公司最后一天。
openai是我成长为科学家和*的地方，我将永远珍惜在这里与每一位共事的伙伴度过的时光。openai团队一直是我的知己、导师以及我身份的一部分。
我仍然记得2017年初加入openai时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。
我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法，到感知，再到固件开发——目标是教会一个简单的机械手如何解开魔方。这花费了整个团队两年时间，但最终我们成功了。
当openai进入gpt领域时，我们开始探索如何将*进的ai模型应用于现实世界。我建立了*个应用研究团队，推出了初始版本的微调api、嵌入api和审核端点，为应用安全工作奠定了基础，还为早期的api客户开发了许多新颖的k8体育的解决方案。
在gpt-4发布后，我被要求承担新的挑战，重新考虑openai的安全系统愿景，并将所有工作集中到一个负责整个安全体系的团队。
这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今，安全系统团队拥有超过80位出色的科学家、工程师、项目经理、政策专家，我为我们作为一个团队所取得的一切成就感到极为自豪。
我们见证了每次发布的核心——从gpt-4及其视觉和turbo版本，到gpt store、语音功能以及01版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。
我特别为我们最新的成就o1预览版感到自豪，它是我们迄今为止最安全的模型，展现了出色的抗破解能力，同时保持了模型的有用性。
我们的集体成就令人瞩目：
我们训练模型如何处理敏感或不安全的请求，包括何时拒绝或不拒绝，并通过遵循一套明确的模型安全行为政策，达成安全与实用之间的良好平衡。
我们在每次模型发布中提升了对抗性鲁棒性，包括针对破解的防御、指令层次结构，并通过推理大幅增强了鲁棒性。
我们设计了严格且富有创意的测试方法，使模型与《准备框架》保持一致，并为每个前沿模型进行了全面的安全测试和红队测试。
我们在详细的模型系统卡中强化了对透明性的承诺。
我们开发了业内*的审核模型，具有多模式能力，并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作，将赋能更多的安全工作流。
我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。
回顾我们所取得的成就，我为安全系统团队的每一个人感到无比自豪，并极为确信这个团队将继续蓬勃发展。我爱你们。
在openai的七年之后，我准备好重新出发，探索一些新的领域。openai正沿着火箭般的轨迹前进，我衷心祝愿这里的每一个人一切顺利。
附注：我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码 。
爱你们的，lilian
铁打的openai，流水的安全主管
自openai成立以来，安全主管这个关键职位历经多次更替。
最早在2016年，openai的安全主管由达里奥·阿莫代伊（dario amodei）担任，在他的领导下，安全系统团队专注于减少现有模型和产品的滥用风险，尤其是围绕gpt-3的安全性开展了深入研究。
阿莫代伊主导了gpt-3的全面安全评估，以确保模型在发布前经过严格的安全测试和评估，*限度地降低潜在的滥用风险。
他在openai的工作为后来人工智能的安全治理奠定了重要基础。
2021年，阿莫代伊离开openai创立了anthropic公司，继续致力于人工智能的安全研究，推动构建更具可信度和安全性的ai模型。
在阿莫代伊之后，还有短暂任职2个月的安全主管，亚历山大·马德里（aleksander madry）。
他在职期间主要聚焦对新模型的能力进行评估，并开展内部红队测试，以识别和缓解潜在的安全风险。
虽然他的任期较短，但他在红队测试和威胁预测上的重要推进，为openai的安全实践提供了新的视角和方法论。
在2023年7月后，马德里转而专注于“ai推理”方面的工作，离开了安全主管的职位。
在他之后的第三位安全主管，则是杨·莱克（jan leike），在2023年7月至2024年5月担任这一职务，和ilya一起领导“超级对齐”项目，目标是在四年内解决超智能ai的对齐问题。
在此期间，杨·莱克推动了使用小型模型监督和评估大型模型的研究，开创了对超人类能力模型进行实证对齐的新方法。
这种方法对于理解和应对高级人工智能模型的行为具有深远影响。
然而，由于与公司在安全和产品优先级上的分歧，杨·莱克于2024年5月宣布离职。
尽管如此，他在对齐研究方面的贡献，为后续人工智能的可控性研究奠定了理论和实践基础。
而翁荔则是于2024年7月担任openai安全主管。
关于翁荔
翁荔是openai华人科学家、chatgpt的贡献者之一，本科毕业于北大，在印第安纳大学伯明顿分校攻读博士。
毕业之后的翁荔先是短暂的在facebook实习了一段时间，*份工作则是就职于dropbox，担任软件工程师。
她于2018年加入openai，在gpt-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。
在openai去年底成立的安全顾问团队中，翁荔领导安全系统团队（safety systems），解决减少现有模型如chatgpt滥用等问题。
翁荔在google scholar的引用量也达到了13000 次。
此前她提出的提出llm外在幻觉（extrinsic hallucination）的博文也是非常火爆。
翁荔重点关注外在幻觉，讨论了三个问题：产生幻觉的原因是什么？幻觉检测，抵抗幻觉的方法。
关于研究的细节，可以点击这里查看：。
至于翁荔离职后的去向，量子位也会保持持续的关注。
