重返开源,OpenAI发布开放权重语言模型
- +1 你赞过了
8月6日消息,据外媒报道,OpenAI刚刚发布了总参数1170亿,激活参数51亿的gpt-oss-120b和总参数210亿,激活参数36亿的gpt-oss-20b,这两款开源模型,可以在消费级设备上本地运行,并可以针对特定用途进行微调。
对于OpenAI来说,这标志着其战略方向的转变,从专注于专有版本转向更广泛、更开放的人工智能模型,使这些模型可供更多用户使用。
根据OpenAI的说法,gpt-oss模型的训练数据以英语为主,重点是STEM,编码和通用知识领域。不过,这些模型还缺乏OpenAI的大模型 ,如GPT4o的视觉功能。
在后期训练期间,OpenAI应用强化学习的过程类似于它用来向o4-mini灌输思维链推理能力的过程。就像Altman和crew的专有模型一样,可以通过在系统提示中设置所需的级别来将模型的推理工作调整为低、中或高。
说到硬件,运行这些模型应该不会有太大的问题,因为OpenAI在MoE层中以原生MXFP4精度训练它们。根据OpenAI的说法,120B型号可以在单个80GB H100 GPU上运行,而较小的20B版本只能容纳16GB的VRAM。
据了解,OpenAI扩大了安全功能,其中包括过滤化学、生物、放射或核研发等主题的有害数据。OpenAI还审查了模型,以防止用户输入不安全的提示或尝试提示注入。OpenAI表示,在开发过程中,这些措施有效地防止了测试人员将模型用于恶意使用。
最新资讯
热门视频
新品评测
X
微博认证登录
QQ账号登录
微信账号登录