OpenAI转向新训练技术：扩大模型规模已非突破关键

随着生成式AI的迅猛发展，业界对"更大即更好"的传统认知正在发生转变。多位顶尖AI科学家近期表示，单纯通过增加数据量和算力来提升AI性能的方法已接近瓶颈，新的技术突破方向正在显现。

Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日发表观点，认为传统预训练方法已进入性能平台期。这一论断格外引人注目，因为正是他早期倡导的大规模预训练方法催生了ChatGPT。如今，他表示AI领域已从"规模扩张时代"迈入"奇迹和发现时代"。

当前大模型训练面临多重挑战:动辄数千万美元的训练成本、系统复杂度带来的硬件故障风险、漫长的测试周期，以及数据资源和能源供应的限制。这些问题促使研究人员开始探索新的技术路径。

其中，"测试时计算"（test-time compute）技术受到广泛关注。这种方法允许AI模型在使用过程中实时生成和评估多个方案，而非直接给出单一答案。OpenAI研究员Noam Brown打了个形象的比方:让AI在一盘扑克牌中思考20秒，效果堪比将模型规模和训练时间扩大10万倍。

目前，包括OpenAI、Anthropic、xAI和DeepMind在内的多家顶尖AI实验室都在积极开发各自的技术版本。OpenAI已在其最新模型"o1"中应用了这一技术，首席产品官Kevin Weil表示，通过这些创新方法，他们看到了大量提升模型性能的机会。

业内专家认为，这种技术路线的转变可能重塑整个AI行业的竞争格局，并从根本上改变AI公司对各类资源的需求结构。这标志着AI发展正在进入一个更注重质量提升而非单纯规模扩张的新阶段。