昆仑万维发布全新大模型奖励模型Skywork-Reward

昆仑万维科技股份有限公司近日宣布，公司研发的两款全新奖励模型Skywork-Reward-Gemma-2-27B和Skywork-Reward-Llama-3.1-8B在国际权威的奖励模型评估基准RewardBench上表现卓越，其中Skywork-Reward-Gemma-2-27B模型更是荣获榜首，得到了RewardBench官方的高度认可。

奖励模型在强化学习中占据核心地位，对智能体在不同状态下的表现进行评估，并提供奖励信号指导智能体的学习过程，使其能够在特定环境下做出最优选择。在大语言模型的训练中，奖励模型的作用尤为关键，有助于模型更准确地理解和生成符合人类偏好的内容。

RewardBench是一个专门评估大语言模型中奖励模型有效性的基准测试榜单，通过多项任务对模型进行综合评估，包括对话、推理和安全性等领域。该榜单的测试数据集由提示词、被选响应和被拒绝响应组成的三元组构成，用以测试奖励模型是否能够在给定提示词的情况下，将被选响应正确地排在被拒绝响应之前。

昆仑万维的Skywork-Reward模型通过精心挑选的偏序数据集和相对较小的基座模型进行开发，与现有奖励模型相比，其偏序数据仅来源于网络公开数据，并通过特定筛选策略获得高质量的偏好数据集。这些数据涵盖了广泛的主题，包括安全性、数学与代码等，并经过人工验证，确保数据的客观性和奖励差距的显著性。

经过测试，昆仑万维的奖励模型在对话、安全性等领域展现了出色的表现，尤其在面对困难样本时，只有Skywork-Reward-Gemma-2-27B模型给出了正确的预测。这一成就标志着昆仑万维在全球AI领域的技术实力和创新能力，同时也为AI技术的发展和应用提供了新的可能性。