加州大学伯克利分校研究人员推出Starling-7B:一款通过人工智能反馈强化学习(RLAIF)训练的开源大型语言模型(LLM)

2023-12-13 16:33:52

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

人工智能大型语言模型(LLM)在自然语言处理任务中扮演着重要角色。这些模型通过大量数据集进行训练,能够理解和生成类似人类的文本。它们已经彻底改变了自然语言处理的领域,因为它们能够理解和发展出类人的文本。这些模型在生活的各个领域都有着广泛的应用。

加州大学伯克利分校的研究人员最近推出了一款开源大型语言模型Starling-7B。该模型通过从人工智能反馈中学习强化(RLAIF)进行训练。它不仅利用了我们最新开发的奖励训练和策略调整管道,还结合了新的GPT-4标记排名数据集Nectar以及先进的奖励训练和策略调整管道。

Starling-7B: Increasing LLM Helpfulness & Harmlessness with RLAIF Starling-7B的基础是GPT-4标记排名数据集Nectar。该数据集包含183,000个聊天提示,每个提示提供来自不同模型(如GPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct和Llama2-7B)的七种响应,共计380万对比较。为了确保公平性,研究人员在使用GPT-4进行排名时,投入了大量精力来减少位置偏见,这一过程在数据集部分有详细说明。

https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用学习奖励模型对Openchat 3.5语言模型进行了改进,并取得了令人印象深刻的成果。AlpacaEval评分从88.51%提高到91.99%,而MT-Bench评分从7.81提高到8.09。这些指标作为标准,评估了聊天机器人的实用性。

研究人员还用直接偏好优化(DPO)方法,将该模型与早期的开源模型(如Zephyra-7B、Neural-Chat-7B和Tulu-2-DPO-70B)进行了测试。尽管这些模型在Chatbot Arena中表现良好,但与顶级的SFT模型(如OpenHermes 2.5和Openchat 3.5)相比,它们还未能完全发挥RLHF的全部潜力。

研究人员强调,该模型还面临一些挑战。它容易受到欺骗或操纵方法的影响。此外,该模型在数学或推理任务上表现不佳,其输出的事实准确性有时也无法保证。他们还指出,该模型偶尔会出现冗长和易受越狱提示的问题。尽管如此,他们仍致力于改进Starling-7B。

为了解决这个问题,他们提出进一步完善该模型,利用基于规则的奖励模型,其中GPT-4作为指导,使用GPT-4技术报告中概述的技术。

总之,Starling-7B代表了LLM领域的重大进步,展示了通过人工智能反馈进行强化学习的可能性。自然语言处理领域因这些模型与社区共享知识的合作而得到增强。研究人员正在努力提高模型的性能并解决其局限性。

文章来源:https://blog.csdn.net/2301_79342058/article/details/134820031
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。