dpo笔记

2023-12-25 19:03:11

参考:https://blog.csdn.net/chacha_/article/details/134527000
这个讲的很好.

image

image\(\pi_r\)是我们要的解,我们(4)两边取log得到.image

y1,y2是两个生成的句子,x是prompt.p是y1比y2好的优化函数.r是reward函数.image

机器学习里面一个变量右上角写\(*\),就表示他的估计.也就是真实的计算.不写\(*\) 表示理论值.

带入上面公式. \(\sigma\)是 1+exp(x)再一起取倒数.image

文章来源:https://blog.csdn.net/weixin_40467931/article/details/135205932
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。