获取CNN/DM适用于评估Bart的格式的数据集(类似于test.source、test.source.tokenized)
2024-01-03 18:04:52
项目场景:
复现文本摘要任务评估CNN/DM数据集
问题描述
abisee老哥的代码获取的是bin格式的数据集
时间久远,一些依赖的配置版本难以复现
笔者需要能评估Bart 格式的数据集
形式类似于test.source、test.source.tokenized
解决方案:
经过坚持不懈的爬楼找到了有用的生成代码,并且测试成功,故此记录一下
首先指路github地址
此处有更新后的预处理脚本
1 下载数据
从这里下载并解压缩CNN和每日邮报的 stories 目录。
2.处理为.source和.target文件
Run 运行
python make_datafiles.py /path/to/cnn/stories /path/to/dailymail/stories
将 /path/to/cnn/stories·
替换为您保存下载的 cnn/stories
目录的路径;类似于dailymail/stories
。
对于每个URL列表( all_train.txt 、 all_val.txt 和 all_test.txt ),从文件中读取相应的故事并将其写入文本文件 train.source 、 train.target 、 val.source 、 val.target 以及 test.source 和 test.target 。它们将被放置在新创建的 cnn_dm 目录中。
输出现在适合于馈送到BART微调的BPE预处理步骤。
3.完成后的结算画面
文章来源:https://blog.csdn.net/yuyuyu_xxx/article/details/135366328
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!