python 高速去重比list 快速

高速去重代码

from  glob import glob
from tqdm import tqdm
path_list=glob("E:/sky_150b/任务组_20231207_2023/*")
for one in tqdm(path_list):

    with open(one,"r",encoding="utf-8") as f:
        data=f.readlines()
    data_list={}
    for i in tqdm(data):
        if data_list.get(i,False)==False:
            data_list[i]="1"

    with open(one, "w", encoding="utf-8") as f:
        f.writelines([i for i in data_list.keys()])

高速去重解析

该段代码使用了python中的glob和tqdm库，glob用于匹配满足某个规则的文件路径列表，tqdm用于显示进度条。
首先，通过glob匹配所有指定路径下的文件，然后遍历每个文件，使用with open语句以只读方式打开文件，并使用utf-8编码读取文件的全部内容。接着，使用一个字典类型变量data_list来记录每个不重复的行，并将每行内容作为字典的键。如果数据已存在于字典中，则不会添加。最后，再次使用with open语句以只写方式打开原文件，并使用utf-8编码将字典中的每个键写入文件中。因为字典的键是唯一的，所以写入后的文件中所有行都是唯一的，没有重复内容。