处理合并目录下的Excel文件数据并指定列去重
2023-12-13 20:42:17
处理合并目录下的Excel文件数据并指定列去重
需求:读取指定目录下的Excel文件并给数据做合并与去重处理
Python代码实现
import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示
def read_excel(path):
dfs = []
for file in tqdm(os.listdir(path), desc="Reading Excel Files"):
if file.endswith(".xlsx"):
dfs.append(pd.read_excel(os.path.join(path, file)))
return pd.concat(dfs, ignore_index=True)
if __name__ == '__main__':
start_time = time.time()
print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))
warnings.filterwarnings('ignore')
file_path = '策略列表'
file_names = os.listdir(file_path)
# 打印所有文件名
for file_name in file_names:
print(file_name)
path = r"策略列表"
print("正在合并表...")
df = read_excel(path)
# 根据账号去重数据
df.drop_duplicates(subset='账号', inplace=True)
df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)
print("合并成功")
end_time = time.time()
print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))
run_time = end_time - start_time
print("程序运行耗时:%0.2f" % run_time, "s")
文章来源:https://blog.csdn.net/qq_43001132/article/details/134856885
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!