Python文件操作（txt + xls + json）

简介

Python文件操作是处理文件和目录的重要组成部分。文件操作允许您创建、打开、读取、写入、修改和删除文件。这是Python编程中常见的任务之一，对于处理数据、配置文件、日志记录等等非常有用。

使用Python的内置库和第三方库进行文件操作：
（1）TXT文件
（2）Excel文件
（3）JSON文件

1、使用with_open读取和保存：.txt + .bin（二进制文本）

1.1、with open语句详解

函数功能：with open语句是Python中一种处理文件的方式。通过使用with语句，可以确保在退出代码块时文件会被正确关闭，避免资源泄漏。
函数说明：with open(file_path, mode) as file:
输入参数：
		（1）file_path：要打开的文件路径。
		（2）mode：文件模式，指定文件在打开时的操作。可以是以下之一：
				"r"：	读取模式。用于打开文件并读取内容。
				"w"：	写入模式。用于打开文件并写入内容。
								 备注：如果文件已存在，会清空文件内容。如果文件不存在，则创建一个新文件。
				"a"：	追加模式。用于打开文件并在文件末尾追加内容。
								 备注：如果文件不存在，则创建一个新文件。
				"rb"：	以二进制读取模式打开文件。
				"wb"：	以二进制写入模式打开文件。
				"ab"：	以二进制追加模式打开文件。

1.1、项目实战

with open('file.txt', 'r') as file:
    content = file.read()  # 读取文本文件
# 文件在这里会自动关闭


with open('file.txt', 'w') as file:
    file.write('Hello, World!')  # 写入文本文件
# 文件在这里会自动关闭

with open('binary_file.bin', 'rb') as file:
    binary_data = file.read()  # 读取二进制文件
# 文件在这里会自动关闭


with open('binary_file.bin', 'wb') as file:
    file.write(b'\x01\x02\x03')  # 写入二进制文件
# 文件在这里会自动关闭

2、使用pandas读取和保存：.xls + .xlsx

2.1、pandas简介

pandas（Python Data Analysis Library）是一个强大的开源数据分析和处理库，它为Python编程语言提供了高性能、易于使用的数据结构和数据分析工具。pandas通常与NumPy和Matplotlib等库一起使用，用于数据清洗、转换、分析和可视化。

• 数据结构：（1）Series：是一个带标签的一维数组，可以容纳任何数据类型。它由一组数据和与之相关的标签（索引）组成。（2）DataFrame：是一个二维的表格型数据结构，可以容纳多种类型的数据。它类似于电子表格或 SQL 表，具有行和列。
• 数据导入和导出：Pandas 可以轻松导入和导出多种数据格式，包括 CSV、Excel、SQL 数据库、JSON、HTML、Parquet、HDF5 等。示例：pd.read_csv(), pd.read_excel(), df.to_csv(), df.to_excel(), 等等。
• 数据清洗和处理：Pandas 允许你删除重复值、处理缺失值、过滤数据、合并和连接数据、排序和分组数据。示例：df.drop_duplicates(), df.dropna(), df.fillna(), df.groupby(), df.pivot_table(), 等等。
• 数据索引和选择：可以使用标签或位置来选择特定的数据行或列。Pandas 提供了多种索引和切片的方式。示例：df['列名'], df.loc[], df.iloc[], df.loc[], 等等。
• 数据计算和聚合：Pandas 提供了丰富的数据计算和聚合功能，包括求和、平均值、计数、最大值、最小值、分位数等等。示例：df.mean(), df.sum(), df.max(), df.min(), df.describe(), 等等。
• 数据可视化：Pandas 可以与其他 Python 可视化库（如 Matplotlib 和 Seaborn）结合使用，用于绘制数据图表。示例：df.plot(), df.hist(), df.boxplot(), sns.pairplot(), 等等。
• 时间序列分析：Pandas 对时间序列数据有很好的支持，可以轻松处理日期和时间数据。示例：pd.to_datetime(), df.resample(), df.rolling(), 等等。
• 高性能：Pandas 针对大数据集的处理进行了优化，可以高效地处理大规模数据。

2.2、环境配置

• pip install pandas
• pip install xlrd
• pip install openpyxl

（1）pandas的read_excel()函数依赖于 xlrd 库来实现读取.xls格式的Excel文件，因此需要安装并导入xlrd库。
（2）pandas的to_excel()函数依赖于 openpyxl 库来实现将DataFrame对象保存.xlsx格式的Excel文件，因此需要安装并导入openpyxl库。

• xlrd 是一个用于读取 Excel 文件的库，它提供了许多功能来处理 Excel 文件，包括读取单元格内容、处理日期、数字和文本等。使用 xlrd.open_workbook() 函数可以打开 Excel 文件，并使用工作簿、工作表对象来访问数据。
• openpyxl 是一个用于读取和写入 Excel 文件的库，它提供了更多的灵活性和功能，包括读取和修改单元格内容、样式和图表等。使用 openpyxl.load_workbook() 函数可以打开 Excel 文件，并使用工作簿、工作表对象来访问数据。

2.3、项目实战

import os
import pandas as pd

"""读取xls数据"""
excel_file_path = os.getcwd() + r'\rgb.xls'
# 使用 header 参数指定要跳过的行数，通常跳过第一行（表头），默认 header=0
df = pd.read_excel(excel_file_path, header=None)
# 提取第一列和第二列数据并转换为列表
gray_value = df.iloc[:, 0].tolist()  # 提取第一列数据并转换为列表
name_value = df.iloc[:, 1].tolist()  # 提取第二列数据并转换为列表
rgb_value = df.iloc[:, 2:5].values.tolist()  # 提取第三到四列数据并转换为列表（RGB）

"""数据保存到xls"""
data = [["nii", num, 1]]  # 创建一个包含单行数据的二维数组
df = pd.DataFrame(data, columns=["name", "num", "RGB"])
df.to_excel(self.output_excel_path, index=False, engine='openpyxl')
print(f'Data saved to {self.output_excel_path}')


"""
# 保存三维数组

import pandas as pd
data = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]  			# 示例数组
df = pd.DataFrame(data, columns=["z", "y", "x"])
output_excel_path = "output.xlsx"  					# 替换为您想要保存的文件路径
df.to_excel(output_excel_path, index=False, engine='openpyxl')
print(f'Data saved to {output_excel_path}')
"""

"""在当前的excel数据中添加新数据"""
import pandas as pd
import os
# 检查Excel文件是否已存在
excel_path = folder_path + "/cell_counting/all.xlsx"
if os.path.exists(excel_path):
    df = pd.read_excel(excel_path)   # 如果文件存在，读取现有数据
else:
    df = pd.DataFrame()  # 如果文件不存在，创建一个空的数据框
new_data = {'target_gray': [target_gray], 'cell_num': [cell_num]}
new_df = pd.DataFrame(new_data)  # 添加新的数据到数据框
df = pd.concat([df, new_df], ignore_index=True)
df.to_excel(excel_path, index=False, engine='openpyxl')  # 将更新后的数据框写回Excel文件
print(f'Data has been successfully saved to: {excel_path}')

3、 使用json.dump读取和保存：.json

3.1、json格式

JSON（JavaScript Object Notation）是一种轻量级的用于数据存储和交换的文本格式。最初由Douglas Crockford于2001年提出，它基于JavaScript的一个子集，但已经成为一种独立于编程语言的数据格式。

JSON的主要特点：

• 可读性：采用类似于字典或映射的 " 键-值对 " 方式来表示数据。
• 支持多种数据结构：包括字符串、数字、布尔值、数组、对象（也叫字典或映射）和null。这些数据类型可以嵌套组合，以表示复杂的数据结构。
• 支持跨平台交互：JSON是一种独立于编程语言的数据格式，可以在不同的编程语言中进行解析和生成。这使得它成为不同系统和应用程序之间进行数据交换的理想选择。
• 轻量级：JSON的语法非常简洁，没有繁杂的标记或语法，这使得它在网络传输中占用的带宽较少。
• 易于解析：JSON数据可以通过各种编程语言中的解析器快速解析为内部数据结构，使得应用程序能够轻松地操作JSON数据。
• 支持添加注释：虽然JSON规范中并没有官方支持注释的语法，但一些JSON解析器允许在数据中包含注释，这对于文档和配置文件非常有用。

# 字符串、数字、布尔值、数组、对象
data = {
    "name": "John Doe",							
    "age": 30,
    "isStudent": False,
    "courses": ["Math", "Science", "History"],
    "address": {
        "street": "123 Main St",
        "city": "Anytown",
        "zipCode": "12345"
    }
}

3.2、项目实战

• 方法一：使用with语句的好处是，它会在代码块执行完毕后自动关闭文件。这确保了文件在使用完后被正确关闭，不会造成资源泄漏。在with语句块结束时，文件会自动被关闭，而不需要显式调用close()方法。

import json

json_file_path = "/coordinates.json"
with open(json_file_path, 'w') as json_file:  # 打开json文件
    # 在这个代码块中，json_file处于打开状态
    data = {'Z_line': Z_line,
            'Y_line': Y_line,
            'X_line': X_line}
    json.dump(data, json_file, indent=4)  # 填充json文件

# 在这个代码块中，json_file会自动被关闭

• 方法二：如果使用open()方法来打开文件，需要在文件使用完后显式调用close()方法来关闭文件。如果忘记关闭文件，可能会导致文件句柄泄漏，占用系统资源。

import json

json_file_path = "/coordinates.json"
f = open(json_file_path, 'w')  # 打开json文件
data = {'Z_line': Z_line,
        'Y_line': Y_line,
        'X_line': X_line}
json.dump(data, f, indent=4)  # 填充json文件

f.close()  # 手动关闭文件，确保释放资源。

4、打开对话框

Python本身没有内置的文件夹选择界面。然而，可以使用第三方库来实现在代码中选择文件或文件夹的功能。一个常用的库是tkinter，它是Python的标准GUI库之一，提供了创建简单的图形用户界面的功能。

• 安装：tkinter是Python的标准库之一，通常已经预装在大多数Python发行版中。如果你的环境中没有安装tkinter，你可能需要安装它。在大多数操作系统上，可以通过命令行运行以下命令来安装tkinter：pip install tkinter

• 备注：选择文件与文件夹的区别，一个是调用filedialog.askopenfilename()，一个是调用filedialog.askdirectory()。

（1）打开文件选择对话框

import tkinter as tk
from tkinter import filedialog
import os

root = tk.Tk()		# 创建根窗口
root.withdraw()  	# 隐藏根窗口
file_path = filedialog.askopenfilename()		# 打开文件选择对话框
print("Selected file path:", file_path)			# 打印所选文件的路径

file_name = os.path.basename(file_path)                         # 获取文件的名称+后缀
file_name_without_extension = os.path.splitext(file_name)[0]    # 获取文件的名称
file_directory = os.path.dirname(file_path)                     # 获取文件的目录

print("获取文件的名称+后缀:", file_name)
print("获取文件的名称:", file_name_without_extension)
print("获取文件的目录:", file_directory)

"""
Selected file path: D:/Anaconda/_conda.exe
获取文件的名称+后缀:_conda.exe
获取文件的名称:_conda
获取文件的目录:D:/Anaconda
"""

（2）打开文件夹选择对话框

import tkinter as tk
from tkinter import filedialog

root = tk.Tk()		# 创建根窗口
root.withdraw()  	# 隐藏根窗口
folder_path = filedialog.askdirectory()			# 打开文件夹选择对话框
print("Selected folder path:", folder_path)		# 打印所选文件夹的路径

###########################################################################
import tifffile		# 用于打开.tif格式的图像
# 读取文件夹中的所有tif图像并将它们存储在列表中
image_list = []		# 新建一个空列表
for filename in sorted(os.listdir(folder_path)):				# 列举文件夹中的所有文件 + 排序后遍历。
    if filename.endswith('.tif'):								# 提取以.tif结尾的图像文件。
        image_path = os.path.join(folder_path, filename)		# 将文件名和文件夹路径连接起来，得到完整的图像文件路径image_path
        image = tifffile.imread(image_path)						# 加载tif图像
        image_list.append(image)								# 在列表末尾添加元素

import numpy as np
output_tif_path = "result.tif"
image_stack = np.stack(image_list, axis=0)				# 将图像列表转换为三维数组
labeled_image = image_stack.astype(np.uint8)            # 将数据类型转换为uint8
tifffile.imwrite(output_tif_path, labeled_image)        # 保存图像为TIFF并指定数据类型为uint8

（3）判断路径 / 文件夹 / 文件是否存在

import os

folder_path = os.getcwd() + "/image"
# （1）判断字符串是否存在
if folder_path != "":

    # （2）判断文件夹是否存在（不存在则新建）
    if not os.path.exists(folder_path):
        os.makedirs(folder_path)
        print("文件夹不存在")

    # （3）判断文件是否存在
    image_path = folder_path + "/conda.exe"
    if os.path.exists(image_path):
        print("图像存在")

5、统计时间

5.1、计算运行时间

import time
start_time = time.time()  # 记录开始时间
# ...
end_time = time.time()  # 记录结束时间
runtime = end_time - start_time  # 计算运行时间
print(f"总运行时间: {runtime:.2f} 秒")

"""
import time
start_time = time.time()  # 记录开始时间

print(f"总运行时间: {time.time() - start_time:.2f} 秒")  # 打印运行时间
"""

5.2、获取当前时间

import time
current_timestamp = time.time()
print("获取当前时间戳:", current_timestamp)
"""
#####################################################################
时间戳: 表示从某个特定时间点（通常是"Unix纪元"，即1970年1月1日00:00:00 UTC）到特定日期时间的秒数，包括小数部分表示毫秒或微秒。
#####################################################################
获取当前时间戳: 1698040970.5602446 表示距离1970年1月1日00:00:00 UTC已经过去了大约 1698040970 秒和约 560 毫秒以及 2446 微秒。
"""

from datetime import datetime
print("获取当前日期和时间:", datetime.now())
print("只日期格式:", datetime.now().date())
print("只时间格式:", datetime.now().time())
print("自定义格式:", datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
"""
获取当前日期和时间: 2023-10-23 14:02:50.560244 表示2023年10月23日下午14点2分50秒零点五百六十四微秒
#####################################################################
只日期格式: 2023-10-23
只时间格式: 14:02:50.560244
自定义格式: 2023-10-23 14:02:50
"""