Python中数组去重的方法汇总

在 Python 中，对数组进行去重是常见的操作，以确保数据的唯一性。

1. 使用 set

original_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(set(original_list))

2. 使用列表推导式

original_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = []
[unique_list.append(x) for x in original_list if x not in unique_list]

3. 使用 numpy 库

import numpy as np
original_array = np.array([1, 2, 2, 3, 4, 4, 5])
unique_array = np.unique(original_array)

4. 使用 pandas 库

import pandas as pd
original_series = pd.Series([1, 2, 2, 3, 4, 4, 5])
unique_series = original_series.drop_duplicates().tolist()

5. 使用 collections 库的 Counter

from collections import Counter
original_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(Counter(original_list).keys())

6. 使用 functools 库的 reduce

from functools import reduce
original_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(reduce(lambda x, y: x + [y] if y not in x else x, original_list, []))

7. 使用 itertools 库的 groupby

from itertools import groupby
original_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = [key for key, group in groupby(sorted(original_list))]

总结

以上是一些在 Python 中进行数组去重操作的常见方法。选择合适的方法取决于数据类型、性能要求以及代码的简洁程度。根据实际情况，可以灵活运用这些方法来确保数组中的元素唯一性。