对于给定的 pandas 数据框df，我想将每个样本（行）相互比较。
对于更大的数据集，这将导致过多的比较 ( n**2)。因此，有必要只对较小的组（即所有共享相同的组id）和尽可能有效地执行这些比较。
我想构建一个数据框（df_pairs），它在每一行中都包含一对。此外，我想获取所有对索引（理想情况下作为 Python 集）。
首先，我构建了一个示例数据框：
import numpy as np
import pandas as pd
from functools import reduce
from itertools import product, combinations
n_samples = 10_000
suffixes = ["_1", "_2"] # for df_pairs
id_str = "id"
df = pd.DataFrame({id_str: np.random.randint(0, 10, n_samples),
"A": np.random.randint(0, 100, n_samples),
"B": np.random.randint(0, 100, n_samples),
"C": np.random.randint(0, 100, n_samples)}, index=range(0, n_samples))
columns_df_pairs = ([elem + suffixes[0] for elem in df.columns] +
[elem + suffixes[1] for elem in df.columns])
在下文中，我将 4 个不同的选项与相应的性能指标进行比较：
选项1
groups = df.groupby(id_str).groups # get the groups
pairs_per_group = [set(product(elem.tolist(), repeat=2)) for _, elem in groups.items()] # determine pairs per group
set_of_pairs = reduce(set.union, pairs_per_group) # convert all groups into one set
idcs1, idcs2 = zip(*[(e1, e2) for e1, e2 in set_of_pairs])
df_pairs = pd.DataFrame(np.hstack([df.values[idcs1, :], df.values[idcs2, :]]), # construct the dataframe of pairs
columns=columns_df_pairs,
index=pd.MultiIndex.from_tuples(set_of_pairs, names=('index 1', 'index 2')))
df_pairs.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)
选项 1 需要 34.2 秒 ± 1.28 秒。
选项 2
groups = df.groupby(id_str).groups # get the groups
pairs_per_group = [np.array(np.meshgrid(elem.values, elem.values)).T.reshape(-1, 2) for _, elem in groups.items()]
idcs = np.unique(np.vstack(pairs_per_group), axis=0)
df_pairs2 = pd.DataFrame(np.hstack([df.values[idcs[:, 0], :], df.values[idcs[:, 1], :]]), # construct the dataframe of pairs
columns=columns_df_pairs,
index=pd.MultiIndex.from_arrays([idcs[:, 0], idcs[:, 1]], names=('index 1', 'index 2')))
df_pairs2.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)
选项 2 需要 13 秒 ± 1.34 秒。
选项 3
groups = df.groupby(id_str).groups # get the groups
pairs_per_group = [np.array([np.tile(elem.values, len(elem.values)), np.repeat(elem.values, len(elem.values))]).T.reshape(-1, 2) for _, elem in groups.items()]
idcs = np.unique(np.vstack(pairs_per_group), axis=0)
df_pairs3 = pd.DataFrame(np.hstack([df.values[idcs[:, 0], :], df.values[idcs[:, 1], :]]), # construct the dataframe of pairs
columns=columns_df_pairs,
index=pd.MultiIndex.from_arrays([idcs[:, 0], idcs[:, 1]], names=('index 1', 'index 2')))
df_pairs3.drop([id_str + suffixes[0], id_str + suffixes[1]], inplace=True, axis=1)
选项 3 需要 12.1 秒 ± 347 毫秒。
选项 4
df_pairs4 = pd.merge(left=df, right=df, how="inner", on=id_str, suffixes=suffixes)
# here, I do not know how to get the MultiIndex in
df_pairs4.drop([id_str], inplace=True, axis=1)
选项 4 的计算速度最快，为 1.41 s ± 239 ms。但是，在这种情况下，我没有配对索引。
comparisons我可以通过使用而不是productitertools来稍微提高性能。我还可以构建比较矩阵并仅使用上三角矩阵并从那里构建我的数据框。然而，这似乎并不比执行笛卡尔积和删除自引用以及反向比较更有效(a, b) = (b, a)。
- 你能告诉我一种更有效的方法来获取对进行比较（理想情况下作为一个能够使用集合操作的集合）吗？
- 我可以使用
merge或其他pandas函数来构建我想要的具有多索引的数据框吗？