python - 将 .txt 文件转换为具有特定列 PYTHON 的 .csv

Question

我有一些文本文件想加载到我的 python 代码中，但是 txt 文件的格式不合适。

这是它包含的内容：

SEQ  MSSSSWLLLSLVAVTAAQSTIEEQAKTFLDKFNHEAEDLFYQSSLASWNY
SS3  CCCHHHHHHHHHHHHCCCCCCHHHHHHHHHHHHHHHHHHHHHHHHHHHHH
     95024445656543114678678999999999999999888889998886
SS8  CCHHHHHHHHHHHHHHCCCCCHHHHHHHHHHHHHHHHHHHHHHHHHHHHH
     96134445555554311253378999999999999999999999999987
SA   EEEbBBBBBBBBBBbEbEEEeeEeBeEbBEEbbEeBeEbbeebBbBbBbb
     41012123422000000103006262214011342311110000030001
TA   bhHHHHHHHHHHHHHgIihiHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH
     00789889988663201010099999999999999999898999998741
CD   NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
     54433221111112221122124212411342243234323333333333

我想将其转换为熊猫数据框，以将 SEQ SS4 SA TA CD SS8 作为数据框的列，并将它们旁边的行作为行。像这样：

我试过pd.read_csv了，但它没有给我想要的结果。

谢谢 ！

Answer 1

脚步

1. 使用pd.read_fwf()以固定宽度格式读取文件。
2. 通过df.ffill()用最后一个可用值填充缺失值。
3. 使用 groupby -cumcount构造为输出中的行号分配组号 gp 。
4. 将 gp=(0,1) 移动到df.pivot的列，然后再次转置到所需的输出中。

注意：此解决方案适用于第一列中省略值的任意（包括零，当然不是太多）连续行。

代码

# data (3 characters for the second column only)
file_path = "/mnt/ramdisk/input.txt"
df = pd.read_fwf(file_path, names=["col", "val"])

# fill the blank values
df["col"].ffill(inplace=True)
# get correct row location
df["gp"] = df.groupby("col").cumcount()
# pivot group (0,1) to columns and then transpose. 
df_ans = df.pivot(index="col", columns="gp", values="val").transpose()

结果

print(df_ans)  # show the first 3 characters only

col   CD   SA  SEQ  SS3  SS8   TA
gp                               
0    NNN  EEE  MSS  CCC  CCH  bhH
1    544  410  NaN  950  961  007

然后您可以使用df_ans.to_csv().

Answer 2

要使用 pandas.read_csv() 方法读取文本文件，文本文件应包含用逗号分隔的数据。

 SEQ, SS3, ....
 MSSSSWLLLSLVAVTAAQSTIEEQ..., CCCHHHHHHHHHHHHCCCCCCHHHHHHH.....

Answer 3

您可以使用此脚本将 .txt 文件加载到 DataFrame 并将其保存为 csv 文件：

import pandas as pd


data = {}
with open('<your file.txt>', 'r') as f_in:
    for line in f_in:
        line = line.split()        
        if len(line) == 2:
            data[line[0]] = [line[1]]

df = pd.DataFrame(data)
print(df)
df.to_csv('data.csv', index=False)

保存此 CSV：