0

我有两个（或更多）并行文本文件存储在 S3 中 - 即第一个文件中的第 1 行对应于第二个文件中的第 1 行等。我想将这些文件作为列读取到单个 dask 数据帧中。最好/最简单/最快的方法是什么？

PS。我可以将它们中的每一个读入一个单独的数据帧，但是我不能将它们加入索引，因为数据帧索引值似乎既不唯一也不单调。同时，行的对应关系由它们在每个文件中的位置定义。

4

1 回答 1

1

不幸的是 dask.dataframe 按字节而不是按行分解大文件。如果不先通读所有文件，就很难找到大文件中的特定行。

于 2017-10-18T16:24:57.843 回答