1

有人可以为我指出如何解决以下问题的正确方向。我正在尝试使用 pandas.read_sql 和 asyncio 提出解决方案。我想将表记录从 1 个数据库迁移到另一个数据库。

我想做以下事情：

table 1
.
.
.
table n

我有这个功能：

def extract(table):
    try:
        df = pd.DataFrame()
        df = pd.concat(
              [chunk for chunk in
                  pd.read_sql(sql,
                              con=CONNECTION,
                              chunksize=10**5)]
                    )
    except Exception as e:
        raise e
    else:
        return df

我想并行运行这些，而不是一一运行。

extract(table1)
extract(table2)
.
.
extract(tablen)
4

1 回答 1

2

asyncio 是将非阻塞代码组织成回调和协程。并行运行 CPU 密集型代码是线程的一个用例：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor() as executor:
    frames = list(executor.map(extract, all_tables))

这实际上是否会比顺序代码运行得更快取决于是否pd.read_sql发布了GIL。

于 2018-07-20T06:38:58.993 回答