numpy - NumPy 可以处理多少数据

Question

我正在尝试使用PyTablesand NumPy。

你能告诉我后者可以处理多少数据吗？

我目前正在处理 1.4 亿行的数据，想知道是否NumPy可以处理它。如果它至少可以处理 2 列的 1.4 亿行，那就太好了。现在我使用具有 8 GB RAM 的 64 位版本的 Windows。

如果NumPy无法处理这么多数据，统计和机器学习算法实现的可能替代方案是什么？

Answer 1

140M 远小于 2**31，因此如果内存足够，这甚至应该适合 32 位 Python/Numpy。您可以轻松地尝试一下

>>> import numpy as np
>>> X = np.empty((140e6, 2))

标准的内存使用dtype=np.float64量为 8 字节 × 140M × 2 = 2GB。如果您使用dtype=np.float32，您可以节省 2 倍。