tensorflow - 如何在 fp16 中使用在 fp32 中训练的模型进行 tensorflow 推理

Question

在 NV V100/P100 中是否有任何无缝方式可以实现最佳 fp16 性能？例如，我有一个在 fp32 中训练的模型和实现。该应用程序完美运行。现在，我想探索一下fp16的体验。有什么简单的方法可以实现这一点。

Answer 1

试试这个方法，我发现在 Pascal 架构 GPU 上用 fp16 推理更快，有人能解释一下吗？