16

我有从未编译的 keras 代码构建的模型，并试图通过自定义训练循环运行它们。

TF 2.0 eager（默认）代码在 CPU（笔记本电脑）上运行大约 30 秒。当我使用包装的 tf.function 调用方法创建 keras 模型时，它的运行速度要慢得多，而且似乎需要很长时间才能启动，尤其是“第一次”时间。

例如，在 tf.function 代码中，10 个样本的初始训练需要 40 秒，10 个样本的后续训练需要 2 秒。

在 20 个样本上，初始需要 50 秒，后续需要 4 秒。

1 个样本的第一列火车需要 2 秒，后续需要 200 毫秒。

所以看起来每次调用 train 都在创建一个新图，其中复杂性随列车数量而变化！？

我只是在做这样的事情：

@tf.function
def train(n=10):
    step = 0
    loss = 0.0
    accuracy = 0.0
    for i in range(n):
        step += 1
        d, dd, l = train_one_step(model, opt, data)
        tf.print(dd)
        with tf.name_scope('train'):
            for k in dd:
                tf.summary.scalar(k, dd[k], step=step)
        if tf.equal(step % 10, 0):
            tf.print(dd)
    d.update(dd)
    return d

根据示例，模型keras.model.Model使用@tf.function装饰call方法的位置。

4

1 回答 1

31

我分析了@tf.function这里的这种行为Using a Python native type。

简而言之： 的设计tf.function不会自动将 Python 原生类型装箱到tf.Tensor具有良好定义的dtype.

如果您的函数接受一个tf.Tensor对象，则在第一次调用该函数时，将构建图形并与该函数关联。在每个非第一次调用中，如果对象dtype的tf.Tensor匹配，则重新使用该图。

但是在使用 Python 本机类型的情况下，每次使用不同的 value 调用函数时都会构建 graphg 。

简而言之：tf.Tensor如果您打算使用@tf.function.

tf.function不是一个能够神奇地加速在 Eager 模式下运行良好的函数的包装器；是一个包装器，需要设计渴望函数（主体、输入参数、dytpes）了解创建图形后会发生什么，以获得真正的加速。

于 2019-04-16T16:33:09.227 回答