1

我正在基于 Tensorflow 的 skflow 库构建多个 DNN 模型。我将数据划分为小批量并使用 partial_fit 进行拟合。在每个 partial_fit 循环之后，我想将 TensorFlowDNNClassifier 模型的前 n 个隐藏层的权重复制到另一个 TensorFlowDNNClassifier 模型。然后使用 partial_fit 继续学习/复制。（两个模型的前 n 个隐藏层的拓扑是相同的。）

我知道如何从分类器 1 中检索权重：

classifier.get_tensor_value('dnn/layer0/Linear/Matrix:0')

但我不知道如何将它们的值复制到分类器2！

用例：

我正在尝试基于 skflow 的 TensorFlowDNNClassifier/TensorFlowDNNRegressor 构建 M DNN 模型的集合。我希望这些 M 模型彼此共享前 n 层。也就是说，相同的输入、架构和价值观. 我想通过对 skflow 的原始代码进行最小的更改来做到这一点。为此，我考虑将我的数据分成小批量，然后一次训练一个小批量的模型。在每个步骤中（使用小批量），我在一个模型上应用 partial_fit 并将其第一个 n 隐藏层的权重复制到集成中的下一个模型。然后我使用相同的小批量对第二个模型进行局部拟合，然后将权重的新值复制到下一个模型。我重复这个训练/复制，直到我到达集合中的最后一个模型。在训练第 M 个模型后，我将其前 n 个隐藏层的权重复制到所有之前的 (M-1) 个模型。然后我对下一个小批量重复此操作，直到所有 M 个模型的权重收敛。

编辑：感谢@Ismael 和@ilblackdragon（通过另一个论坛）的宝贵意见。他们建议的解决方案在模型创建时效果最好。我必须向 TensorFlowEstimator 添加额外的函数，以便我可以在训练时轻松地将权重从一个模型复制到另一个模型（小批量训练的多个步骤）。我将以下函数添加到类TensorFlowEstimator（在文件 estimators/base.py 中定义）

def extract_num_hidden_layers(self,graph_ops):
    nhl = 0
    are_there_more_layers = True
    while are_there_more_layers:
        are_there_more_layers = False 
        layerName = 'dnn/layer' + str(nhl) + '/Linear/Matrix'
        for op in graph_ops:
            if(op.name == layerName):
                nhl+=1
                are_there_more_layers = True
                break
    return nhl

def create_updaters(self):
    self.weight_updaters = []
    self.bias_updaters = []
    for h in range(0,self.num_hidden_layers):
        with tf.variable_scope('', reuse=True):
            wName = 'dnn/layer' + str(h) + '/Linear/Matrix'
            wUpOp = tf.assign(tf.get_variable(wName), self.nValues)
            self.weight_updaters.append(wUpOp)
            bName = 'dnn/layer' + str(h) + '/Linear/Bias'
            bUpOp = tf.assign(tf.get_variable(bName), self.nValues)
            self.bias_updaters.append(bUpOp)

def get_layer_weights(self, layer_num):
    layer_name = 'dnn/layer' + str(layer_num) + '/Linear/Matrix:0'
    return self.get_tensor_value(layer_name)

def get_layer_biases(self, layer_num):
    layer_name = 'dnn/layer' + str(layer_num) + '/Linear/Bias:0'
    return self.get_tensor_value(layer_name)

def get_layer_params(self, layer_num):
    return [self.get_layer_weights(layer_num), self.get_layer_biases(layer_num)]

def set_layer_weights(self, layer_num, weights_values):
    self._session.run(self.weight_updaters[layer_num], 
                                feed_dict = {self.nValues: weights_values})

def set_layer_biases(self, layer_num, biases_values):
    self._session.run(self.bias_updaters[layer_num], 
                                feed_dict = {self.nValues: biases_values})

def set_layer_params(self, layer_num, params_values):
    self.set_layer_weights(layer_num, params_values[0])
    self.set_layer_biases(layer_num, params_values[1])

然后，在使用 self.model_fn(self._inp, self._out) 创建模型图后，我将以下几行添加到函数_setup_training中

        graph_ops = self._graph.get_operations()
        self.num_hidden_layers = self.extract_num_hidden_layers(graph_ops)
        self.nValues = tf.placeholder(tf.float32)

        #self.weight_updaters & self.bias_updaters
        self.create_updaters()

以及如何使用 getter 和 setter 函数：

iris = datasets.load_iris()
classifier = skflow.TensorFlowDNNClassifier(hidden_units=[10,5,4], n_classes=3,continue_training=True)
classifier.fit(iris.data, iris.target)
l1b = classifier.get_layer_biases(1)
l1b[3] = 2 # here I manually change the value for demo
classifier.set_layer_biases(1,l1b)
4

1 回答 1

0

您应该使用 TensorFlowEstimator，您可以在其中定义自定义模型，基本上您可以将任何 TensorFlow 代码插入自定义模型。

因此，如果您知道如何检索权重，则可以使用 tf.Variable 并将权重作为初始值传递给新的 dnn，因为：

tf.Variable 可以将张量或 Python 对象转换为张量作为初始值

. 所以我认为权重的转移应该是这样的：

weights_i = classifier_i.get_tensor_value('dnn/layer0/Linear/Matrix:0')

def my_model_i_plus_1(X, y):
    W = tf.Variable(weights_i)
    b = tf.Variable(tf.zeros([biases_size]))

    layer = tf.nn.relu(tf.matmul(X, W) + b)

    return skflow.models.logistic_regression(layer, y)


classifier_i_plus_1 = skflow.TensorFlowEstimator(model_fn=my_model_i_plus_1,
                                    n_classes=3,
                                    optimizer="SGD")
于 2016-06-15T00:30:41.217 回答