8

我正在使用 Keras 解决多类分类问题，并且我使用二进制精度和分类精度作为指标。当我评估我的模型时，我得到了一个非常高的二进制精度值和一个相当低的分类精度值。我试图在自己的代码中重新创建二进制精度指标，但运气不佳。我的理解是，这是我需要重新创建的过程：

def binary_accuracy(y_true, y_pred):
     return K.mean(K.equal(y_true, K.round(y_pred)), axis=-1)

这是我的代码：

from keras import backend as K
preds = model.predict(X_test, batch_size = 128)

print preds
pos = 0.00
neg = 0.00

for i, val in enumerate(roundpreds):

    if val.tolist() == y_test[i]:
        pos += 1.0

    else: 
        neg += 1.0

print pos/(pos + neg)

但这给出的值比二进制精度给出的值低得多。二进制精度甚至是用于多类问题的适当指标吗？如果是这样，有人知道我哪里出错了吗？

4

1 回答 1

21

因此，您需要了解将 abinary_crossentropy应用于多类预测时会发生什么。

  1. 让我们假设您的输出softmaxis(0.1, 0.2, 0.3, 0.4)和 one-hot 编码的基本事实是(1, 0, 0, 0)。
  2. binary_crossentropy屏蔽所有高于0.5网络的输出，将其转换为(0, 0, 0, 0)向量。
  3. (0, 0, 0, 0)匹配(1, 0, 0, 0)4 个索引中的 3 个的基本事实 - 这使得结果的准确度达到75%的水平，这是一个完全错误的答案！

为了解决这个问题，您可以使用单一类别的准确性，例如像这样：

def single_class_accuracy(interesting_class_id):
    def fn(y_true, y_pred):
        class_id_preds = K.argmax(y_pred, axis=-1)
        # Replace class_id_preds with class_id_true for recall here
        positive_mask = K.cast(K.equal(class_id_preds, interesting_class_id), 'int32')
        true_mask = K.cast(K.equal(y_true, interesting_class_id), 'int32')
        acc_mask = K.cast(K.equal(positive_mask, true_mask), 'float32')
        class_acc = K.mean(acc_mask)
        return class_acc

    return fn
于 2017-09-22T20:20:24.023 回答