julia - 如何在 Flux.jl 中初始化权重

Question

我想为模型中的特定层初始化一些权重和偏差。这怎么可能Flux.jl？

Answer 1

大多数层函数，例如Dense和Conv，都包含权重和偏差。您可以通过 do 看到每个函数的定义，? Dense或者? Conv这将揭示，例如，可以通过 do 使用权重和条形简单地调用 Dense 函数：Dense(W::AbstractMatrix, [bias, σ])对于该Conv函数，如下所示：

  julia> weight = rand(3, 4, 5);
  
  julia> bias = zeros(5);
  
  julia> c1 = Conv(weight, bias, sigmoid)  # expects 1 spatial dimension
  Conv((3,), 4=>5, σ)

其中sigmoid是 sigmoid 函数的语法糖，通常表示为σ()。