torch:std
(torch:std a &key axis keepdims ddof)
微分可能な標準偏差、すなわち torch:var の torch:sqrt です。1 つの軸に沿った平均と標準偏差は LayerNorm が必要とする 2 つの統計量です。
(torch:std a &key axis keepdims ddof)
微分可能な標準偏差、すなわち torch:var の torch:sqrt です。1 つの軸に沿った平均と標準偏差は LayerNorm が必要とする 2 つの統計量です。