算子开发

• HardTanh 函数
  • HardTanh 简介
    • NumPy/TensorFlow/PyTorch 实现 HardTanh
  • HardTanh Relay 实现
• HardSigmoid 函数
  • Hard Sigmoid 简介
    • NumPy/ONNX 实现 Hardsigmoid
    • NumPy/TensorFlow/PyTorch 实现 Hardsigmoid
  • HardSigmoid Relay 实现
    • F.hardtanh(x + 3, 0., 6.) / 6 或者 F.relu6(x+3)/6
    • F.hardtanh(x*0.2+0.5, 0., 1.) 或者 F.hardtanh(x*(1/6)+0.5, 0., 1.)
    • nn.Hardsigmoid 或者 F.hardsigmoid
• HardSwish 函数
  • HardSwish 简介
    • NumPy/TensorFlow/PyTorch 实现 HardSwish
  • HardSwish Relay 实现
    • x*F.hardtanh(x + 3, 0., 6.) / 6 或者 x*F.relu6(x+3)/6
    • x*F.hardtanh(x*0.2+0.5, 0., 1.) 或者 x*F.hardtanh(x*(1/6)+0.5, 0., 1.)
    • nn.Hardsigmoid 或者 F.hardsigmoid