HardSwish 函数

• HardSwish 简介
  • NumPy/TensorFlow/PyTorch 实现 HardSwish
• HardSwish Relay 实现
  • x*F.hardtanh(x + 3, 0., 6.) / 6 或者 x*F.relu6(x+3)/6
  • x*F.hardtanh(x*0.2+0.5, 0., 1.) 或者 x*F.hardtanh(x*(1/6)+0.5, 0., 1.)
  • nn.Hardsigmoid 或者 F.hardsigmoid