主流激活函数原理与演进详解:从 Sigmoid 到 SwiGLU2026年3月25日 · 阅读需 12 分钟Zhiyuan PanBlog Author从 Sigmoid/Tanh 到 ReLU 家族,再到 GELU/SiLU 和当前 LLM 标准 SwiGLU,全面梳理激活函数的演进脉络、数学原理与工程实现。