主流激活函数原理与演进详解：从 Sigmoid 到 SwiGLU
· 阅读需 12 分钟
从 Sigmoid/Tanh 到 ReLU 家族，再到 GELU/SiLU 和当前 LLM 标准 SwiGLU，全面梳理激活函数的演进脉络、数学原理与工程实现。
1 篇博文 含有标签「激活函数」
神经网络激活函数
查看所有标签神经网络激活函数
查看所有标签从 Sigmoid/Tanh 到 ReLU 家族，再到 GELU/SiLU 和当前 LLM 标准 SwiGLU，全面梳理激活函数的演进脉络、数学原理与工程实现。