- ReLU 单元通过简单高效的数学运算,将必要的非线性引入神经网络。
- 与 sigmoid 或 tanh 等函数相比,它能够避免正输入上的梯度饱和,从而加快训练速度。
- 有几种变体,例如 Leaky ReLU 或 GELU,旨在缓解神经元不活跃的问题或提高曲线的平滑度。
- 最近的研究表明,通过特定的约束,ReLU 在隐式神经表征方面可以优于其他函数。

如果你涉足深度学习领域,很可能已经接触过修正线性单元(ReLU)。乍一看,它似乎过于简单,难以发挥如此强大的作用,但正是这种简洁性彻底改变了我们训练卷积神经网络和现代Transformer模型的方式。
本质上,ReLU 函数就像一个过滤器,它允许正值直接通过,并将所有负数转换为零。这种无需复杂数学计算即可引入非线性的能力,使得人工智能能够学习复杂且曲线状的模式,而不会导致计算机崩溃。
ReLU究竟是如何工作的?
从数学角度来说,我们讨论的是一个定义为 f(x) = max(0, x) 的函数。简单来说,这意味着如果输入数据大于零,则输出与输入数据相同;如果输入数据小于或等于零,则输出为 0。正是这种机制赋予了神经网络对非线性函数进行建模的灵活性,而这对于避免模型沦为简单的线性回归至关重要。
从性能角度来看,ReLU 函数堪称瑰宝,因为它计算成本极低。与其他需要指数运算的函数不同,它只需要简单的比较。此外,它的导数也非常简单:正值时导数为 1,负值时导数为 0。虽然理论上导数在零时不存在,但大多数框架(例如 PyTorch)为了避免复杂情况,都将其赋值为 0。
主要优势和分散现象

ReLU最大的优势之一是,当输入为正值时,它不会出现饱和现象。在像sigmoid这样的旧函数中,梯度在极端值处会变得非常小,导致网络的初始层停止学习。而ReLU的梯度始终保持在1,这可以有效防止梯度衰减,并允许训练多层网络。
另一个有趣的特点是激活分布的分散性。由于 ReLU 函数会将所有负输入重置为零,因此在任何给定时刻,只有一部分神经元处于激活状态。这更接近于模拟大脑的生物功能,并且由于并非所有单元都同时发出信号,因此模型效率更高。
“死亡”神经元的问题
并非一切都尽如人意,ReLU 激活函数也存在失效或“死亡”的风险。当一个神经元在所有训练数据中始终接收到负值时,就会出现这种情况;由于其梯度为零,权重永远不会改变,神经元实际上变得毫无用处。这种情况通常是由于学习率过高造成的,过高的学习率会将神经元的偏置推至远低于零的水平。
为了防止模型变得半空,通常会采用诸如He 初始化(调整初始权重)或批量归一化(帮助将激活值保持在健康范围内)之类的策略。
改进性能的变体
为了解决标准 ReLU 的不足,出现了几种非常有趣的替代方案:
- 泄漏 ReLU: 它不会将负数设为绝对零度,而是应用一个非常小的斜率(例如 0,01),以便神经元能够继续学习。
- 序幕: 它与前一个类似,但负斜率不是固定的,而是可变的。 模型学习了它 在训练期间。
- ReLU6: 它将最大输出限制为 6,这在移动设备或硬件上非常有用。 低精度算术.
- ELU 和 GELU: 这些特征旨在获得更平滑的曲线。例如,GELU 是 BERT 等模型中的核心,因为 结合了随机特性 在语言和视觉任务上表现更佳。
与 Sigmoid 和 Tanh 的比较
在 ReLU 函数因 AlexNet 于 2012 年流行起来之前,标准方法是使用 sigmoid 或双曲正切 (tanh) 函数。问题在于,这两种函数在两端都会趋于平缓,导致训练速度极其缓慢。事实上,已有研究表明,使用 ReLU 的网络比使用 tanh 的网络更快地达到训练误差。即便如此,当需要概率信息时,sigmoid 函数仍然是输出层的首选。
ReLU 处于领先地位:INR 和 BW-ReLU

最近,关于ReLU是否适用于隐式神经表征(INR)的争论一直不断。隐式神经表征是指学习连续信号(例如3D图像或医学扫描图像)的网络。人们认为ReLU存在频谱偏差,这意味着它难以学习精细或高频细节。
然而,一种名为BW-ReLU的方案应运而生。这种架构并非使用单个 ReLU 函数,而是将它们组合起来形成类似小波的 B 样条函数。通过这种方式限制神经元,可以实现更好的优化条件,使网络能够学习到细微的细节,甚至在超分辨率任务或医学图像重建方面超越 SIREN 等专用函数。
当速度和硬件兼容性至关重要时,ReLU 实现仍然是首选。例如,在 PyTorch 中,使用 `inplace=True` 选项可以覆盖输入张量,从而节省内存——这在处理大型模型时至关重要。
这种激活函数从简单的零比较演变而来,如今已成为深度学习的基石,其高效性和消除饱和的特性使得深度网络的训练成为可能。从经典版本到创新的 BW-ReLU 结构,它不断适应和演进的能力确保了它始终是现代人工智能信息处理的基础工具。
常见问题
ReLU激活函数究竟起到什么作用?
如果输入值为正数,则该函数返回该值;如果输入值为负数或零,则该函数返回零。
ReLU 和 Leaky ReLU 有什么区别?
ReLU 将所有负值转换为零,而 Leaky ReLU 则通过固定的斜率允许一小部分负值通过。
正在消亡的 ReLU 函数存在什么问题?
当一个神经元总是接收到负输入时,它的梯度就会变为零,从而阻止其权重更新,使其永久处于非活动状态。
为什么在隐藏层中使用 ReLU 函数比 sigmoid 函数更好?
ReLU 避免了梯度消失问题,因为它不会对正值饱和,这大大加快了网络训练速度。
ReLU6变体是用来做什么的?
此版本将最大输出限制为 6,以优化使用低精度算术的系统(例如移动设备)中的数据表示。
在哪些情况下仍然使用S形函数或双曲正切函数?
它们主要用于输出层以生成概率,或者用于需要有界区间的循环单元门。
什么是 BW-ReLU?它有什么用途?
它是一种将 ReLU 神经元分组以模拟 B 样条小波的架构,从而提高对隐式神经表征中高频细节的学习能力。