- ReLU birimi, basit ve etkili bir matematiksel işlem aracılığıyla sinir ağlarına gerekli doğrusal olmayan özelliği kazandırır.
- Pozitif girdilerde gradyan doygunluğunu önleme yeteneği, sigmoid veya tanh gibi fonksiyonlara kıyasla eğitimi hızlandırır.
- İnaktif nöronlar sorununu hafifletmek veya eğrinin düzgünlüğünü iyileştirmek için tasarlanmış Leaky ReLU veya GELU gibi çeşitli varyantlar mevcuttur.
- Son araştırmalar, belirli kısıtlamalar altında ReLU'nun örtük sinirsel temsillerde diğer fonksiyonlardan daha iyi performans gösterebileceğini ortaya koymaktadır.

Derin öğrenme dünyasına adım attıysanız, muhtemelen ReLU olarak bilinen düzeltilmiş doğrusal birimle karşılaşmışsınızdır . İlk bakışta, bu kadar güçlü olmak için fazla basit bir işlem gibi görünebilir, ancak tam da bu basitlik, evrimsel sinir ağlarını ve modern transformatörleri eğitme biçimimizde devrim yaratmıştır.
Özünde, ReLU, pozitif değerlerin bozulmadan geçmesine izin veren ve herhangi bir negatif sayıyı sıfıra dönüştüren bir filtre görevi görür . Karmaşık matematiksel hesaplamalara başvurmadan doğrusal olmayan bir yapı oluşturma yeteneği, bir yapay zekanın karmaşık ve eğrisel desenleri bilgisayarın çökmesine neden olmadan öğrenmesini sağlar.
ReLU tam olarak nasıl çalışır?
Matematiksel olarak, f(x) = max(0, x) şeklinde tanımlanan bir fonksiyondan bahsediyoruz. Daha basit bir ifadeyle, bu, giriş verisi sıfırdan büyükse, çıktının aynı veri olduğu; sıfırdan küçük veya eşitse, çıktının 0 olduğu anlamına gelir. Bu mekanizma, sinir ağlarına doğrusal olmayan fonksiyonları modelleme esnekliği kazandırır ; bu da modelin sadece büyük bir doğrusal regresyon olmaması için çok önemlidir.
Performans açısından bakıldığında, ReLU son derece düşük hesaplama maliyeti nedeniyle bir mücevher gibidir . Üstel ifadeler gerektiren diğer fonksiyonların aksine, burada sadece basit bir karşılaştırma yapılır. Dahası, türevi çok basittir: pozitif değerler için 1, negatif değerler için 0'dır. Teknik olarak türev sıfırda mevcut olmasa da, PyTorch gibi çoğu çerçeve, karmaşıklığı önlemek için ona basitçe 0 değeri atar.
Başlıca avantajlar ve dağılım olgusu

En büyük avantajlarından biri, girişler pozitif olduğunda doygunluktan etkilenmemesidir . Sigmoid gibi eski fonksiyonlarda, gradyanlar uç noktalarda çok küçük hale gelir ve bu da ağın ilk katmanlarının öğrenmeyi durdurmasına neden olurdu. ReLU ile gradyan 1'de sabit kalır, bu da gradyan sönümlemesiyle mücadele eder ve çok katmanlı ağların eğitilmesine olanak tanır.
Bir diğer ilginç nokta ise dağılmış aktivasyonlardır. ReLU tüm negatif girdileri sıfırladığı için, herhangi bir anda nöronların yalnızca bir kısmı aktiftir . Bu, beynin biyolojik işleyişini daha yakından taklit eder ve tüm birimlerin aynı anda sinyal göndermemesi nedeniyle modeli daha verimli hale getirir.
"Ölü" nöronlar sorunu
Her şey güllük gülistanlık değil, çünkü aktif olmayan veya ölen ReLU'lar riski de var. Bu durum, bir nöronun tüm eğitim verileri için her zaman negatif değerler almasıyla ortaya çıkar; gradyanı sıfır olduğundan, ağırlıklar asla değişmez ve nöron esasen işe yaramaz hale gelir. Genellikle bu, nöronun bias değerini sıfırın çok altına iten çok yüksek bir öğrenme oranı kullanılması nedeniyle olur .
Modelin yarı boş hale gelmesini önlemek için, başlangıç ağırlıklarını ayarlayan He başlatma veya aktivasyonları sağlıklı aralıklarda tutmaya yardımcı olan Toplu Normalizasyon gibi stratejiler sıklıkla kullanılır.
Performansı artırmaya yönelik varyantlar
Standart ReLU'nun eksikliklerini gidermek için, oldukça ilgi çekici birkaç alternatif ortaya çıkmıştır:
- Sızıntılı ReLU: Negatif değerler için mutlak sıfır yerine, nöronun öğrenmeye devam etmesi için çok küçük bir eğim (örneğin 0,01) uygulanır.
- PRELU: Öncekine benzer, ancak negatif eğim sabit değil, aksine değişkendir. model bunu öğreniyor eğitim sırasında.
- ReLU6: Maksimum çıkışı 6 ile sınırlandırır; bu da özellikle mobil cihazlarda veya donanımlarda son derece kullanışlıdır. düşük hassasiyetli aritmetik.
- ELU ve GELU: Bu özellikler daha düzgün bir eğri elde etmeyi amaçlar. Örneğin GELU, BERT gibi modellerde yıldız bileşendir, çünkü stokastik özellikleri birleştirir ve dil ve görme görevlerinde daha iyi performans gösterir.
Sigmoid ve Tanh ile karşılaştırma
2012'de AlexNet sayesinde ReLU popüler hale gelmeden önce, standart yaklaşım sigmoid veya hiperbolik tanjant (tanh) eğrilerini kullanmaktı. Sorun şu ki, her ikisi de uçlarda düzleşiyor ve bu da eğitimi son derece yavaşlatıyor. Aslında, ReLU kullanan bir ağın, tanh kullanan bir ağa göre eğitim hatasına çok daha hızlı ulaşabileceği gösterilmiştir . Buna rağmen, olasılıklara ihtiyaç duyulduğunda sigmoid eğrisi çıktı katmanları için tercih edilen seçenek olmaya devam etmektedir.
ReLU ön saflarda: INR ve BW-ReLU

Son zamanlarda, 3 boyutlu görüntüler veya tıbbi taramalar gibi sürekli sinyalleri öğrenen ağlar olan Örtük Sinirsel Temsiller (INR'ler) için ReLU'nun uygun olup olmadığı konusunda tartışmalar yaşanıyor. ReLU'nun spektral bir önyargıya sahip olduğu , yani ince veya yüksek frekanslı ayrıntıları öğrenmekte zorlandığı düşünülüyordu.
Ancak, BW-ReLU adı verilen bir öneri ortaya çıktı . Bu mimari, tek tek ReLU'ları kullanmak yerine, onları dalgacık benzeri B-spline fonksiyonları oluşturacak şekilde gruplandırır. Nöronları bu şekilde kısıtlayarak, daha iyi optimizasyon koşullandırması elde edilir ve ağın ince ayrıntıları öğrenmesine ve hatta süper çözünürlük görevlerinde veya tıbbi görüntü yeniden yapılandırmasında SIREN gibi özel fonksiyonlardan daha iyi performans göstermesine olanak tanır.
Hız ve donanım uyumluluğunun ön planda olduğu durumlarda ReLU uygulaması tercih edilen seçenek olmaya devam etmektedir . Örneğin PyTorch'ta, `inplace=True` seçeneğini kullanarak giriş tensörünün üzerine yazabilir ve böylece RAM'den tasarruf edebilirsiniz; bu da büyük modellerle çalışırken hayati bir ayrıntıdır.
Bu aktivasyon fonksiyonu, basit bir sıfır karşılaştırmasından derin öğrenmenin temel taşı haline gelerek, verimliliği ve doygunluğu ortadan kaldırması sayesinde derin ağların eğitilmesini mümkün kılmıştır. Klasik versiyonlarından yenilikçi BW-ReLU yapılarına kadar, uyum sağlama ve evrim geçirme yeteneği, modern yapay zekada bilgi işleme için temel araç olarak kalmasını sağlamaktadır.
Sık sorulan sorular
ReLU aktivasyon fonksiyonu tam olarak ne işe yarar?
Bu fonksiyon, girilen değer pozitif ise bu değeri, negatif veya sıfır ise sıfır değerini döndürür.
ReLU ve Leaky ReLU arasındaki fark nedir?
ReLU tüm negatif değerleri sıfıra dönüştürürken, Leaky ReLU sabit bir eğim sayesinde negatif değerlerin küçük bir kısmının geçmesine izin verir.
Ölmekte olan ReLU'nun sorunu nedir?
Bu durum, bir nöronun sürekli olarak negatif girdiler alması ve gradyanının sıfır olması, ağırlıklarının güncellenmesini engellemesi ve nöronun kalıcı olarak inaktif kalması durumunda ortaya çıkar.
Gizli katmanlarda ReLU fonksiyonu neden sigmoid fonksiyonundan daha iyidir?
ReLU, pozitif değerler için doygunluğa ulaşmadığı için gradyan kaybolma sorununu önler ve bu da ağ eğitimini önemli ölçüde hızlandırır.
ReLU6 varyantı ne için kullanılır?
Bu sürüm, mobil cihazlar gibi düşük hassasiyetli aritmetik kullanan sistemlerde veri gösterimini optimize etmek için maksimum çıktıyı 6 ile sınırlandırır.
Sigmoid veya TANH eğrileri hangi durumlarda hala kullanılmaktadır?
Bunlar esas olarak olasılık üretmek için çıkış katmanlarında veya sınırlı bir aralığın gerekli olduğu tekrarlayan hücre kapılarında kullanılır.
BW-ReLU nedir ve ne için kullanılır?
Bu, ReLU nöronlarını B-spline dalgalanmalarını taklit edecek şekilde gruplandıran ve örtük sinirsel temsillerde yüksek frekanslı ayrıntıların öğrenilmesini geliştiren bir mimaridir.