8  Limitler, L’Hôpital ve Epsilon-Delta

Yaklaşmanın kesin tanımı + 0/0 belirsizliğini çözmek

NotBölüm bilgisi

8.1 Bu Derste Ne Var?

Türev fikrinden integrallere geçmeden önce limitlere bir ara verelim. Aslında limit yeni bir şey değil — “yaklaşmak” kelimesinin ne demek olduğunu biliyorsan, limiti zaten biliyorsun. Ama bir ders ayırmanın üç nedeni var: (1) bu seride \(dx\) ve \(df\)’yi somut, sonlu küçük dürtmeler olarak düşünmenin, ders kitaplarındaki resmî türev tanımıyla birebir örtüştüğünü göstermek; (2) “yaklaşmak”ın epsilon-delta ile kesin anlamı; (3) limitleri hesaplayan akıllı bir hile: L’Hôpital kuralı.

Üç ana fikir:

  1. Türevin resmî tanımı: \(f'(x) = \lim_{h \to 0} [f(x+h) - f(x)]/h\). Buradaki \(h\), bizim \(dx\)’imizle aynı.
  2. Epsilon-delta: “yaklaşmak”, çıktı aralığını istediğin kadar küçültebilmektir (her \(\varepsilon\) için bir \(\delta\) bulabilmek).
  3. L’Hôpital kuralı: bir girdide \(0/0\) görünüyorsa, pay ve paydanın türevlerinin oranını al.
flowchart LR
    A["Sezgi:<br/>'yaklaşmak'"] --> B["Limit notasyonu:<br/>lim h→0"]
    B --> C["Türevin resmi tanımı:<br/>lim [f(x+h)−f(x)]/h"]
    B --> D["Epsilon-delta:<br/>her ε için ∃ δ"]
    B --> E["0/0 belirsizliği"]
    E --> F["L'Hôpital:<br/>lim f/g = f'(a)/g'(a)"]
    style F fill:#fff3e0,stroke:#f57c00,stroke-width:2px
    style D fill:#e3f2fd,stroke:#1976d2,stroke-width:2px
Şekil 8.1: Limitin üç yüzü: somut dürtmenin resmi karşılığı + epsilon-delta + L’Hôpital.

“limitlerle ilgili büyük yaygara, sonsuz küçük değişiklikler hakkında konuşmaktan kaçınmamıza izin vermesi … değişkenimizde küçük bir değişikliğin boyutu 0’a yaklaştığında ne olacağını sormamıza izin vermesidir.” — Grant, 4:41 (Türkçe dublaj)

İpucuBuilder Notu — ML Köprüleri
  • Limit / yakınsama → eğitim yakınsaması (“loss minimuma yaklaşıyor”), optimizasyon ispatlarındaki \(\varepsilon\)-\(\delta\), sayısal tolerans (atol/rtol).
  • Türev = limit → gradient kesin bir limittir, sonlu fark değil; autodiff’in sayısal türeve neden üstün olduğunun resmî temeli.
  • \(0/0\) belirsizliği / L’Hôpital → sayısal stabilite: log-sum-exp, softmax’ta \(0/0\), küçük sayıya bölme; tekillik civarındaki oranları güvenle hesaplama.
  • “Tak-çalıştır yok, yaratıcılık gerek” → yeni türev formülleri (ve genelde araştırma) sistematik bir reçeteyle değil, sezgiyle keşfedilir.

8.2 Limit: “Yaklaşmak” Fikrine Resmî Bir İsim

Limit kavramı kavramsal olarak yeni bir şey getirmez: bir değerin başka bir değere yaklaşması sezgisine gösterişli bir gösterim atamaktan ibarettir.

Serinin başından beri türevi “\(dx\) kadar küçük bir dürtme, \(df\) kadar çıktı değişimi” diye anlattım ve \(dx\)’i sonlu, sıfır-olmayan, somut bir sayı olarak düşünmeni istedim — yeter ki o sayı 0’a yaklaştığında ne olduğunu sormayı unutma. İşte limit, bu “somut küçük dürtme” felsefesini tam katılığıyla destekleyen resmî araçtır: sonsuz küçüklükten bahsetmeden, “dürtme 0’a yaklaşırken oran neye yaklaşır?” diye sormamıza izin verir.

İpucuBuilder Notu — Optimizasyon Yakınsaması

ML’de “yakınsama” sözcüğü tam da bu limit fikridir. “Eğitim yakınsadı” demek, kaybın bir değere keyfî yakınlıkta kalması (her \(\varepsilon\) için bir adım sayısından sonra \(|L - L^*| < \varepsilon\)) demektir. Optimizasyon teoremleri (SGD yakınsaması, öğrenme oranı koşulları) tamamen bu epsilon-delta dilinde yazılır.

8.3 Türevin Resmî Tanımı: \(\lim_{h \to 0}\)

Resmî gösterimle:

\[ f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h} \]

Burada \(h\), serideki \(dx\) ile tamamen aynı şeydir\(f\)’nin girdisine yapılan sıfırdan farklı, son derece küçük (0,001 gibi) bir itme. Ders kitapları \(dx\) yerine genelde \(h\) (ya da \(\Delta x\)) yazar. Önemli nokta: sağ tarafta “sonsuz küçük değişim” gibi paradoksal hiçbir şey yok — limitlerin tüm amacı bundan kaçınmaktır.

“bu somut, sonlu küçük dürtü felsefesiyle türevler hakkında söylediğim her şey, … bu resmî tanımın sadece bir çevirisidir.” — Grant, 4:30 (Türkçe dublaj)

İpucuBuilder Notu — Autodiff Resmî Temel

Gradient, tam olarak bu limittir — sonlu fark değil. PyTorch/JAX’ın otomatik türevi, \([f(w+h) - f(w)]/h\) oranını küçük bir \(h\) ile yaklaşık hesaplamaz; cebirsel limiti (kuralları zincirleyerek) kesin verir. Sonlu fark yöntemi \(h\) seçimine ve yuvarlama hatasına takılır; limit tanımı bu sorunu baştan ortadan kaldırır.

8.4 Bir Limiti Hesaplamak: \(0/0\) ve Delik

Şu fonksiyonu düşün: \([(2+h)^3 - 2^3] / h\). Bu, \(x^3\)’ün \(x = 2\)’deki türevinin tanımını çözünce çıkan ifade. Grafiği güzel, sürekli görünen bir eğridir. Ne var ki \(h = 0\)’da yerine koyarsan \(0/0\) elde edersin, ki bu tanımsızdır. Yani grafiğin tam o noktasında bir delik vardır.

Fonksiyon, 0’a istediğin kadar yakın girdiler için kusursuzca tanımlıdır. \(h \to 0\) iken çıktının yaklaştığı değere bak: hangi taraftan gelirsen gel, 12’ye yaklaşır.

\[ \lim_{h \to 0} \frac{(2+h)^3 - 2^3}{h} = 12 \]

Limit budur: deliğin tam üzerindeki değeri hesaplayamasak da, çevresindeki değerlerin yaklaştığı sayıyı (12) söyleyebiliriz.

İpucuBuilder Notu — Sayısal Kâbuslar

\(0/0\) biçimindeki “delikler” ML’de sayısal kâbuslardır. Softmax’ta tüm logitler eşitken, attention’da maskelenmiş bir satırda, ya da bir kaybı sıfıra giden bir paydaya bölerken \(0/0\) ortaya çıkabilir. Çözüm ya analitik limittir (ifadeyi sadeleştirip deliği “doldurmak”, örn. log-sum-exp hilesi) ya da küçük bir \(\varepsilon\) eklemek (\(10^{-8}\)).

8.5 Epsilon-Delta: “Yaklaşmak”ın Kesin Tanımı

Calculus’u icat eden matematikçi olsaydın ve biri “yaklaşmak derken tam olarak neyi kastediyorsun?” diye sorsaydı, sinir bozucu ama haklı bir soru olurdu. İşte kesin yanıt.

Yasak nokta olan 0’ın kendisi hariç, 0’a yakın bir girdi aralığına ve buna karşılık gelen çıktı aralığına bak. Girdi aralığını 0’a giderek daha sıkı yaklaştırdıkça, çıktı aralığı 12’ye giderek daha sıkı kapanıyorsa — ve bu çıktı aralığı istediğin kadar küçük yapılabiliyorsa — limit 12’dir.

Bunu kesinleştiren epsilon-delta tanımıdır. 12’den bir \(\varepsilon\) mesafesi (çıktı toleransı, istediğin kadar küçük) düşün. Limit varsa: 0’ın etrafında öyle bir \(\delta\) mesafesi (girdi aralığı) bulabilirsin ki,

\[ 0 < |h| < \delta \quad\text{ ise }\quad |f(h) - 12| < \varepsilon \]

Kilit nokta: bu her \(\varepsilon\) için geçerli — \(\varepsilon\) ne kadar küçük olursa olsun, ona karşılık gelen bir \(\delta\) her zaman bulunabilir.

Limit ne zaman yoktur? Karşı örnek: 0’da bir sıçrama yapan fonksiyon — sağdan yaklaşınca 2’ye, soldan yaklaşınca 1’e gider. Tek bir net değere yaklaşmadığından limit tanımsızdır.

“bir sınır mevcut olduğunda, çıkış aralığını istediğiniz kadar küçük yapabilirsiniz, ancak sınır olmadığında … bu çıkış aralığı belirli bir değerden daha küçük olamaz.” — Grant, 8:25 (Türkçe dublaj)

İpucuBuilder Notu — Yakınsama Teoremi

Epsilon-delta, optimizasyon teorisinin dilidir. “SGD yakınsar” demek: her \(\varepsilon > 0\) için öyle bir adım sayısı \(N\) vardır ki, \(n > N\) olan her adımda parametreler optimuma \(\varepsilon\) mesafesindedir. “Yakınsamıyor” durumu ise tam o sıçrayan fonksiyon gibidir: kayıp belirli bir bandın altına inmez, salınır. Learning rate’in 0’a uygun hızda gitmesi koşulları (Robbins-Monro) tam bu \(\varepsilon\)-\(\delta\) çerçevesinde kanıtlanır.

8.6 L’Hôpital Kuralı: \(0/0\)’ı Türevle Çözmek

Tüm bunlar teori ağırlıklıydı; şimdi limitleri gerçekten hesaplayan bir hile. Şu fonksiyonu incele:

\[ \frac{\sin(\pi x)}{x^2 - 1} \]

\(x = 1\)’de \(\sin(\pi) = 0\) ve \(x^2 - 1 = 0\), yani \(0/0\) — tanımsız.

Hile: \(x = 1\) civarına yakınlaş, küçük bir \(dx\) adımı at. Pay \(\sin(\pi x)\)’in değişimi (zincir kuralı) \(\cos(\pi x) \cdot \pi \cdot dx\); \(x = 1\)’de \(\cos(\pi) = -1\) olduğundan bu \(-\pi \cdot dx\). Payda \(x^2 - 1\)’in değişimi \(2x \cdot dx\); \(x = 1\)’de \(2 \cdot dx\). Oran:

\[ \frac{\sin(\pi x)}{x^2-1} \approx \frac{\cos(\pi)\cdot\pi\,dx}{2\cdot 1\cdot dx} = \frac{-\pi\,dx}{2\,dx} = -\frac{\pi}{2} \]

\(dx\)’ler birbirini götürür; geriye \(-\pi/2 \approx -1{,}5708\) kalır. Genel olarak, \(x = a\)’da ikisi de 0 olan türevlenebilir \(f\) ve \(g\) için:

\[ \lim_{x\to a}\frac{f(x)}{g(x)} = \frac{f'(a)}{g'(a)} \qquad (f(a)=g(a)=0) \]

Bu akıllı numara L’Hôpital kuralıdır.

İpucuBuilder Notu — Belirsiz Biçimler

L’Hôpital’in ruhu — “0/0’ı, pay ve paydanın yerel lineer davranışının oranıyla çöz” — ML’de belirsiz biçimleri ehlileştirmenin yoludur. Bir kayıp fonksiyonu \(0/0\)’a giden bir oran içerdiğinde (örneğin normalize edilmiş bir ağırlık, sıfıra giden bir sıcaklıkta softmax, ya da KL diverjansında \(p \to 0\) terimleri), limiti analitik almak çökmeyi önler.

8.7 L’Hôpital’in Sınırı: Yaratıcılık Gerekir

Türevin tanımı zaten \(0/0\) biçiminde bir kesrin limiti olduğuna göre, L’Hôpital’i yeni türev formülleri keşfetmek için kullanabilir miyiz? Hayır — bu hile yapmak olur, çünkü L’Hôpital payın türevini gerektirir, ki keşfetmeye çalıştığın şey tam da odur (döngüsel).

İş türev formülleri keşfetmeye gelince, sistematik bir “tak-çalıştır” yöntemi yoktur. Ama bu iyi bir şey: bir problemi çözmek yaratıcılık gerektiriyorsa, bu, gerçek bir şey yaptığının ve gelecekteki problemler için güçlü bir araç geliştirdiğinin işaretidir.

“bu seride oldukça fazla yaptığımız … türev formüllerini keşfetmeye gelince, sistematik bir tak-çalıştır yöntemi yoktur. Ama bu iyi bir şey!” — Grant, 17:01 (Türkçe dublaj)

İpucuBuilder Notu — Araştırma Disiplini

“Sistematik tarif yok, yaratıcılık şart” — bu, ML araştırmasının ta kendisidir. Yeni bir mimari, kayıp fonksiyonu veya optimizasyon hilesi, mekanik bir prosedürle değil; mevcut araçları (gradient, zincir kuralı, üstel/log) yapısal anlayıp yeni bir biçimde birleştirerek bulunur.

8.8 Bu Dersin Özeti

  1. Limit, “yaklaşmak” sezgisine resmî bir isimdir; kavramsal yenilik getirmez ama “somut küçük dürtme” felsefesini katı bir temele oturtur.
  2. Türevin resmî tanımı: \(f'(x) = \lim_{h \to 0} [f(x+h) - f(x)]/h\).
  3. \([(2+h)^3 - 2^3]/h\) ifadesi \(h = 0\)’da \(0/0\) (bir delik), ama \(h \to 0\) iken limit tam 12’dir.
  4. Epsilon-delta: her \(\varepsilon\) için bir \(\delta\) bulabilmek; çıktı aralığı istediğin kadar küçük yapılabilir.
  5. Limit yoksa: sıçrayan fonksiyon — sağdan ve soldan farklı değerlere gider.
  6. L’Hôpital kuralı: \(0/0\) biçimi için \(\lim f/g = f'(a)/g'(a)\). Örnek: \(\sin(\pi x)/(x^2-1) \to -\pi/2\).
  7. L’Hôpital yeni türev formülleri keşfedemez (döngüsel); formül keşfi sistematik değil, yaratıcı bir iştir.
ÖnemliTek bir cümle

Limit, “\(dx \to 0\) iken oran neye yaklaşır?” sorusuna sonsuz küçüklükten hiç bahsetmeden kesin yanıt verir (epsilon-delta); türev bu limitin resmî hâlidir ve \(0/0\) biçimindeki limitler, pay ile paydanın türevlerinin oranıyla (L’Hôpital) çözülür.

8.9 Kontrol Soruları

Cevap: \(x = 3\) koyunca \(0/0\) (belirsiz). İki yol: (a) Çarpanlara ayır: \((x-3)(x+3)/(x-3) = x+3 \to x \to 3\)’te 6. (b) L’Hôpital: pay türevi \(2x\), payda türevi 1 → \(2x/1\), \(x = 3\)’te 6.

Cevap: Limit, fonksiyonun a noktasındaki değeri değil, \(a\)’nın çevresindeki davranışıdır. Delikteki noktayı hesaplayamasak da, çevresindeki girdilerin çıktıları tek bir değere yaklaşıyorsa limit odur. Süreklilik ile limit ayrı kavramlardır.

Cevap: \(x = 0\)’da \(0/0\). L’Hôpital: pay türevi \(\cos(x)\), payda türevi 1 → \(\cos(x)/1\), \(x = 0\)’da \(\cos(0) = 1\). Yani \(\lim_{x \to 0} \sin(x)/x = 1\). (Bu aynı zamanda \(\sin\)’in \(x=0\)’daki türevinin \(\cos(0)=1\) olmasıdır; küçük \(x\) için \(\sin(x) \approx x\).)

Cevap: Her \(\varepsilon > 0\) için öyle bir adım sayısı \(N\) vardır ki, \(n > N\) olan her adımda kayıp, hedef değerine \(\varepsilon\) mesafesindedir: \(|L_n - L^*| < \varepsilon\). Yani kayıp, herhangi bir küçük toleransın içine eninde sonunda girer ve orada kalır. Yakınsamama (sıçrayan fonksiyon gibi) ise kaybın belirli bir bandın altına hiç inmemesi, salınıp durmasıdır.

8.10 Egzersizler

Egzersiz 1. \(\lim_{x \to 2} (x^2 - 4)/(x - 2)\)’yi iki yolla bul: (a) çarpanlara ayırarak, (b) L’Hôpital ile.

Egzersiz 2. \(\lim_{x \to 0} (1 - \cos x)/x^2\)’yi L’Hôpital ile bul. (İpucu: bir kez uygulayınca yine \(0/0\) çıkar — bir kez daha uygula. Sonuç \(1/2\).)

Egzersiz 3. (Epsilon-delta) \(f(x) = 2x + 1\) için \(\lim_{x \to 3} f(x) = 7\). \(\varepsilon = 0{,}1\) verildiğinde, “\(0 < |x - 3| < \delta\) ise \(|f(x) - 7| < 0{,}1\)” koşulunu sağlayan bir \(\delta\) bul.

Egzersiz 4. (Python — sembolik + sayısal) \(\sin(\pi x)/(x^2-1)\)’in \(x \to 1\) limitini SymPy ile bul.

Egzersiz 5. (Sonraki dersin habercisi) Tüm seri boyunca “fonksiyon → türevi” yönünde gittik. Ters soru: türevi bilinen bir fonksiyonun kendisini nasıl buluruz (antitürev)? Ders 8, integrasyonu ve Calculus’un Temel Teoremi’ni anlatacak.

8.11 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Grant’ta
Limit “Yaklaşmak”a resmî isim; \(\lim_{h \to 0}\) 0m25
Türevin resmî tanımı \(f'(x) = \lim_{h \to 0} [f(x+h) - f(x)]/h\) 2m08
\(h = dx\) Sonsuz küçük değil, sıradan sıfır-olmayan küçük sayı 3m18
\(0/0\) deliği Tanımsız nokta; limit yine de var olabilir 5m32
Epsilon-delta Her \(\varepsilon\) için bir \(\delta\); çıktı aralığı keyfî küçük 7m48
Limit yok (sıçrama) Sağ/sol farklı; çıktı tek değere büzülmez 7m02
L’Hôpital kuralı \(0/0 \to f'(a)/g'(a)\) 16m13
\(\sin(\pi x)/(x^2-1) \to -\pi/2\) L’Hôpital örneği 13m50
Yaratıcılık gerekir Formül keşfinde “tak-çalıştır” yöntemi yok 17m01

8.12 ML Bağlantıları Özeti

İpucu7 köprü
  1. Türev = limit → gradient kesin bir limittir; autodiff’in sonlu farktan üstünlüğünün resmî temeli.
  2. Epsilon-delta → optimizasyon yakınsama teoremleri (SGD, Robbins-Monro learning rate koşulları).
  3. \(0/0\) / L’Hôpital → sayısal stabilite: log-sum-exp, softmax \(0/0\), paydaya \(\varepsilon\) ekleme.
  4. Süreklilik / delik → ReLU köşesi, parçalı fonksiyonlar, türevlenemezlik noktaları.
  5. \(\sin(x)/x \to 1\) → küçük açı/küçük adım yaklaşımı; yerel lineerleştirme.
  6. Limit yok (sıçrama) → süreksizlik; eğitimde yakınsamama (salınım, ıraksama).
  7. Yaratıcılık gerekir → yeni mimari/kayıp/optimizasyon mekanik tarifle değil, yapısal sezgiyle bulunur.
ÖnemliTek bir şey alıp gideceksen

\(dx \to 0\)” tüm seride bir sezgiydi; limit ona kesin bir anlam verir — sonsuz küçüklükten hiç bahsetmeden, “her \(\varepsilon\) için bir \(\delta\)” diliyle. Türev bir limittir, \(0/0\) delikleri limitle doldurulur (L’Hôpital), ve aynı kesinlik ML’de “model gerçekten yakınsıyor mu?” sorusunu yanıtlar.