import numpy as np
rng = np.random.default_rng(0)
N = 1_000_000
# N(0,1) MGF
Z = rng.standard_normal(N)
t = 0.5
print(f"E(e^(0.5*Z)) ≈ {np.mean(np.exp(t*Z)):.4f} teorik e^(0.125) = {np.exp(t**2/2):.4f}")
# Pois(2) + Pois(3) = Pois(5)
S = rng.poisson(2, N) + rng.poisson(3, N)
print(f"Pois(2)+Pois(3): mean={S.mean():.3f}, var={S.var():.3f} (teori 5, 5)")
# Laplace ardışıklık
print(f"k=0, n=1000 → P(next) = {(0+1)/(1000+2):.6f}")18 Moment Üreten Fonksiyonlar (MGF)
Belleksizlik = Üstel; M(t) = E(e^tX) — dağılımın parmak izi
- Blitzstein’in videosu: YouTube — Lecture 17: Moment Generating Functions (≈51 dk)
- Okuma süresi: ≈36 dk
18.1 Bu Derste Ne Var?
- Belleksizlik = Üstel: Tek belleksiz sürekli dağılım, fonksiyonel denklem ispatı.
- MGF \(M(t) = E(e^{tX})\): momentleri üretir, dağılımı belirler, bağımsız toplamı çarpıma çevirir.
- Örnekler: Bern, Binom, Normal MGF.
- Laplace ardışıklık kuralı: \((n+1)/(n+2)\).
“All the MGF is, is a fancy book keeping device for keeping track of the moments of a distribution.” — Blitzstein, 20:16
- Belleksizlik karakterizasyonu → Weibull (üstelin kuvveti); sağkalım, sabit hazard testi.
- MGF momentleri → kümülantlar; CLT (Ders 29) MGF yakınsamasıyla.
- Bağımsız toplam = MGF çarpımı → Normal/Poisson kapanışı tek satırda.
- Normal MGF / kareye tamamlama → Gaussian conjugacy (Bayesçi regresyon, GP, VAE KL).
- Laplace ardışıklık \((n+1)/(n+2)\) = Laplace smoothing (add-one) — naive Bayes, n-gram.
18.2 Belleksizlik = Üstel (Fonksiyonel Denklem)
Teorem: Pozitif, sürekli, belleksiz bir RV → Üstel(λ).
Survival \(G(x) = P(X > x)\) ile belleksizlik:
\[ G(s + t) = G(s)\,G(t) \]
Değerler takarak: tamsayı \(k\) için \(G(kt) = G(t)^k\); rasyonel için \(G(t \cdot m/n) = G(t)^{m/n}\); süreklilikle her reel \(x > 0\) için:
\[ G(xt) = G(t)^x \]
\(t = 1\): \(G(x) = G(1)^x = e^{-\lambda x}\), \(\lambda = -\ln G(1) > 0\). ∎
“we’re solving for a function, not solving for the variable.” — Blitzstein, 9:33
18.3 MGF Tanımı ve Üç Önem
\[ M(t) = E(e^{tX}) \]
(0 etrafında bir aralıkta sonlu olmalı.)
Taylor: \(e^{tX} = \sum (tX)^n/n!\) →
\[ M(t) = \sum_{n=0}^{\infty} \frac{E(X^n)}{n!}\, t^n \]
Üç önem:
- Moment üretir: \(E(X^n) = M^{(n)}(0)\).
- Dağılımı belirler: aynı MGF ⇒ aynı dağılım (parmak izi).
- Bağımsız toplam → çarpım:
\[ M_{X+Y}(t) = M_X(t)\,M_Y(t) \quad (X \perp Y) \]
“Once you know the MGF, you know the distribution, at least in principle.” — Blitzstein, 27:24
Sebep 2 + 3 birlikte Normal/Poisson kapanışını tek satırda kanıtlar. CLT (Ders 29) MGF yakınsamasıyla: iid toplamın standardize MGF’i \(e^{t^2/2}\)’ye yakınsar.
18.4 Örnek MGF’ler
Bernoulli(\(p\)):
\[ M(t) = pe^t + q \]
Binom(\(n, p\)) — \(n\) Bernoulli’nin toplamı, MGF kuvveti:
\[ M(t) = (pe^t + q)^n \]
Standart Normal \(N(0,1)\) — kareye tamamlama:
\[ M(t) = \int e^{tz} \cdot \frac{e^{-z^2/2}}{\sqrt{2\pi}} dz = e^{t^2/2} \cdot \int \frac{e^{-(z-t)^2/2}}{\sqrt{2\pi}} dz = e^{t^2/2} \]
Üstel(λ):
\[ M(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda \]
Poisson(λ):
\[ M(t) = e^{\lambda(e^t - 1)} \]
import numpy as np
import matplotlib.pyplot as plt
t = np.linspace(-2, 2, 200)
M_normal = np.exp(t**2 / 2)
M_exp = 1 / (1 - t * 0.3) # Exp(1/0.3)
M_exp[t * 0.3 >= 1] = np.nan
fig, ax = plt.subplots(figsize=(10, 4.5))
ax.plot(t, M_normal, color='#A51C30', linewidth=2.5, label='N(0,1): $M(t) = e^{t^2/2}$')
ax.plot(t, M_exp, color='#2C5282', linewidth=2.5, label='Exp(0.3): $M(t) = 0.3/(0.3-t)$')
ax.axhline(1, color='#6B7280', linestyle=':')
ax.axvline(0, color='#6B7280', linestyle=':')
ax.plot(0, 1, 'o', color='#1f2937', markersize=10)
ax.text(0.1, 1.05, 'M(0) = 1', fontsize=10)
ax.set_xlabel('t', fontsize=12)
ax.set_ylabel('M(t) = E(e^{tX})', fontsize=12)
ax.set_title('MGF — momentleri Taylor katsayılarında paketler', fontsize=12)
ax.legend(loc='upper center', fontsize=11)
ax.set_ylim(0, 7)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()Kareye tamamlama numarası Gaussian’larla yapılan hemen her hesabın altında: Bayesçi lineer regresyon, Gaussian process, VAE’nin KL terimi. “Kuadratik üstel + kareye tamamla → kapalı form Gaussian” deseni Gaussian conjugacy’nin motorudur.
18.5 Laplace’ın Ardışıklık Kuralı
Güneş yarın doğacak mı? \(n\) gün üst üste doğduysa?
\(p \sim \text{Uniform}(0, 1)\) prior + \(S_n \mid p \sim \text{Bin}(n, p)\):
\[ f(p \mid S_n = n) \propto p^n \cdot 1 \;\Rightarrow\; f(p \mid S_n = n) = (n+1) p^n \]
\[ P(X_{n+1} = 1 \mid S_n = n) = \int_0^1 p (n+1) p^n dp = \frac{n+1}{n+2} \]
“if the sun rose 100 days in a row, then it would probably be 101 over 102 for the next day.” — Blitzstein, 50:37
Laplace smoothing (add-one): \(k\) gözlem, \(n\) deneme → olasılığı \((k+1)/(n+2)\). Naive Bayes / n-gram dil modellerinde sıfır-frekans problemini çözer. Beta-Binom eşleniği (Ders 23) — pseudocount’lar prior’dan gelir.
18.6 Bu Dersin Özeti
- Belleksizlik = Üstel (fonksiyonel denklem).
- MGF: \(M(t) = E(e^{tX})\).
- Üç önem: moment üretir, dağılım belirler, bağımsız toplam çarpılır.
- Örnekler: Bern, Binom, Normal (\(e^{t^2/2}\)), Üstel, Poisson.
- Laplace ardışıklık: \((n+1)/(n+2)\).
Belleksizlik Üstel’i tam karakterize eder (G(s+t)=G(s)G(t) → e^(-λx)); ve MGF \(M(t) = E(e^{tX})\), momentleri paketleyen, dağılımı belirleyen, bağımsız toplamı çarpıma çeviren bir parmak izidir — moment hesabının ve CLT’nin motoru.
18.7 Kontrol Soruları
Cevap: \(M'(t) = t e^{t^2/2}\), \(M'(0) = 0 = E(Z)\). \(M''(t) = (1+t^2)e^{t^2/2}\), \(M''(0) = 1 = E(Z^2)\). Var \(= 1\).
Cevap: \(M_{X+Y}(t) = e^{\lambda_1(e^t-1)} e^{\lambda_2(e^t-1)} = e^{(\lambda_1+\lambda_2)(e^t-1)}\) → Pois(\(\lambda_1 + \lambda_2\)).
Cevap: (a) \(M'(0) = 1/\lambda\). (b) İntegral \(\int_0^\infty e^{-(\lambda-t)x} dx\) yalnız \(t < \lambda\)’da yakınsar.
Cevap: \((0+1)/(1000+2) = 1/1002 \approx \mathbf{0{,}001}\). MLE zero-frequency problem’i çözer; naive Bayes/n-gram’da tek 0 tüm çarpımı sıfırlar. Laplace smoothing = bu kural.
18.8 Egzersizler
Egzersiz 1. Exp(λ) MGF’ten \(E(X^2), E(X^n) = n!/\lambda^n\).
Egzersiz 2. Genel Normal MGF: \(X = \mu + \sigma Z\) → \(M_X(t) = e^{\mu t + \sigma^2 t^2/2}\).
Egzersiz 3. Bağımsız Normal toplamı MGF ile.
Egzersiz 4. (Python — MGF + Laplace)
Egzersiz 5. (Sonraki ders) \(M_{S_n}(t) = M(t)^n\) — CLT habercisi.
18.9 Sonraki Ders İçin Hazırlık
Ders 18: MGF’lere Devam ve Joint Dağılımlar — Üstel momentleri, Normal momentleri, Poisson toplamı, joint kavramı.
- Egzersiz 5 (M(t)^n) çöz.
- Üç MGF ezberle: Bern, Normal, Üstel.
18.10 Anahtar Kavramlar (Cheat Sheet)
| Kavram | Tanım | Blitzstein’de |
|---|---|---|
| Belleksizlik = Üstel | Pozitif sürekli memoryless → Exp | 0m27 |
| Fonksiyonel denklem | \(G(s+t) = G(s)G(t)\) → \(e^{-\lambda x}\) | 9m33 |
| MGF | \(M(t) = E(e^{tX})\) | 18m03 |
| Moment üretir | \(E(X^n) = M^{(n)}(0)\) | 20m32 |
| Dağılım belirler | Aynı MGF ⇒ aynı dist. | 26m12 |
| Bağımsız toplam | \(M_{X+Y} = M_X \cdot M_Y\) | 29m52 |
| Bern / Binom | \(pe^t+q\) / \((pe^t+q)^n\) | 31m07 |
| N(0,1) | \(e^{t^2/2}\) (kareye tamamla) | 36m51 |
| Exp(λ) | \(\lambda/(\lambda-t)\), \(t < \lambda\) | — |
| Pois(λ) | \(e^{\lambda(e^t-1)}\) | — |
| Laplace | \((n+1)/(n+2)\) | 50m37 |
18.11 ML Bağlantıları Özeti
- Belleksizlik karakterizasyonu → Üstel, Weibull, sağkalım.
- MGF momentleri → kümülantlar; CLT motoru.
- MGF dağılımı belirler → parmak izi; CLT ispatı.
- Bağımsız toplam → çarpım → Normal/Poisson kapanışı.
- Kareye tamamlama → Gaussian conjugacy, VAE KL.
- Laplace ardışıklık → Laplace smoothing (naive Bayes, n-gram).
Belleksizlik Üstel’i tam belirler. MGF dağılımın parmak izidir — momentleri paketler, dağılımı belirler, bağımsız toplamı çarpıma çevirir; moment hesabının ve CLT’nin motoru.