18  Moment Üreten Fonksiyonlar (MGF)

Belleksizlik = Üstel; M(t) = E(e^tX) — dağılımın parmak izi

NotBölüm bilgisi

18.1 Bu Derste Ne Var?

  1. Belleksizlik = Üstel: Tek belleksiz sürekli dağılım, fonksiyonel denklem ispatı.
  2. MGF \(M(t) = E(e^{tX})\): momentleri üretir, dağılımı belirler, bağımsız toplamı çarpıma çevirir.
  3. Örnekler: Bern, Binom, Normal MGF.
  4. Laplace ardışıklık kuralı: \((n+1)/(n+2)\).

“All the MGF is, is a fancy book keeping device for keeping track of the moments of a distribution.” — Blitzstein, 20:16

İpucuBuilder Notu — ML Köprüleri
  • Belleksizlik karakterizasyonu → Weibull (üstelin kuvveti); sağkalım, sabit hazard testi.
  • MGF momentleri → kümülantlar; CLT (Ders 29) MGF yakınsamasıyla.
  • Bağımsız toplam = MGF çarpımı → Normal/Poisson kapanışı tek satırda.
  • Normal MGF / kareye tamamlamaGaussian conjugacy (Bayesçi regresyon, GP, VAE KL).
  • Laplace ardışıklık \((n+1)/(n+2)\) = Laplace smoothing (add-one) — naive Bayes, n-gram.

18.2 Belleksizlik = Üstel (Fonksiyonel Denklem)

Teorem: Pozitif, sürekli, belleksiz bir RV → Üstel(λ).

Survival \(G(x) = P(X > x)\) ile belleksizlik:

\[ G(s + t) = G(s)\,G(t) \]

Değerler takarak: tamsayı \(k\) için \(G(kt) = G(t)^k\); rasyonel için \(G(t \cdot m/n) = G(t)^{m/n}\); süreklilikle her reel \(x > 0\) için:

\[ G(xt) = G(t)^x \]

\(t = 1\): \(G(x) = G(1)^x = e^{-\lambda x}\), \(\lambda = -\ln G(1) > 0\). ∎

“we’re solving for a function, not solving for the variable.” — Blitzstein, 9:33

18.3 MGF Tanımı ve Üç Önem

\[ M(t) = E(e^{tX}) \]

(0 etrafında bir aralıkta sonlu olmalı.)

Taylor: \(e^{tX} = \sum (tX)^n/n!\)

\[ M(t) = \sum_{n=0}^{\infty} \frac{E(X^n)}{n!}\, t^n \]

Üç önem:

  1. Moment üretir: \(E(X^n) = M^{(n)}(0)\).
  2. Dağılımı belirler: aynı MGF ⇒ aynı dağılım (parmak izi).
  3. Bağımsız toplam → çarpım:

\[ M_{X+Y}(t) = M_X(t)\,M_Y(t) \quad (X \perp Y) \]

“Once you know the MGF, you know the distribution, at least in principle.” — Blitzstein, 27:24

ÖnemliBuilder Notu — CLT’nin Motoru

Sebep 2 + 3 birlikte Normal/Poisson kapanışını tek satırda kanıtlar. CLT (Ders 29) MGF yakınsamasıyla: iid toplamın standardize MGF’i \(e^{t^2/2}\)’ye yakınsar.

18.4 Örnek MGF’ler

Bernoulli(\(p\)):

\[ M(t) = pe^t + q \]

Binom(\(n, p\))\(n\) Bernoulli’nin toplamı, MGF kuvveti:

\[ M(t) = (pe^t + q)^n \]

Standart Normal \(N(0,1)\) — kareye tamamlama:

\[ M(t) = \int e^{tz} \cdot \frac{e^{-z^2/2}}{\sqrt{2\pi}} dz = e^{t^2/2} \cdot \int \frac{e^{-(z-t)^2/2}}{\sqrt{2\pi}} dz = e^{t^2/2} \]

Üstel(λ):

\[ M(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda \]

Poisson(λ):

\[ M(t) = e^{\lambda(e^t - 1)} \]

import numpy as np
import matplotlib.pyplot as plt

t = np.linspace(-2, 2, 200)
M_normal = np.exp(t**2 / 2)
M_exp = 1 / (1 - t * 0.3)  # Exp(1/0.3)
M_exp[t * 0.3 >= 1] = np.nan

fig, ax = plt.subplots(figsize=(10, 4.5))
ax.plot(t, M_normal, color='#A51C30', linewidth=2.5, label='N(0,1): $M(t) = e^{t^2/2}$')
ax.plot(t, M_exp, color='#2C5282', linewidth=2.5, label='Exp(0.3): $M(t) = 0.3/(0.3-t)$')
ax.axhline(1, color='#6B7280', linestyle=':')
ax.axvline(0, color='#6B7280', linestyle=':')
ax.plot(0, 1, 'o', color='#1f2937', markersize=10)
ax.text(0.1, 1.05, 'M(0) = 1', fontsize=10)
ax.set_xlabel('t', fontsize=12)
ax.set_ylabel('M(t) = E(e^{tX})', fontsize=12)
ax.set_title('MGF — momentleri Taylor katsayılarında paketler', fontsize=12)
ax.legend(loc='upper center', fontsize=11)
ax.set_ylim(0, 7)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
Şekil 18.1
ÖnemliBuilder Notu — Gaussian Conjugacy

Kareye tamamlama numarası Gaussian’larla yapılan hemen her hesabın altında: Bayesçi lineer regresyon, Gaussian process, VAE’nin KL terimi. “Kuadratik üstel + kareye tamamla → kapalı form Gaussian” deseni Gaussian conjugacy’nin motorudur.

18.5 Laplace’ın Ardışıklık Kuralı

Güneş yarın doğacak mı? \(n\) gün üst üste doğduysa?

\(p \sim \text{Uniform}(0, 1)\) prior + \(S_n \mid p \sim \text{Bin}(n, p)\):

\[ f(p \mid S_n = n) \propto p^n \cdot 1 \;\Rightarrow\; f(p \mid S_n = n) = (n+1) p^n \]

\[ P(X_{n+1} = 1 \mid S_n = n) = \int_0^1 p (n+1) p^n dp = \frac{n+1}{n+2} \]

“if the sun rose 100 days in a row, then it would probably be 101 over 102 for the next day.” — Blitzstein, 50:37

ÖnemliBuilder Notu — Laplace Smoothing

Laplace smoothing (add-one): \(k\) gözlem, \(n\) deneme → olasılığı \((k+1)/(n+2)\). Naive Bayes / n-gram dil modellerinde sıfır-frekans problemini çözer. Beta-Binom eşleniği (Ders 23) — pseudocount’lar prior’dan gelir.

18.6 Bu Dersin Özeti

  1. Belleksizlik = Üstel (fonksiyonel denklem).
  2. MGF: \(M(t) = E(e^{tX})\).
  3. Üç önem: moment üretir, dağılım belirler, bağımsız toplam çarpılır.
  4. Örnekler: Bern, Binom, Normal (\(e^{t^2/2}\)), Üstel, Poisson.
  5. Laplace ardışıklık: \((n+1)/(n+2)\).
ÖnemliTek bir cümle

Belleksizlik Üstel’i tam karakterize eder (G(s+t)=G(s)G(t) → e^(-λx)); ve MGF \(M(t) = E(e^{tX})\), momentleri paketleyen, dağılımı belirleyen, bağımsız toplamı çarpıma çeviren bir parmak izidir — moment hesabının ve CLT’nin motoru.

18.7 Kontrol Soruları

Cevap: \(M'(t) = t e^{t^2/2}\), \(M'(0) = 0 = E(Z)\). \(M''(t) = (1+t^2)e^{t^2/2}\), \(M''(0) = 1 = E(Z^2)\). Var \(= 1\).

Cevap: \(M_{X+Y}(t) = e^{\lambda_1(e^t-1)} e^{\lambda_2(e^t-1)} = e^{(\lambda_1+\lambda_2)(e^t-1)}\)Pois(\(\lambda_1 + \lambda_2\)).

Cevap: (a) \(M'(0) = 1/\lambda\). (b) İntegral \(\int_0^\infty e^{-(\lambda-t)x} dx\) yalnız \(t < \lambda\)’da yakınsar.

Cevap: \((0+1)/(1000+2) = 1/1002 \approx \mathbf{0{,}001}\). MLE zero-frequency problem’i çözer; naive Bayes/n-gram’da tek 0 tüm çarpımı sıfırlar. Laplace smoothing = bu kural.

18.8 Egzersizler

Egzersiz 1. Exp(λ) MGF’ten \(E(X^2), E(X^n) = n!/\lambda^n\).

Egzersiz 2. Genel Normal MGF: \(X = \mu + \sigma Z\)\(M_X(t) = e^{\mu t + \sigma^2 t^2/2}\).

Egzersiz 3. Bağımsız Normal toplamı MGF ile.

Egzersiz 4. (Python — MGF + Laplace)

import numpy as np
rng = np.random.default_rng(0)
N = 1_000_000

# N(0,1) MGF
Z = rng.standard_normal(N)
t = 0.5
print(f"E(e^(0.5*Z)) ≈ {np.mean(np.exp(t*Z)):.4f}  teorik e^(0.125) = {np.exp(t**2/2):.4f}")

# Pois(2) + Pois(3) = Pois(5)
S = rng.poisson(2, N) + rng.poisson(3, N)
print(f"Pois(2)+Pois(3): mean={S.mean():.3f}, var={S.var():.3f} (teori 5, 5)")

# Laplace ardışıklık
print(f"k=0, n=1000 → P(next) = {(0+1)/(1000+2):.6f}")

Egzersiz 5. (Sonraki ders) \(M_{S_n}(t) = M(t)^n\) — CLT habercisi.

18.9 Sonraki Ders İçin Hazırlık

Ders 18: MGF’lere Devam ve Joint Dağılımlar — Üstel momentleri, Normal momentleri, Poisson toplamı, joint kavramı.

UyarıDers 18 öncesi yapılacak
  • Egzersiz 5 (M(t)^n) çöz.
  • Üç MGF ezberle: Bern, Normal, Üstel.

18.10 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Blitzstein’de
Belleksizlik = Üstel Pozitif sürekli memoryless → Exp 0m27
Fonksiyonel denklem \(G(s+t) = G(s)G(t)\)\(e^{-\lambda x}\) 9m33
MGF \(M(t) = E(e^{tX})\) 18m03
Moment üretir \(E(X^n) = M^{(n)}(0)\) 20m32
Dağılım belirler Aynı MGF ⇒ aynı dist. 26m12
Bağımsız toplam \(M_{X+Y} = M_X \cdot M_Y\) 29m52
Bern / Binom \(pe^t+q\) / \((pe^t+q)^n\) 31m07
N(0,1) \(e^{t^2/2}\) (kareye tamamla) 36m51
Exp(λ) \(\lambda/(\lambda-t)\), \(t < \lambda\)
Pois(λ) \(e^{\lambda(e^t-1)}\)
Laplace \((n+1)/(n+2)\) 50m37

18.11 ML Bağlantıları Özeti

İpucu6 köprü
  1. Belleksizlik karakterizasyonu → Üstel, Weibull, sağkalım.
  2. MGF momentleri → kümülantlar; CLT motoru.
  3. MGF dağılımı belirler → parmak izi; CLT ispatı.
  4. Bağımsız toplam → çarpım → Normal/Poisson kapanışı.
  5. Kareye tamamlamaGaussian conjugacy, VAE KL.
  6. Laplace ardışıklıkLaplace smoothing (naive Bayes, n-gram).
ÖnemliTek bir şey alıp gideceksen

Belleksizlik Üstel’i tam belirler. MGF dağılımın parmak izidir — momentleri paketler, dağılımı belirler, bağımsız toplamı çarpıma çevirir; moment hesabının ve CLT’nin motoru.