19  MGF’lere Devam ve Joint Dağılımlar

Üstel/Normal/Poisson MGF; joint, marjinal, bağımsızlık

NotBölüm bilgisi

19.1 Bu Derste Ne Var?

  1. Üstel MGF + tüm momentleri: \(1/(1-t)\) geometrik seri → \(E(X^n) = n!/\lambda^n\).
  2. Normal momentleri (Taylor): \(E(Z^{2n}) = (2n)!/(2^n n!)\).
  3. Poisson MGF: \(e^{\lambda(e^t - 1)}\); bağımsız toplam Poisson.
  4. Joint dağılımlar: PMF/PDF, marjinal, bağımsızlık = çarpım.
  5. Kare (bağımsız) vs disk (bağımlı) — destek kısıtı.
İpucuBuilder Notu — ML Köprüleri
  • Normal çift momentleri = Wick/Isserlis teoremi — fizik, GP, derin öğrenme analizi.
  • Poisson toplam kapanışı → sayım birleştirme; Poisson regresyon log-link.
  • Joint + faktörizasyon → tüm üretici modeller; bağımsızlık = çarpım PGM/naive Bayes temeli.
  • Marjinalleştirmeinference, marginal likelihood, EM.
  • Destek geometrisi → manifold/kısıtlı dağılımlar, normalizing flows.

19.2 Üstel MGF ve Tüm Momentler

\(X \sim\) Exp(1), LOTUS:

\[ M(t) = \int_0^\infty e^{tx} e^{-x} dx = \frac{1}{1-t}, \quad t < 1 \]

Geometrik seri olarak:

\[ \frac{1}{1-t} = \sum_n t^n = \sum_n n! \frac{t^n}{n!} \;\Rightarrow\; E(X^n) = n! \]

Genel Exp(λ): \(E(Y^n) = n!/\lambda^n\).

19.3 Normal’in Tüm Momentleri

\(M(t) = e^{t^2/2}\) Taylor:

\[ e^{t^2/2} = \sum_n \frac{(t^2/2)^n}{n!} = \sum_n \frac{t^{2n}}{2^n n!} \]

\[ E(Z^{2n}) = \frac{(2n)!}{2^n n!}, \qquad E(Z^{2n+1}) = 0 \]

Örüntü: \(1, 3, 15, 105\) = \(1, 1 \cdot 3, 1 \cdot 3 \cdot 5, 1 \cdot 3 \cdot 5 \cdot 7\) (çift faktöriyel).

İpucuBuilder Notu — Wick / Isserlis

\((2n-1)!!\) = \(2n\) kişiyi ikili eşlemelere ayırma sayısı! Isserlis / Wick teoremi: Gaussian’ın yüksek momentleri çift-eşleme + kovaryans çarpımıyla hesaplanır. Gaussian integraller, diyagramatik açılımlar.

19.4 Poisson MGF ve Toplamı

\[ M(t) = e^{-\lambda} \sum_k \frac{(\lambda e^t)^k}{k!} = e^{\lambda(e^t - 1)} \]

Bağımsız toplam:

\[ M_{X+Y}(t) = e^{(\lambda + \mu)(e^t - 1)} \;\Rightarrow\; X + Y \sim \text{Pois}(\lambda + \mu) \]

X = Y tuzağı: \(X + X = 2X\) Poisson değil (yalnız çift değerler; Var \(= 4\lambda \ne 2\lambda\)).

19.5 Joint Dağılımlar

2×2 PMF tablosu: 4 sayı \(\ge 0\), toplam 1.

\[ F(x, y) = P(X \le x, Y \le y) \quad \text{(joint CDF)} \]

\[ P((X, Y) \in B) = \iint_B f(x, y)\, dx\, dy \]

Bağımsızlık:

\[ P(X = x, Y = y) = P(X = x) P(Y = y) \quad \forall x, y \]

Marjinalleştirme: \(f_Y(y) = \int f(x, y) dx\). Joint → marjinal olur, marjinal → joint olmaz.

ÖnemliBuilder Notu — Marjinalleştirme = Inference

Marjinalleştirme olasılıksal çıkarımın motorudur: latent değişkenleri Σ/∫ ile atmak marginal likelihood / evidence verir. EM, variational inference, Bayesçi model karşılaştırması hep buna dayanır. “Aynı marjinalli farklı joint” = copula’ların var olma nedeni.

19.6 Kare (Bağımsız) vs Disk (Bağımlı)

Kare \([0,1]^2\): \(f = 1\). Marjinaller \(f_X = f_Y = 1\)bağımsız Uniform.

Disk \(x^2 + y^2 \le 1\): \(f = 1/\pi\) sabit. Ama X, Y BAĞIMLI! Destek dikdörtgen değil:

\[ x^2 + y^2 \le 1 \;\Rightarrow\; -\sqrt{1-x^2} \le Y \le \sqrt{1-x^2} \]

X’i bilmek Y’nin aralığını kısıtlıyor.

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
N = 5000

# Kare uniform
xs = rng.uniform(0, 1, N); ys = rng.uniform(0, 1, N)

# Disk uniform (rejection)
xd = rng.uniform(-1, 1, 3*N); yd = rng.uniform(-1, 1, 3*N)
inside = xd**2 + yd**2 <= 1
xd, yd = xd[inside][:N], yd[inside][:N]

fig, axes = plt.subplots(1, 2, figsize=(11, 5))

ax = axes[0]
ax.scatter(xs, ys, s=3, alpha=0.4, color='#A51C30')
ax.set_xlim(0, 1); ax.set_ylim(0, 1); ax.set_aspect('equal')
ax.set_title('Kare [0,1]² uniform — X ⊥ Y (bağımsız)', fontsize=11)
ax.set_xlabel('X'); ax.set_ylabel('Y')

ax = axes[1]
ax.scatter(xd, yd, s=3, alpha=0.4, color='#2C5282')
theta = np.linspace(0, 2*np.pi, 100)
ax.plot(np.cos(theta), np.sin(theta), color='#1f2937', linewidth=2)
ax.set_xlim(-1.1, 1.1); ax.set_ylim(-1.1, 1.1); ax.set_aspect('equal')
ax.set_title('Disk uniform — yoğunluk sabit ama X, Y BAĞIMLI', fontsize=11)
ax.set_xlabel('X'); ax.set_ylabel('Y')

plt.tight_layout()
plt.show()
Şekil 19.1
ÖnemliBuilder Notu — Manifold ve Kısıt

Sabit yoğunluk ≠ bağımsız” — bağımsızlık hem yoğunluk faktörizasyonu hem destek = product set (dikdörtgen) ister. Manifold üzerindeki dağılımlar (normalizing flows, kısıtlı latent uzaylar) bileşenleri kaçınılmaz olarak bağlar.

19.7 Bu Dersin Özeti

  1. Üstel MGF\(E(X^n) = n!/\lambda^n\).
  2. Normal momentleri\((2n)!/(2^n n!) = (2n-1)!!\) (Wick).
  3. Poisson MGF\(e^{\lambda(e^t-1)}\); bağımsız toplam Poisson.
  4. Joint: bağımsız = çarpım (tüm \(x, y\)).
  5. Marjinal: Σ/∫ ile diğerini at.
  6. Kare vs disk: destek kritik.
ÖnemliTek bir cümle

MGF momentleri integral yerine örüntü tanımayla verir ve bağımsız toplamları çarpıma çevirir (Poisson toplamı yine Poisson); joint dağılımlar birden fazla değişkeni birlikte taşır — bağımsızlık = faktörizasyon + dikdörtgen destek.

19.8 Kontrol Soruları

Cevap: \(M'(0) = \lambda\), \(M''(0) = \lambda + \lambda^2\) → Var \(= \lambda\).

Cevap: \(8!/(2^4 \cdot 4!) = 40320/384 = \mathbf{105} = 1 \cdot 3 \cdot 5 \cdot 7\).

Cevap: \(P(X=0)=0{,}5, P(X=1)=0{,}5\); \(P(Y=0)=0{,}4, P(Y=1)=0{,}6\). \(P(X=0,Y=0) = 0{,}1 \ne 0{,}5 \cdot 0{,}4 = 0{,}2\)bağımlı.

Cevap: Yoğunluk faktörize gibi (sabit), ama destek \(x^2 + y^2 \le 1\) dikdörtgen değil. \(\mathbb{1}(x^2+y^2 \le 1)\) x ve y’nin fonksiyonu olarak ayrılamaz. Bağımsızlık iki şey ister.

19.9 Egzersizler

Egzersiz 1. Bin(\(n, p\)) MGF’ten \(E(X), \text{Var}(X) = npq\).

Egzersiz 2. \(E(Z^{10})\) + çift faktöriyel doğrula.

Egzersiz 3. 2×2 bağımlı joint kur, koşullu \(P(Y \mid X=0)\).

Egzersiz 4. (Python — toplam + disk)

import numpy as np
rng = np.random.default_rng(0)
N = 500_000

# Pois(2)+Pois(3) → Pois(5)
S = rng.poisson(2, N) + rng.poisson(3, N)
print(f"Pois+Pois: mean={S.mean():.3f}, var={S.var():.3f} (Pois(5): 5, 5)")

# Disk: korelasyon 0 ama bağımlı (kuyruk daralır)
x = rng.uniform(-1, 1, 3*N); y = rng.uniform(-1, 1, 3*N)
inside = x**2 + y**2 <= 1
x, y = x[inside], y[inside]
print(f"corr(X,Y) = {np.corrcoef(x, y)[0,1]:.4f} (≈ 0)")
print(f"std(Y | |X|<0.1) = {y[np.abs(x)<0.1].std():.3f}")
print(f"std(Y | |X|>0.9) = {y[np.abs(x)>0.9].std():.3f}  (çok daha küçük → bağımlı!)")

Egzersiz 5. (Sonraki ders) Diskte \(Y \mid X = x \sim\) Uniform\((-\sqrt{1-x^2}, \sqrt{1-x^2})\).

19.10 Sonraki Ders İçin Hazırlık

Ders 19: Birleşik, Koşullu ve Marjinal Dağılımlar — koşullu PDF, sürekli Bayes.

UyarıDers 19 öncesi yapılacak
  • Egzersizleri çöz.
  • “Bağımsız = çarpım” + “destek dikdörtgen olmalı” reflekslerini pekiştir.

19.11 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Blitzstein’de
Üstel MGF \(1/(1-t)\); \(E(X^n) = n!/\lambda^n\) 0m59
Normal moment \((2n)!/(2^n n!) = (2n-1)!!\) 12m06
Poisson MGF \(e^{\lambda(e^t-1)}\) 17m49
Pois toplam \(\text{Pois}(\lambda+\mu)\) 20m50
Joint \(f(x,y)\); \(\iint = P\) 30m04
Bağımsızlık \(f(x,y) = f_X(x) f_Y(y)\) 30m43
Marjinal \(f_Y(y) = \int f(x,y) dx\) 38m12
Kare vs disk Destek kritik 46m21

19.12 ML Bağlantıları Özeti

İpucu7 köprü
  1. MGF momentleri → integral yerine türev/Taylor.
  2. Wick/Isserlis → Gaussian momentleri = çift-eşleme.
  3. Poisson toplam → sayım birleştirme.
  4. Joint → tüm üretici modeller.
  5. Bağımsızlık = çarpım → PGM, naive Bayes.
  6. Marjinalleştirme → inference, EM, evidence.
  7. Destek geometrisi → manifold, normalizing flows.
ÖnemliTek bir şey alıp gideceksen

MGF momentleri örüntü tanımayla verir, bağımsız toplamı çarpıma çevirir; joint dağılımlar’da bağımsızlık = faktörizasyon + dikdörtgen destek.