import numpy as np
rng = np.random.default_rng(0)
N = 500_000
# Pois(2)+Pois(3) → Pois(5)
S = rng.poisson(2, N) + rng.poisson(3, N)
print(f"Pois+Pois: mean={S.mean():.3f}, var={S.var():.3f} (Pois(5): 5, 5)")
# Disk: korelasyon 0 ama bağımlı (kuyruk daralır)
x = rng.uniform(-1, 1, 3*N); y = rng.uniform(-1, 1, 3*N)
inside = x**2 + y**2 <= 1
x, y = x[inside], y[inside]
print(f"corr(X,Y) = {np.corrcoef(x, y)[0,1]:.4f} (≈ 0)")
print(f"std(Y | |X|<0.1) = {y[np.abs(x)<0.1].std():.3f}")
print(f"std(Y | |X|>0.9) = {y[np.abs(x)>0.9].std():.3f} (çok daha küçük → bağımlı!)")19 MGF’lere Devam ve Joint Dağılımlar
Üstel/Normal/Poisson MGF; joint, marjinal, bağımsızlık
- Blitzstein’in videosu: YouTube — Lecture 18: MGFs Continued; Joint Distributions (≈50 dk)
- Okuma süresi: ≈34 dk
19.1 Bu Derste Ne Var?
- Üstel MGF + tüm momentleri: \(1/(1-t)\) geometrik seri → \(E(X^n) = n!/\lambda^n\).
- Normal momentleri (Taylor): \(E(Z^{2n}) = (2n)!/(2^n n!)\).
- Poisson MGF: \(e^{\lambda(e^t - 1)}\); bağımsız toplam Poisson.
- Joint dağılımlar: PMF/PDF, marjinal, bağımsızlık = çarpım.
- Kare (bağımsız) vs disk (bağımlı) — destek kısıtı.
- Normal çift momentleri = Wick/Isserlis teoremi — fizik, GP, derin öğrenme analizi.
- Poisson toplam kapanışı → sayım birleştirme; Poisson regresyon log-link.
- Joint + faktörizasyon → tüm üretici modeller; bağımsızlık = çarpım PGM/naive Bayes temeli.
- Marjinalleştirme → inference, marginal likelihood, EM.
- Destek geometrisi → manifold/kısıtlı dağılımlar, normalizing flows.
19.2 Üstel MGF ve Tüm Momentler
\(X \sim\) Exp(1), LOTUS:
\[ M(t) = \int_0^\infty e^{tx} e^{-x} dx = \frac{1}{1-t}, \quad t < 1 \]
Geometrik seri olarak:
\[ \frac{1}{1-t} = \sum_n t^n = \sum_n n! \frac{t^n}{n!} \;\Rightarrow\; E(X^n) = n! \]
Genel Exp(λ): \(E(Y^n) = n!/\lambda^n\).
19.3 Normal’in Tüm Momentleri
\(M(t) = e^{t^2/2}\) Taylor:
\[ e^{t^2/2} = \sum_n \frac{(t^2/2)^n}{n!} = \sum_n \frac{t^{2n}}{2^n n!} \]
\[ E(Z^{2n}) = \frac{(2n)!}{2^n n!}, \qquad E(Z^{2n+1}) = 0 \]
Örüntü: \(1, 3, 15, 105\) = \(1, 1 \cdot 3, 1 \cdot 3 \cdot 5, 1 \cdot 3 \cdot 5 \cdot 7\) (çift faktöriyel).
\((2n-1)!!\) = \(2n\) kişiyi ikili eşlemelere ayırma sayısı! Isserlis / Wick teoremi: Gaussian’ın yüksek momentleri çift-eşleme + kovaryans çarpımıyla hesaplanır. Gaussian integraller, diyagramatik açılımlar.
19.4 Poisson MGF ve Toplamı
\[ M(t) = e^{-\lambda} \sum_k \frac{(\lambda e^t)^k}{k!} = e^{\lambda(e^t - 1)} \]
Bağımsız toplam:
\[ M_{X+Y}(t) = e^{(\lambda + \mu)(e^t - 1)} \;\Rightarrow\; X + Y \sim \text{Pois}(\lambda + \mu) \]
X = Y tuzağı: \(X + X = 2X\) Poisson değil (yalnız çift değerler; Var \(= 4\lambda \ne 2\lambda\)).
19.5 Joint Dağılımlar
2×2 PMF tablosu: 4 sayı \(\ge 0\), toplam 1.
\[ F(x, y) = P(X \le x, Y \le y) \quad \text{(joint CDF)} \]
\[ P((X, Y) \in B) = \iint_B f(x, y)\, dx\, dy \]
Bağımsızlık:
\[ P(X = x, Y = y) = P(X = x) P(Y = y) \quad \forall x, y \]
Marjinalleştirme: \(f_Y(y) = \int f(x, y) dx\). Joint → marjinal olur, marjinal → joint olmaz.
Marjinalleştirme olasılıksal çıkarımın motorudur: latent değişkenleri Σ/∫ ile atmak marginal likelihood / evidence verir. EM, variational inference, Bayesçi model karşılaştırması hep buna dayanır. “Aynı marjinalli farklı joint” = copula’ların var olma nedeni.
19.6 Kare (Bağımsız) vs Disk (Bağımlı)
Kare \([0,1]^2\): \(f = 1\). Marjinaller \(f_X = f_Y = 1\) → bağımsız Uniform.
Disk \(x^2 + y^2 \le 1\): \(f = 1/\pi\) sabit. Ama X, Y BAĞIMLI! Destek dikdörtgen değil:
\[ x^2 + y^2 \le 1 \;\Rightarrow\; -\sqrt{1-x^2} \le Y \le \sqrt{1-x^2} \]
X’i bilmek Y’nin aralığını kısıtlıyor.
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(0)
N = 5000
# Kare uniform
xs = rng.uniform(0, 1, N); ys = rng.uniform(0, 1, N)
# Disk uniform (rejection)
xd = rng.uniform(-1, 1, 3*N); yd = rng.uniform(-1, 1, 3*N)
inside = xd**2 + yd**2 <= 1
xd, yd = xd[inside][:N], yd[inside][:N]
fig, axes = plt.subplots(1, 2, figsize=(11, 5))
ax = axes[0]
ax.scatter(xs, ys, s=3, alpha=0.4, color='#A51C30')
ax.set_xlim(0, 1); ax.set_ylim(0, 1); ax.set_aspect('equal')
ax.set_title('Kare [0,1]² uniform — X ⊥ Y (bağımsız)', fontsize=11)
ax.set_xlabel('X'); ax.set_ylabel('Y')
ax = axes[1]
ax.scatter(xd, yd, s=3, alpha=0.4, color='#2C5282')
theta = np.linspace(0, 2*np.pi, 100)
ax.plot(np.cos(theta), np.sin(theta), color='#1f2937', linewidth=2)
ax.set_xlim(-1.1, 1.1); ax.set_ylim(-1.1, 1.1); ax.set_aspect('equal')
ax.set_title('Disk uniform — yoğunluk sabit ama X, Y BAĞIMLI', fontsize=11)
ax.set_xlabel('X'); ax.set_ylabel('Y')
plt.tight_layout()
plt.show()“Sabit yoğunluk ≠ bağımsız” — bağımsızlık hem yoğunluk faktörizasyonu hem destek = product set (dikdörtgen) ister. Manifold üzerindeki dağılımlar (normalizing flows, kısıtlı latent uzaylar) bileşenleri kaçınılmaz olarak bağlar.
19.7 Bu Dersin Özeti
- Üstel MGF → \(E(X^n) = n!/\lambda^n\).
- Normal momentleri → \((2n)!/(2^n n!) = (2n-1)!!\) (Wick).
- Poisson MGF → \(e^{\lambda(e^t-1)}\); bağımsız toplam Poisson.
- Joint: bağımsız = çarpım (tüm \(x, y\)).
- Marjinal: Σ/∫ ile diğerini at.
- Kare vs disk: destek kritik.
MGF momentleri integral yerine örüntü tanımayla verir ve bağımsız toplamları çarpıma çevirir (Poisson toplamı yine Poisson); joint dağılımlar birden fazla değişkeni birlikte taşır — bağımsızlık = faktörizasyon + dikdörtgen destek.
19.8 Kontrol Soruları
Cevap: \(M'(0) = \lambda\), \(M''(0) = \lambda + \lambda^2\) → Var \(= \lambda\).
Cevap: \(8!/(2^4 \cdot 4!) = 40320/384 = \mathbf{105} = 1 \cdot 3 \cdot 5 \cdot 7\).
Cevap: \(P(X=0)=0{,}5, P(X=1)=0{,}5\); \(P(Y=0)=0{,}4, P(Y=1)=0{,}6\). \(P(X=0,Y=0) = 0{,}1 \ne 0{,}5 \cdot 0{,}4 = 0{,}2\) → bağımlı.
Cevap: Yoğunluk faktörize gibi (sabit), ama destek \(x^2 + y^2 \le 1\) dikdörtgen değil. \(\mathbb{1}(x^2+y^2 \le 1)\) x ve y’nin fonksiyonu olarak ayrılamaz. Bağımsızlık iki şey ister.
19.9 Egzersizler
Egzersiz 1. Bin(\(n, p\)) MGF’ten \(E(X), \text{Var}(X) = npq\).
Egzersiz 2. \(E(Z^{10})\) + çift faktöriyel doğrula.
Egzersiz 3. 2×2 bağımlı joint kur, koşullu \(P(Y \mid X=0)\).
Egzersiz 4. (Python — toplam + disk)
Egzersiz 5. (Sonraki ders) Diskte \(Y \mid X = x \sim\) Uniform\((-\sqrt{1-x^2}, \sqrt{1-x^2})\).
19.10 Sonraki Ders İçin Hazırlık
Ders 19: Birleşik, Koşullu ve Marjinal Dağılımlar — koşullu PDF, sürekli Bayes.
- Egzersizleri çöz.
- “Bağımsız = çarpım” + “destek dikdörtgen olmalı” reflekslerini pekiştir.
19.11 Anahtar Kavramlar (Cheat Sheet)
| Kavram | Tanım | Blitzstein’de |
|---|---|---|
| Üstel MGF | \(1/(1-t)\); \(E(X^n) = n!/\lambda^n\) | 0m59 |
| Normal moment | \((2n)!/(2^n n!) = (2n-1)!!\) | 12m06 |
| Poisson MGF | \(e^{\lambda(e^t-1)}\) | 17m49 |
| Pois toplam | \(\text{Pois}(\lambda+\mu)\) | 20m50 |
| Joint | \(f(x,y)\); \(\iint = P\) | 30m04 |
| Bağımsızlık | \(f(x,y) = f_X(x) f_Y(y)\) | 30m43 |
| Marjinal | \(f_Y(y) = \int f(x,y) dx\) | 38m12 |
| Kare vs disk | Destek kritik | 46m21 |
19.12 ML Bağlantıları Özeti
- MGF momentleri → integral yerine türev/Taylor.
- Wick/Isserlis → Gaussian momentleri = çift-eşleme.
- Poisson toplam → sayım birleştirme.
- Joint → tüm üretici modeller.
- Bağımsızlık = çarpım → PGM, naive Bayes.
- Marjinalleştirme → inference, EM, evidence.
- Destek geometrisi → manifold, normalizing flows.
MGF momentleri örüntü tanımayla verir, bağımsız toplamı çarpıma çevirir; joint dağılımlar’da bağımsızlık = faktörizasyon + dikdörtgen destek.