import numpy as np
rng = np.random.default_rng(0)
N = 1_000_000
X = rng.uniform(0, 1, N); Y = rng.uniform(0, 1, N)
print(f"E|X-Y| ≈ {np.mean(np.abs(X-Y)):.4f} teori 1/3")
print(f"E(max) ≈ {np.maximum(X,Y).mean():.4f} E(min) ≈ {np.minimum(X,Y).mean():.4f}")
# Poisson splitting
n = rng.poisson(100, N)
x = rng.binomial(n, 0.02)
y = n - x
print(f"X ~ Pois? mean={x.mean():.3f}, var={x.var():.3f} (Pois(2): 2, 2)")
print(f"corr(X,Y) = {np.corrcoef(x, y)[0,1]:.4f} (bağımsız → ≈ 0)")20 Birleşik, Koşullu ve Marjinal Dağılımlar
2D LOTUS, joint = koşullu × marjinal, Poisson splitting
- Blitzstein’in videosu: YouTube — Lecture 19: Joint, Conditional, and Marginal Distributions (≈50 dk)
- Okuma süresi: ≈35 dk
20.1 Bu Derste Ne Var?
- Üçlü: joint → marjinal (integral) → koşullu (joint/marjinal). Joint = koşullu × marjinal.
- 2D LOTUS: \(E(g(X,Y)) = \iint g \cdot f \, dx\,dy\).
- Bağımsız ⇒ ilişkisiz: \(X \perp Y \Rightarrow E(XY) = E(X)E(Y)\).
- İki uniform uzaklık = \(1/3\); Poisson splitting (tavuk-yumurta).
- Koşullu \(f(y \mid x)\) → denetimli öğrenme, koşullu üretim (cVAE, cDiffusion).
- Joint = \(\prod\) koşullu → autoregressive faktörizasyon (GPT, PixelCNN).
- 2D LOTUS → çok değişkenli Monte Carlo.
- Bağımsız ⇒ ilişkisiz (tersi değil) → PCA vs ICA.
- Poisson splitting (thinning) → yük dengeleme, A/B trafik ayırma, nokta süreçleri.
20.2 Joint → Marjinal → Koşullu
Joint PDF: \(f(x, y) = \partial^2 F / \partial x \partial y\). Olasılık = çift integral.
Marjinal: \(f_X(x) = \int f(x, y) dy\).
Koşullu:
\[ f_{Y \mid X}(y \mid x) = \frac{f(x, y)}{f_X(x)} \]
Sürekli çarpım kuralı (Bayes):
\[ f(x, y) = f_{Y \mid X}(y \mid x)\, f_X(x) = f_{X \mid Y}(x \mid y)\, f_Y(y) \]
“think of it as the PDF where we get to pretend that we know what X is.” — Blitzstein, 9:05
“joint = \(\prod\) koşullu” ayrışımı modern üretici modellemenin omurgası: \(p(x_1, \ldots, x_d) = \prod p(x_i \mid x_{<i})\) — GPT, PixelCNN. Koşullu yoğunluk \(f(y \mid x)\) tüm denetimli öğrenmenin ve koşullu üretimin hedefi.
20.3 Sürekli Bağımsızlık
\[ X \perp Y \iff f(x, y) = f_X(x)\,f_Y(y) \quad \forall x, y \]
Eşdeğer: koşullu = marjinal (X’i öğrenmek Y hakkında bilgi vermez).
20.4 Disk Örneği: Marjinal ve Koşullu
Birim disk uniform, \(f = 1/\pi\).
Marjinal:
\[ f_X(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi} dy = \frac{2}{\pi}\sqrt{1 - x^2} \]
Uniform değil — yarım daire eğrisi.
Koşullu:
\[ f_{Y \mid X}(y \mid x) = \frac{1/\pi}{(2/\pi)\sqrt{1-x^2}} = \frac{1}{2\sqrt{1-x^2}} \]
\(y\) yok → sabit → \(Y \mid X = x \sim\) Uniform\((-\sqrt{1-x^2}, \sqrt{1-x^2})\). Aralık \(x\)’e bağlı → bağımlı.
“Koşullu uniform ama parametresi \(x\)’e bağlı” = heteroskedastik modellerin temel sezgisi — girdiye bağlı yayılım.
20.5 2D LOTUS ve Bağımsız ⇒ İlişkisiz
\[ E(g(X, Y)) = \iint g(x, y)\, f(x, y)\, dx\, dy \]
Bağımsız ⇒ E(XY) = E(X)E(Y): \(g(x,y) = xy\), \(f = f_X f_Y\), integral ayrılır.
“independent implies uncorrelated” — Blitzstein, 25:07
Uyarı: Tersi DOĞRU DEĞİL. İlişkisiz olup bağımlı olmak mümkün.
PCA / whitening değişkenleri ilişkisiz yapar, ama bağımsız yapmaz. ICA bağımsızlığı hedefler. Korelasyon yalnızca doğrusal ilişkiyi yakalar.
20.6 İki Uniform Uzaklık: Max/Min Triki
\(X, Y \sim\) Uniform(0,1) bağımsız. \(E|X - Y| = ?\)
Triki: \(M = \max, L = \min\). \(|X - Y| = M - L\), \(X + Y = M + L\):
\[ E(M - L) = \tfrac{1}{3}, \quad E(M + L) = 1 \;\Rightarrow\; E(M) = \tfrac{2}{3}, \;E(L) = \tfrac{1}{3} \]
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(0)
N = 1_000_000
X = rng.uniform(0, 1, N)
Y = rng.uniform(0, 1, N)
uzakliklar = np.abs(X - Y)
maxler = np.maximum(X, Y)
minler = np.minimum(X, Y)
fig, ax = plt.subplots(figsize=(9, 4.5))
ax.hist(uzakliklar, bins=80, density=True, color='#A51C30', alpha=0.7,
label=f'|X-Y| dağılımı (sim mean = {uzakliklar.mean():.4f})', edgecolor='#6B0E1B')
ax.axvline(1/3, color='#15803d', linestyle='--', linewidth=2.5,
label='Teorik E|X-Y| = 1/3 ≈ 0.333')
ax.set_xlabel('|X - Y|', fontsize=12)
ax.set_ylabel('yoğunluk', fontsize=12)
ax.set_title(f'E|X-Y| = 1/3; E(max) = {maxler.mean():.3f} (teori 2/3); E(min) = {minler.mean():.3f} (teori 1/3)',
fontsize=11)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()20.7 Poisson Splitting (Tavuk-Yumurta)
\(N \sim\) Pois(λ) yumurta, her biri bağımsız \(p\) olasılıkla çıkıyor. \(X\) = çıkan, \(Y\) = çıkmayan, \(X + Y = N\).
\[ P(X=i, Y=j) = \binom{i+j}{i} p^i q^j \cdot \frac{e^{-\lambda}\lambda^{i+j}}{(i+j)!} \]
Sadeleştir:
\[ = \frac{e^{-\lambda p}(\lambda p)^i}{i!} \cdot \frac{e^{-\lambda q}(\lambda q)^j}{j!} \]
Joint çarpanlara ayrıldı!
\[ X \perp Y, \quad X \sim \text{Pois}(\lambda p), \quad Y \sim \text{Pois}(\lambda q) \]
Yalnızca Poisson’a özgü.
“this is actually a very special property of the Poisson.” — Blitzstein, 49:45
Poisson thinning/splitting = bir Poisson akışını bağımsız alt-akışlara bölmek. Nokta süreçleri, ağ trafiği modellemesi, yük dengeleme (istekleri bağımsız kuyruklara), A/B test trafik ayırma. Bağımsızlık, alt-akışları ayrı analiz etmeyi kolaylaştırır — kovaryans düzeltmesi yok.
20.8 Bu Dersin Özeti
- Üçlü: joint → marjinal (∫) → koşullu (joint/marjinal); \(f = f_{Y \mid X} \cdot f_X\).
- 2D LOTUS: \(E(g) = \iint g \cdot f\).
- Bağımsız ⇒ ilişkisiz: \(E(XY) = E(X)E(Y)\).
- Disk: marjinal yarım daire, koşullu uniform → bağımlı.
- İki uniform: \(E|X-Y| = 1/3\), max/min triki.
- Poisson splitting: \(X \perp Y\), ikisi Poisson.
Joint, marjinal ve koşullu dağılımlar bir üçlüdür — joint = koşullu × marjinal. 2D LOTUS beklentileri dağılım bulmadan verir; bağımsız ⇒ ilişkisiz ama tersi değil; Poisson splitting alt-akışları bağımsız yapar.
20.9 Kontrol Soruları
Cevap: (a) \(f_X(x) = x + 1/2\). (b) \(f_{Y \mid X} = (x+y)/(x+1/2)\). (c) \(f_X f_Y \ne f\) → bağımsız değil.
Cevap: \(f_X = 2x, f_Y = 2y\), çarpım \(4xy = f\) → bağımsız (Beta(2,1) marjinalleri).
Cevap: (a) \((1/2)(1/2) = 1/4\). (b) \(2/3\).
Cevap: Pois(2), \(X \perp Y \sim \text{Pois}(98)\). A/B trafik ayırmanın temeli.
20.10 Egzersizler
Egzersiz 1. \(f = c(x + y^2)\) (0..1)². (a) \(c\)? (b) Marjinaller? (c) Bağımsız mı?
Egzersiz 2. \(f = 6e^{-2x-3y}\) (\(x, y > 0\)). Marjinaller? Bağımsız mı? Oranlar?
Egzersiz 3. \(X, Y \sim\) Unif(0,1) bağımsız. \(E(X+Y), E(XY), E((X-Y)^2)\)?
Egzersiz 4. (Python — Uzaklık + Splitting)
Egzersiz 5. (Sonraki ders) Multinomial: binomun \(k\) kategoriye genellemesi. \(X_i \sim\) Bin(\(n, p_i\)) marjinal; \(X_i, X_j\) negatif ilişkili.
20.11 Sonraki Ders İçin Hazırlık
Ders 20: Multinomial ve Cauchy — joint sayım, kategorik genelleme; oran dağılımı.
- Egzersiz 5 (Multinomial sezgisi) çöz.
- Binom + MGF’i hatırla.
- 2D LOTUS’u tekrar oku.
20.12 Anahtar Kavramlar (Cheat Sheet)
| Kavram | Tanım | Blitzstein’de |
|---|---|---|
| Joint PDF | \(\partial^2 F / \partial x \partial y\) | 2m45 |
| Marjinal | \(\int f(x,y) dy\) | 6m20 |
| Koşullu | \(f(x,y) / f_X(x)\) | 8m30 |
| Joint = K × M | \(f = f_{Y \mid X} f_X\) | 10m38 |
| Bağımsızlık | \(f = f_X f_Y\) | 11m48 |
| Disk | Marjinal \(\ne\) uniform; koşullu uniform | 16m13 |
| 2D LOTUS | \(\iint g \cdot f\) | 22m09 |
| Bağımsız ⇒ ilişkisiz | \(E(XY) = E(X)E(Y)\); tersi yanlış | 24m48 |
| İki uniform | \(E\|X-Y\| = 1/3\) | 34m29 |
| Poisson splitting | \(X \perp Y\) Poisson | 49m45 |
20.13 ML Bağlantıları Özeti
- Koşullu \(f(y \mid x)\) → denetimli, koşullu üretim.
- Joint = \(\prod\) koşullu → autoregressive (GPT).
- 2D LOTUS → çok değişkenli Monte Carlo.
- Bağımsız vs ilişkisiz → PCA vs ICA.
- Heteroskedastik → girdiye bağlı yayılım.
- Max/min → sıra istatistikleri (Ders 25).
- Poisson splitting → thinning, A/B trafik.
Joint/marjinal/koşullu üçlüsü ayrılmaz — \(f = f_{Y \mid X} f_X\). 2D LOTUS beklentileri dağılım bulmadan verir. Bağımsız ⇒ ilişkisiz ama tersi değil — korelasyon yalnız doğrusal yakalar.