20  Birleşik, Koşullu ve Marjinal Dağılımlar

2D LOTUS, joint = koşullu × marjinal, Poisson splitting

NotBölüm bilgisi

20.1 Bu Derste Ne Var?

  1. Üçlü: joint → marjinal (integral) → koşullu (joint/marjinal). Joint = koşullu × marjinal.
  2. 2D LOTUS: \(E(g(X,Y)) = \iint g \cdot f \, dx\,dy\).
  3. Bağımsız ⇒ ilişkisiz: \(X \perp Y \Rightarrow E(XY) = E(X)E(Y)\).
  4. İki uniform uzaklık = \(1/3\); Poisson splitting (tavuk-yumurta).
İpucuBuilder Notu — ML Köprüleri
  • Koşullu \(f(y \mid x)\) → denetimli öğrenme, koşullu üretim (cVAE, cDiffusion).
  • Joint = \(\prod\) koşulluautoregressive faktörizasyon (GPT, PixelCNN).
  • 2D LOTUS → çok değişkenli Monte Carlo.
  • Bağımsız ⇒ ilişkisiz (tersi değil)PCA vs ICA.
  • Poisson splitting (thinning) → yük dengeleme, A/B trafik ayırma, nokta süreçleri.

20.2 Joint → Marjinal → Koşullu

Joint PDF: \(f(x, y) = \partial^2 F / \partial x \partial y\). Olasılık = çift integral.

Marjinal: \(f_X(x) = \int f(x, y) dy\).

Koşullu:

\[ f_{Y \mid X}(y \mid x) = \frac{f(x, y)}{f_X(x)} \]

Sürekli çarpım kuralı (Bayes):

\[ f(x, y) = f_{Y \mid X}(y \mid x)\, f_X(x) = f_{X \mid Y}(x \mid y)\, f_Y(y) \]

“think of it as the PDF where we get to pretend that we know what X is.” — Blitzstein, 9:05

ÖnemliBuilder Notu — Autoregressive ve cGAN

“joint = \(\prod\) koşullu” ayrışımı modern üretici modellemenin omurgası: \(p(x_1, \ldots, x_d) = \prod p(x_i \mid x_{<i})\)GPT, PixelCNN. Koşullu yoğunluk \(f(y \mid x)\) tüm denetimli öğrenmenin ve koşullu üretimin hedefi.

20.3 Sürekli Bağımsızlık

\[ X \perp Y \iff f(x, y) = f_X(x)\,f_Y(y) \quad \forall x, y \]

Eşdeğer: koşullu = marjinal (X’i öğrenmek Y hakkında bilgi vermez).

20.4 Disk Örneği: Marjinal ve Koşullu

Birim disk uniform, \(f = 1/\pi\).

Marjinal:

\[ f_X(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi} dy = \frac{2}{\pi}\sqrt{1 - x^2} \]

Uniform değil — yarım daire eğrisi.

Koşullu:

\[ f_{Y \mid X}(y \mid x) = \frac{1/\pi}{(2/\pi)\sqrt{1-x^2}} = \frac{1}{2\sqrt{1-x^2}} \]

\(y\) yok → sabit\(Y \mid X = x \sim\) Uniform\((-\sqrt{1-x^2}, \sqrt{1-x^2})\). Aralık \(x\)’e bağlı → bağımlı.

İpucuBuilder Notu — Heteroskedastik

“Koşullu uniform ama parametresi \(x\)’e bağlı” = heteroskedastik modellerin temel sezgisi — girdiye bağlı yayılım.

20.5 2D LOTUS ve Bağımsız ⇒ İlişkisiz

\[ E(g(X, Y)) = \iint g(x, y)\, f(x, y)\, dx\, dy \]

Bağımsız ⇒ E(XY) = E(X)E(Y): \(g(x,y) = xy\), \(f = f_X f_Y\), integral ayrılır.

“independent implies uncorrelated” — Blitzstein, 25:07

Uyarı: Tersi DOĞRU DEĞİL. İlişkisiz olup bağımlı olmak mümkün.

ÖnemliBuilder Notu — PCA vs ICA

PCA / whitening değişkenleri ilişkisiz yapar, ama bağımsız yapmaz. ICA bağımsızlığı hedefler. Korelasyon yalnızca doğrusal ilişkiyi yakalar.

20.6 İki Uniform Uzaklık: Max/Min Triki

\(X, Y \sim\) Uniform(0,1) bağımsız. \(E|X - Y| = ?\)

Triki: \(M = \max, L = \min\). \(|X - Y| = M - L\), \(X + Y = M + L\):

\[ E(M - L) = \tfrac{1}{3}, \quad E(M + L) = 1 \;\Rightarrow\; E(M) = \tfrac{2}{3}, \;E(L) = \tfrac{1}{3} \]

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
N = 1_000_000
X = rng.uniform(0, 1, N)
Y = rng.uniform(0, 1, N)

uzakliklar = np.abs(X - Y)
maxler = np.maximum(X, Y)
minler = np.minimum(X, Y)

fig, ax = plt.subplots(figsize=(9, 4.5))
ax.hist(uzakliklar, bins=80, density=True, color='#A51C30', alpha=0.7,
        label=f'|X-Y| dağılımı (sim mean = {uzakliklar.mean():.4f})', edgecolor='#6B0E1B')
ax.axvline(1/3, color='#15803d', linestyle='--', linewidth=2.5,
           label='Teorik E|X-Y| = 1/3 ≈ 0.333')
ax.set_xlabel('|X - Y|', fontsize=12)
ax.set_ylabel('yoğunluk', fontsize=12)
ax.set_title(f'E|X-Y| = 1/3; E(max) = {maxler.mean():.3f} (teori 2/3); E(min) = {minler.mean():.3f} (teori 1/3)',
             fontsize=11)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
Şekil 20.1

20.7 Poisson Splitting (Tavuk-Yumurta)

\(N \sim\) Pois(λ) yumurta, her biri bağımsız \(p\) olasılıkla çıkıyor. \(X\) = çıkan, \(Y\) = çıkmayan, \(X + Y = N\).

\[ P(X=i, Y=j) = \binom{i+j}{i} p^i q^j \cdot \frac{e^{-\lambda}\lambda^{i+j}}{(i+j)!} \]

Sadeleştir:

\[ = \frac{e^{-\lambda p}(\lambda p)^i}{i!} \cdot \frac{e^{-\lambda q}(\lambda q)^j}{j!} \]

Joint çarpanlara ayrıldı!

\[ X \perp Y, \quad X \sim \text{Pois}(\lambda p), \quad Y \sim \text{Pois}(\lambda q) \]

Yalnızca Poisson’a özgü.

“this is actually a very special property of the Poisson.” — Blitzstein, 49:45

ÖnemliBuilder Notu — Thinning ve A/B Trafik

Poisson thinning/splitting = bir Poisson akışını bağımsız alt-akışlara bölmek. Nokta süreçleri, ağ trafiği modellemesi, yük dengeleme (istekleri bağımsız kuyruklara), A/B test trafik ayırma. Bağımsızlık, alt-akışları ayrı analiz etmeyi kolaylaştırır — kovaryans düzeltmesi yok.

20.8 Bu Dersin Özeti

  1. Üçlü: joint → marjinal (∫) → koşullu (joint/marjinal); \(f = f_{Y \mid X} \cdot f_X\).
  2. 2D LOTUS: \(E(g) = \iint g \cdot f\).
  3. Bağımsız ⇒ ilişkisiz: \(E(XY) = E(X)E(Y)\).
  4. Disk: marjinal yarım daire, koşullu uniform → bağımlı.
  5. İki uniform: \(E|X-Y| = 1/3\), max/min triki.
  6. Poisson splitting: \(X \perp Y\), ikisi Poisson.
ÖnemliTek bir cümle

Joint, marjinal ve koşullu dağılımlar bir üçlüdür — joint = koşullu × marjinal. 2D LOTUS beklentileri dağılım bulmadan verir; bağımsız ⇒ ilişkisiz ama tersi değil; Poisson splitting alt-akışları bağımsız yapar.

20.9 Kontrol Soruları

Cevap: (a) \(f_X(x) = x + 1/2\). (b) \(f_{Y \mid X} = (x+y)/(x+1/2)\). (c) \(f_X f_Y \ne f\)bağımsız değil.

Cevap: \(f_X = 2x, f_Y = 2y\), çarpım \(4xy = f\)bağımsız (Beta(2,1) marjinalleri).

Cevap: (a) \((1/2)(1/2) = 1/4\). (b) \(2/3\).

Cevap: Pois(2), \(X \perp Y \sim \text{Pois}(98)\). A/B trafik ayırmanın temeli.

20.10 Egzersizler

Egzersiz 1. \(f = c(x + y^2)\) (0..1)². (a) \(c\)? (b) Marjinaller? (c) Bağımsız mı?

Egzersiz 2. \(f = 6e^{-2x-3y}\) (\(x, y > 0\)). Marjinaller? Bağımsız mı? Oranlar?

Egzersiz 3. \(X, Y \sim\) Unif(0,1) bağımsız. \(E(X+Y), E(XY), E((X-Y)^2)\)?

Egzersiz 4. (Python — Uzaklık + Splitting)

import numpy as np
rng = np.random.default_rng(0)
N = 1_000_000

X = rng.uniform(0, 1, N); Y = rng.uniform(0, 1, N)
print(f"E|X-Y| ≈ {np.mean(np.abs(X-Y)):.4f}  teori 1/3")
print(f"E(max) ≈ {np.maximum(X,Y).mean():.4f}  E(min) ≈ {np.minimum(X,Y).mean():.4f}")

# Poisson splitting
n = rng.poisson(100, N)
x = rng.binomial(n, 0.02)
y = n - x
print(f"X ~ Pois? mean={x.mean():.3f}, var={x.var():.3f} (Pois(2): 2, 2)")
print(f"corr(X,Y) = {np.corrcoef(x, y)[0,1]:.4f}  (bağımsız → ≈ 0)")

Egzersiz 5. (Sonraki ders) Multinomial: binomun \(k\) kategoriye genellemesi. \(X_i \sim\) Bin(\(n, p_i\)) marjinal; \(X_i, X_j\) negatif ilişkili.

20.11 Sonraki Ders İçin Hazırlık

Ders 20: Multinomial ve Cauchy — joint sayım, kategorik genelleme; oran dağılımı.

UyarıDers 20 öncesi yapılacak
  • Egzersiz 5 (Multinomial sezgisi) çöz.
  • Binom + MGF’i hatırla.
  • 2D LOTUS’u tekrar oku.

20.12 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Blitzstein’de
Joint PDF \(\partial^2 F / \partial x \partial y\) 2m45
Marjinal \(\int f(x,y) dy\) 6m20
Koşullu \(f(x,y) / f_X(x)\) 8m30
Joint = K × M \(f = f_{Y \mid X} f_X\) 10m38
Bağımsızlık \(f = f_X f_Y\) 11m48
Disk Marjinal \(\ne\) uniform; koşullu uniform 16m13
2D LOTUS \(\iint g \cdot f\) 22m09
Bağımsız ⇒ ilişkisiz \(E(XY) = E(X)E(Y)\); tersi yanlış 24m48
İki uniform \(E\|X-Y\| = 1/3\) 34m29
Poisson splitting \(X \perp Y\) Poisson 49m45

20.13 ML Bağlantıları Özeti

İpucu7 köprü
  1. Koşullu \(f(y \mid x)\) → denetimli, koşullu üretim.
  2. Joint = \(\prod\) koşulluautoregressive (GPT).
  3. 2D LOTUS → çok değişkenli Monte Carlo.
  4. Bağımsız vs ilişkisizPCA vs ICA.
  5. Heteroskedastik → girdiye bağlı yayılım.
  6. Max/min → sıra istatistikleri (Ders 25).
  7. Poisson splitting → thinning, A/B trafik.
ÖnemliTek bir şey alıp gideceksen

Joint/marjinal/koşullu üçlüsü ayrılmaz — \(f = f_{Y \mid X} f_X\). 2D LOTUS beklentileri dağılım bulmadan verir. Bağımsız ⇒ ilişkisiz ama tersi değil — korelasyon yalnız doğrusal yakalar.