import numpy as np
rng = np.random.default_rng(0)
N = 500_000
lam = 4.0
print(f"Var(Pois({lam})) sim: {rng.poisson(lam, N).var():.3f} teorik: {lam}")
n, p = 20, 0.3
print(f"Var(Bin({n},{p})) sim: {rng.binomial(n, p, N).var():.3f} teorik npq: {n*p*(1-p)}")
# 68-95-99.7
Z = rng.standard_normal(N)
for k in (1, 2, 3):
print(f"P(|Z|<{k}) ≈ {np.mean(np.abs(Z) < k):.4f}")
# Kapanış
S = rng.normal(1, 2, N) + rng.normal(-2, 3, N)
print(f"N(1,4)+N(-2,9) → mean={S.mean():.2f} (teori -1), var={S.var():.2f} (teori 13)")15 Konum, Ölçek ve LOTUS
X = μ + σZ, varyans kuralları, Poisson(λ) ve Binom(npq) varyansı
- Blitzstein’in videosu: YouTube — Lecture 14: Location, Scale, and LOTUS (≈49 dk)
- Okuma süresi: ≈34 dk
15.1 Bu Derste Ne Var?
- Konum-ölçek: \(X = \mu + \sigma Z\) ile her Normal standart Normal’e indirgenir.
- Varyansın özellikleri: Var\((X + c)\) = Var\((X)\); Var\((cX) = c^2\)Var\((X)\); doğrusal değil.
- Bağımsız Normal toplamı = Normal (kapanış).
- LOTUS ile varyans: Poisson(\(\lambda\)) → Var \(= \lambda\); Binom(\(n,p\)) → Var \(= npq\).
- Standardizasyon → batch / layer normalization; feature scaling; z-skoru boyutsuz.
- Var\((cX) = c^2\)Var\((X)\) → gradyan/gürültü ölçeklemesi; Var\((\bar{X}) = \sigma^2/n\).
- Bağımsız Normal kapanışı → diffusion ileri süreci tek hamlede; Kalman, GP.
- LOTUS ispatı = Monte Carlo garantisi.
15.2 Konum-Ölçek: X = μ + σZ
\[ X = \mu + \sigma Z, \quad Z \sim N(0, 1), \;\sigma > 0 \;\Rightarrow\; X \sim N(\mu, \sigma^2) \]
- \(\mu\) konum (kaydırma).
- \(\sigma\) ölçek (genişlik).
Standardizasyon: \(Z = (X - \mu)/\sigma \sim N(0, 1)\). Boyutsuz (birimler sadeleşir).
Batch / layer normalization tam olarak standardizasyon: aktivasyonları \((x - \mu)/\sigma\) ile normalize, sonra öğrenilen \(\gamma, \beta\) ile yeniden ölçekle. VAE reparameterization: \(x = \mu + \sigma \epsilon\), \(\epsilon \sim N(0,1)\).
15.3 Varyansın Özellikleri
\[ \text{Var}(X + c) = \text{Var}(X), \qquad \text{Var}(cX) = c^2 \text{Var}(X) \]
Kareyi unutma — c negatifse karesiz negatif varyans çıkar! Varyans \(\ge 0\) her zaman; = 0 ⇔ X sabit.
Doğrusal değil:
\[ \text{Var}(X + Y) \ne \text{Var}(X) + \text{Var}(Y) \quad (\text{genelde}) \]
Eşitlik bağımsızsa. X kendisiyle bağımsız değil:
\[ \text{Var}(X + X) = \text{Var}(2X) = 4\,\text{Var}(X) \]
“x is not IID with itself.” — Blitzstein, 11:46
“Negatif varyans = bir yerde hata” sanity check. Kovaryans matrislerinin pozitif yarı-tanımlı olması gerektiğinin habercisidir. Minibatch ortalamasının Var\((\bar{X}) = \sigma^2/n\) — gradyan gürültüsünün \(n\) ile küçülmesinin temeli.
15.4 Genel Normal PDF (Zincir Kuralı)
\[ F(x) = P(X \le x) = \Phi\!\left(\frac{x - \mu}{\sigma}\right) \]
Türev (zincir kuralı):
\[ f(x) = \frac{1}{\sigma}\,\varphi\!\left(\frac{x - \mu}{\sigma}\right) = \frac{1}{\sigma\sqrt{2\pi}}\, e^{-(x-\mu)^2/(2\sigma^2)} \]
Ezberleme — standardizasyon + zincir kuralıyla iki satırda türet.
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm
x = np.linspace(-6, 8, 500)
params = [(0, 1, '#A51C30'), (2, 1, '#DD6B20'), (0, 2, '#2C5282'), (1, 0.5, '#6B46C1')]
fig, axes = plt.subplots(1, 2, figsize=(11, 5))
# Sol: farklı PDF'ler
ax = axes[0]
for mu, sigma, c in params:
pdf = norm.pdf(x, mu, sigma)
ax.plot(x, pdf, color=c, linewidth=2.2, label=f'N(μ={mu}, σ²={sigma**2})')
ax.set_xlabel('x', fontsize=12)
ax.set_ylabel('f(x)', fontsize=12)
ax.set_title('Genel Normal — μ kaydırır, σ genişletir', fontsize=12)
ax.legend(loc='upper right', fontsize=10)
ax.grid(True, alpha=0.3)
ax.set_xlim(-6, 8)
# Sağ: standardizasyon hepsi N(0,1) olur
ax = axes[1]
z = np.linspace(-4, 4, 400)
for mu, sigma, c in params:
# Birkaç sample alıp standardize et
pass
ax.plot(z, norm.pdf(z), color='#1f2937', linewidth=2.5, label='N(0,1)')
ax.fill_between(z, 0, norm.pdf(z), alpha=0.3, color='#A51C30')
ax.set_xlabel('Z = (X − μ)/σ', fontsize=12)
ax.set_ylabel('φ(z)', fontsize=12)
ax.set_title('Standardizasyon: tüm Normal\'ler N(0,1)\'e iner (boyutsuz)', fontsize=12)
ax.legend(loc='upper right', fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()15.5 Bağımsız Normal Toplamı = Normal
\(X_1 \sim N(\mu_1, \sigma_1^2)\), \(X_2 \sim N(\mu_2, \sigma_2^2)\) bağımsız:
\[ X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) \]
Fark için de varyanslar TOPLANIR (çünkü \(-X_2\)’nin varyansı hâlâ \(\sigma_2^2\)):
\[ X_1 - X_2 \sim N(\mu_1 - \mu_2, \sigma_1^2 + \sigma_2^2) \]
Normal’in kapanışı ML’de muazzam: Gaussian + Gaussian = Gaussian. Diffusion ileri süreci her adımda bağımsız Gaussian gürültü ekler; varyanslar biriktiğinden herhangi bir gürültü seviyesine tek hamlede atlanabilir. Kalman filtreleri, Gaussian process’ler hep bu kapanışa dayanır.
15.6 68-95-99,7 Kuralı
\[ P(|X - \mu| < \sigma) \approx 68\%, \quad P(|X - \mu| < 2\sigma) \approx 95\%, \quad P(|X - \mu| < 3\sigma) \approx 99{,}7\% \]
Aykırı değer tespiti ve güven aralıkları: 3σ dışı şüpheli (%0,3). Fizik keşiflerinde “5σ” dili, süreç kontrolü, anomali tespiti. Yalnızca Normal için; ağır kuyrukta yanıltır.
15.7 LOTUS ile Varyans: Poisson ve Binom
Poisson(\(\lambda\)) varyansı. Faktöriyel moment \(E(X(X-1))\) ile temiz yol:
\[ E(X(X-1)) = \sum k(k-1) \frac{e^{-\lambda}\lambda^k}{k!} = e^{-\lambda}\lambda^2 \sum_{j \ge 0} \frac{\lambda^j}{j!} = \lambda^2 \]
\(E(X^2) = \lambda^2 + \lambda\) → \(\text{Var}(X) = \lambda\).
Poisson: ortalama = varyans = \(\lambda\).
Binom(\(n, p\)) varyansı (göstergeler): \(X = I_1 + \ldots + I_n\).
\[ E(X^2) = n E(I_1^2) + n(n-1) E(I_1 I_2) = np + n(n-1)p^2 \]
\(E(I_1^2) = p\) (gösterge!), \(E(I_1 I_2) = p^2\) (bağımsız). Çıkarınca:
\[ \text{Var}(X) = np - np^2 = np(1-p) = npq \]
Poisson: ortalama = varyans sayım modellerinin temel varsayımı. Varyans > ortalama (overdispersion) → negatif binom. A/B testlerinde dönüşüm oranı belirsizliği \(\sqrt{npq}\).
15.8 LOTUS İspatı (Kesikli)
\[ \sum_x g(x) P(X = x) = \sum_s g(X(s)) P(s) \]
Sağdan başla, \(X(s) = x\) olan tüm \(s\)’leri grupla:
\[ \sum_s g(X(s)) P(s) = \sum_x \sum_{s: X(s) = x} g(x) P(s) = \sum_x g(x) P(X = x) \]
Gruplu = grupsuz.
LOTUS ispatı Monte Carlo’nun teorik garantisi: \(E[g(X)]\)’i, X’ten örnekleyip \(g\)’yi ortalayarak kestirmek geçerlidir. \(E[\text{loss}]\), \(E[\text{ödül}]\), policy gradient hep bu eşitliğe dayanır — \(g(X)\)’in dağılımını bilmeden.
15.9 Bu Dersin Özeti
- Konum-ölçek: \(X = \mu + \sigma Z\), standardizasyon \(Z = (X-\mu)/\sigma\).
- Varyans: \(\text{Var}(cX) = c^2 \text{Var}(X)\); \(\ge 0\); doğrusal değil; \(\text{Var}(X+X) = 4\text{Var}(X)\).
- Genel Normal: \(E = \mu\), Var \(= \sigma^2\); PDF zincir kuralıyla.
- Kapanış: bağımsız Normal toplamı Normal (varyanslar toplanır, farkta bile).
- 68-95-99,7 kuralı.
- Poisson: Var \(= \lambda\). Binom: Var \(= npq\).
- LOTUS ispatı: gruplu = grupsuz toplam.
Her Normal tek bir standart Normal’in kaydırılıp ölçeklenmiş hâlidir (\(X = \mu + \sigma Z\)); varyans sabitle kareyle ölçeklenir, doğrusal değildir (yalnız bağımsızlıkta toplanır); ve LOTUS (gruplu = grupsuz toplam) hem Poisson’un (\(\lambda\)) hem Binom’un (\(npq\)) varyansını verir hem de modern Monte Carlo’nun teorik temelidir.
15.10 Kontrol Soruları
Cevap: (a) \(9 \cdot 4 = \mathbf{36}\). (b) \(Z = (X-5)/2\). (c) \(1 = \mu - 2\sigma\), \(9 = \mu + 2\sigma\) → \(\mathbf{\approx 95\%}\).
Cevap: \(\text{Var}(X-Y) = \text{Var}(X) + \text{Var}(Y)\). \(X - X = 0\), sabit → \(\text{Var} = 0\). X kendisiyle bağımsız değil!
Cevap: Faktöriyel moment → \(\lambda^2\). \(E(X^2) = \lambda^2 + \lambda\), \(\text{Var}(X) = \lambda\).
Cevap: \(N(\mu, \sigma^2 + \tau^2)\). Kapanış sayesinde t adım sonraki dağılım kapalı formda, tek hamlede atlanabilir.
15.11 Egzersizler
Egzersiz 1. \(X \sim N(-2, 9)\). (a) PDF aç. (b) Standardize. (c) \(P(-5 < X < 1)\)? (d) \(\text{Var}(2X-7)\)?
Egzersiz 2. \(\text{Var}(X)=4, \text{Var}(Y)=9\) bağımsız. (a) \(\text{Var}(2X+3Y)\)? (b) \(\text{Var}(X-Y)\)? (c) \(\text{Var}(7)\)?
Egzersiz 3. \(X \sim\) Geom(\(p\)). Türev numarasıyla \(E(X^2)\), sonra Var\((X) = q/p^2\).
Egzersiz 4. (Python — Var doğrulama)
Egzersiz 5. (Sonraki ders) Genel formül \(\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X,Y)\). (a) Türet. (b) Bağımsızlıkta \(\text{Cov} = 0\) → varyans toplamı. (c) \(\text{Var}(X+X) = 4\text{Var}(X)\), \(\text{Cov}(X,X) = \text{Var}(X)\).
15.12 Sonraki Ders İçin Hazırlık
Ders 15: Ara Sınav İncelemesi — yeni konu yok, tekrar oturumu (Ders 1-14).
- Ders 1-14 “Tek Bir Cümle” + Cheat Sheet’leri arka arkaya oku.
- Bernoulli/Binom/Poisson/Geometrik/Uniform/Normal — ortalama + varyans ezberden.
- Egzersizleri çöz, özellikle 5 (Cov habercisi).
15.13 Anahtar Kavramlar (Cheat Sheet)
| Kavram | Tanım | Blitzstein’de |
|---|---|---|
| Konum-ölçek | \(X = \mu + \sigma Z \Rightarrow N(\mu, \sigma^2)\) | 4m27 |
| Standardizasyon | \(Z = (X-\mu)/\sigma\); boyutsuz | 13m15 |
| Var(\(X+c\)) | \(= \text{Var}(X)\) | 7m43 |
| Var(\(cX\)) | \(= c^2 \text{Var}(X)\) | 8m09 |
| Var \(\ge 0\) | \(= 0 \iff X\) sabit | 8m56 |
| Var doğrusal değil | Yalnız bağımsızsa toplanır | 9m58 |
| Genel Normal PDF | \((1/\sigma)\varphi((x-\mu)/\sigma)\) | 16m06 |
| Bağımsız Normal toplam | \(N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)\); farkta bile | 18m37 |
| 68-95-99,7 | \(\pm\sigma, \pm 2\sigma, \pm 3\sigma\) | 20m32 |
| Var(Poisson \(\lambda\)) | \(\lambda\) | 31m17 |
| Var(Binom \(n,p\)) | \(npq\) | 40m21 |
| LOTUS ispatı | Gruplu = grupsuz | 44m06 |
15.14 ML Bağlantıları Özeti
- Standardizasyon → batch / layer normalization, feature scaling.
- Reparameterization → VAE: \(x = \mu + \sigma\epsilon\).
- Var(\(cX\)) = \(c^2\)Var → gradyan ölçekleme; \(\text{Var}(\bar{X}) = \sigma^2/n\).
- Kapanış → diffusion, Kalman, GP.
- 68-95-99,7 → outlier, güven aralığı, sigma dili.
- Poisson Var = \(\lambda\) → overdispersion → NB; A/B test \(\sqrt{npq}\).
- LOTUS ispatı → Monte Carlo garantisi; policy gradient.
Tüm Normal dünyası tek bir şablonun (\(Z\)) kaydırılıp ölçeklenmesi (\(X = \mu + \sigma Z\)). Varyans kareyle ölçeklenir, doğrusal değildir, yalnız bağımsızlıkta toplanır. LOTUS modern Monte Carlo’nun temelidir.