28 Bir RD Verildiğinde Koşullu Beklenti

Projeksiyon, Adam + Eve yasaları

Bölüm bilgisi

Blitzstein’in videosu: YouTube — Lecture 27 (≈51 dk)
Okuma süresi: ≈36 dk

28.1 Bu Derste Ne Var?

4 özellik: bileneni dışarı, bağımsızlık, Adam, artık diklik.
Projeksiyon yorumu: $E(Y|X)$ = en küçük kareler.
Koşullu varyans Var$(Y|X)$ — bir RV.
Eve yasası: Var$(Y)$ = $E$(Var$(Y|X)$) + Var$(E(Y|X))$ — within + between.

Builder Notu — ML Köprüleri

E(Y|X) = izdüşüm → en küçük kareler; artık ⊥ özellikler (normal denklemler).
Adam yasası → Bellman, nested MC, EM/VI.
Var(Y|X) = heteroskedastik + aleatoric belirsizlik.
Eve yasası = law of total variance = ANOVA; ML’de aleatoric + epistemic ayrışımı.
Beta-Binom hiyerarşik → random effects, overdispersion.

28.2 4 Özellik

Bileneni dışarı al: $E(h(X)Y | X) = h(X) E(Y | X)$.
Bağımsızlık: $X \perp Y \Rightarrow E(Y | X) = E(Y)$.
Adam yasası: $E(E(Y | X)) = E(Y)$.
Artık diklik: $E((Y - E(Y|X)) h(X)) = 0$ tüm $h$ için.

28.3 Projeksiyon Yorumu

RV’leri vektör gibi düşün; iç çarpım $\langle X, Y \rangle = E(XY)$. “X’in tüm fonksiyonları” = bir düzlem.

\[ E(Y | X) = Y \text{'nin bu düzleme ortogonal izdüşümü} \]

Artık $Y - E(Y | X)$ düzleme dik — Özellik 4.

“E(Y|X) is defined to be the point in this plane that’s closest to Y.” — Blitzstein, 18:05

Builder Notu — En Küçük Kareler

OLS regresyonun geometrisi: $\hat{y}$ = $y$’nin sütun uzayına ortogonal izdüşümü; artık $\perp$ özellikler = normal denklemler, Gauss-Markov. Sinir ağları doğrusal-olmayan E(Y|X)’i yaklaşık öğrenir.

28.4 Adam Yasası İspatı

Kesikli: $g(X) = E(Y|X)$ → LOTUS → koşullu tanım → toplam sırası değiş → marjinal:

\[ E(g(X)) = \sum_x \sum_y y \underbrace{P(Y=y | X=x) P(X=x)}_{P(X,Y)} = \sum_y y P(Y=y) = E(Y) \quad \blacksquare \]

28.5 Koşullu Varyans

\[ \text{Var}(Y | X) = E(Y^2 | X) - (E(Y | X))^2 \]

Bir RV! (X’in fonksiyonu.) Son “$| X$”’i unutma.

Builder Notu — Aleatoric Belirsizlik

Var$(Y|X)$ = girdiye bağlı belirsizlik = heteroskedastik gürültü = aleatoric belirsizlik (verinin doğasından, indirilemez). Modelin $\sigma^2(x)$ çıktısı bunu öğrenir.

28.6 Eve Yasası

\[ \boxed{\text{Var}(Y) = E(\text{Var}(Y | X)) + \text{Var}(E(Y | X))} \]

Within (grup-içi) + between (gruplar-arası) varyans.

“Eve’s Law because it’s EVVE” — Blitzstein, 34:25

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
N = 1_000_000

D = rng.integers(1, 7, N)   # 1..6
X = rng.binomial(D, 0.5)

var_total = X.var()
within = (D / 4).mean()       # E(Var(X|D)) = E(D/4)
between = (D / 2).var()       # Var(E(X|D)) = Var(D/2)

fig, ax = plt.subplots(figsize=(10, 4.5))
ax.bar(['Var(Y)\ntoplam', 'E(Var(Y|D))\nwithin\n(aleatoric)', 'Var(E(Y|D))\nbetween\n(model/epistemic)'],
       [var_total, within, between],
       color=['#A51C30', '#DD6B20', '#2C5282'], edgecolor='#1f2937')
for i, v in enumerate([var_total, within, between]):
    plt.text(i, v + 0.02, f'{v:.3f}', ha='center', fontsize=12, weight='bold')

ax.set_title(f'Eve: {var_total:.3f} = {within:.3f} + {between:.3f}  (within + between)',
             fontsize=12)
ax.set_ylabel('varyans', fontsize=12)
ax.grid(True, axis='y', alpha=0.3)
plt.tight_layout()
plt.show()

Şekil 28.1

Builder Notu — Aleatoric + Epistemic

Eve = law of total variance = ANOVA. ML’de belirsizlik ayrışımı: E(Var(Y|X)) ≈ aleatoric (indirilemez veri gürültüsü), Var(E(Y|X)) ≈ between/epistemic (model değişimi). Bayesçi derin öğrenmede toplam tahmin belirsizliği aynı şekilde ayrışır.

28.7 Beta-Binom Hiyerarşik Örnek

$Q \sim$ Beta($a, b$) (şehir oranı), $X | Q \sim$ Bin($n, Q$).

Adam: $E(X) = E(nQ) = na/(a+b)$.

Eve:

\[ \text{Var}(X) = E(nQ(1-Q)) + \text{Var}(nQ) = n \cdot \frac{ab}{(a+b)(a+b+1)} + n^2 \cdot \text{Var}(Q) \]

İki belirsizlik: şehir-içi binom + şehirler-arası Q.

Builder Notu — Random Effects ve Overdispersion

Bayesçi hiyerarşik / random effects modellerin ders kitabı örneği: between-city varyansı binom’un veremeyeceği overdispersion’ı açıklar. Epidemiyoloji, A/B testi grup heterojenliği, çok-merkezli çalışmalarda standart.

28.8 Bu Dersin Özeti

4 özellik.
Projeksiyon: $E(Y|X)$ = OLS geometrisi.
Adam ispatı: sırayı değiştir + marjinal.
Var(Y|X) RV.
Eve: within + between.

Tek bir cümle

$E(Y|X)$ = Y’nin “X’in fonksiyonları” uzayına ortogonal izdüşümü = regresyon. Adam beklentiyi, Eve varyansı parçalar (within + between) — ANOVA ve ML’de aleatoric + epistemic belirsizlik ayrışımının temeli.

28.9 Kontrol Soruları

Soru 1: N~Pois(λ), X_i iid μ. E(S)?

Cevap: Adam: $E(S) = E(N\mu) = \lambda \mu$.

Soru 2: Var(X_i)=σ². Var(S)?

Cevap: Eve: $\lambda \sigma^2 + \mu^2 \lambda = \lambda(\sigma^2 + \mu^2) = \lambda E(X^2)$.

Soru 3: X⊥Y, E(Y)=5. (a) E(sin X|X)? (b) E(XY|X)?

Cevap: (a) $\sin X$. (b) $5X$.

Soru 4: (Builder) Aleatoric vs epistemic Eve ayrışımı?

Cevap: E(Var(Y|X)) = aleatoric (indirilemez gürültü). Var(E(Y|X)) = between/model (epistemic). Bayesçi DL’de aynı.

28.10 Egzersizler

Egzersiz 1. Zar D + D para, X tura. (a) $E(X|D) = D/2$. (b) Adam → $E(X) = 1{,}75$.

Egzersiz 2. (a) Var($X|D$) = $D/4$. (b) Eve → Var($X$)?

Egzersiz 3. Artık özellikleri: $E(\text{artık}) = 0$, $\text{Cov}(\text{izdüşüm, artık}) = 0$.

Egzersiz 4. (Python — Adam + Eve)

import numpy as np
rng = np.random.default_rng(0)
N = 1_000_000

D = rng.integers(1, 7, N)
X = rng.binomial(D, 0.5)

# Adam
print(f"E(X) sim = {X.mean():.4f}  teorik 3.5/2 = 1.75")

# Eve
within = (D/4).mean()
between = (D/2).var()
print(f"Var(X) sim = {X.var():.4f}  = within({within:.4f}) + between({between:.4f}) = {within+between:.4f}")

Egzersiz 5. (Sonraki ders) Jensen: dışbükey g → $E(g(X)) \ge g(E(X))$. Markov: $X \ge 0$ → $P(X \ge a) \le E(X)/a$.

28.11 Sonraki Ders İçin Hazırlık

Ders 28: Eşitsizlikler — Jensen, Markov, Chebyshev, Cauchy-Schwarz.

Ders 28 öncesi yapılacak

Egzersiz 5 (Jensen + Markov sezgisi) çöz.
Jensen + Cauchy-Schwarz hatırla.

28.12 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım	Blitzstein’de
Bileneni dışarı	$E(h(X)Y\\|X) = h(X)E(Y\\|X)$	8m37
Bağımsızlık	$X \perp Y \Rightarrow E(Y\\|X) = E(Y)$	9m55
Adam	$E(E(Y\\|X)) = E(Y)$	10m44
Artık diklik	$E((Y-E(Y\\|X))h(X)) = 0$	12m46
Projeksiyon	$E(Y\\|X)$ = OLS izdüşümü	17m42
Var(Y\|X)	$E(Y^2\\|X) - (E(Y\\|X))^2$, RV	30m17
Eve	$E(\text{Var}) + \text{Var}(E)$	33m28

28.13 ML Bağlantıları Özeti

7 köprü

E(Y|X) = izdüşüm → OLS, normal denklemler.
E(Y|X) = regresyon → MSE.
Adam → Bellman, EM/VI.
Var(Y|X) → heteroskedastik, aleatoric.
Eve → law of total variance, ANOVA.
Beta-Binom hiyerarşik → overdispersion, random effects.
Compound Poisson → toplam ödül/hasar (sigorta, RL).

Tek bir şey alıp gideceksen

$E(Y|X)$ = ortogonal izdüşüm = regresyon. Adam beklentiyi, Eve varyansı parçalar (within + between) → ANOVA + aleatoric/epistemic ayrışımı.

--- title: "Bir RD Verildiğinde Koşullu Beklenti" subtitle: "Projeksiyon, Adam + Eve yasaları" --- ::: {.callout-note title="Bölüm bilgisi"} - **Blitzstein'in videosu:** [YouTube — Lecture 27](https://www.youtube.com/watch?v=gjBvCiRt8QA) (≈51 dk) - **Okuma süresi:** ≈36 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} 1. **4 özellik:** bileneni dışarı, bağımsızlık, Adam, artık diklik. 2. **Projeksiyon yorumu:** $E(Y|X)$ = en küçük kareler. 3. **Koşullu varyans** Var$(Y|X)$ — bir RV. 4. **Eve yasası:** Var$(Y)$ = $E$(Var$(Y|X)$) + Var$(E(Y|X))$ — **within + between**. ::: {.callout-tip title="Builder Notu — ML Köprüleri"} - **E(Y|X) = izdüşüm** → **en küçük kareler**; artık ⊥ özellikler (normal denklemler). - **Adam yasası** → Bellman, nested MC, **EM/VI**. - **Var(Y|X)** = **heteroskedastik** + **aleatoric** belirsizlik. - **Eve yasası** = **law of total variance** = **ANOVA**; ML'de **aleatoric + epistemic** ayrışımı. - **Beta-Binom hiyerarşik** → **random effects**, overdispersion. ::: ## 4 Özellik {#sec-4-ozellik} 1. **Bileneni dışarı al:** $E(h(X)Y | X) = h(X) E(Y | X)$. 2. **Bağımsızlık:** $X \perp Y \Rightarrow E(Y | X) = E(Y)$. 3. **Adam yasası:** $E(E(Y | X)) = E(Y)$. 4. **Artık diklik:** $E((Y - E(Y|X)) h(X)) = 0$ tüm $h$ için. ## Projeksiyon Yorumu {#sec-projeksiyon} RV'leri vektör gibi düşün; iç çarpım $\langle X, Y \rangle = E(XY)$. "X'in tüm fonksiyonları" = bir düzlem. $$ E(Y | X) = Y \text{'nin bu düzleme ortogonal izdüşümü} $$ **Artık** $Y - E(Y | X)$ düzleme **dik** — Özellik 4. > *"E(Y|X) is defined to be the point in this plane that's closest to Y."* — Blitzstein, 18:05 ::: {.callout-important title="Builder Notu — En Küçük Kareler"} **OLS regresyonun geometrisi**: $\hat{y}$ = $y$'nin sütun uzayına ortogonal izdüşümü; artık $\perp$ özellikler = **normal denklemler**, **Gauss-Markov**. Sinir ağları doğrusal-olmayan E(Y|X)'i yaklaşık öğrenir. ::: ## Adam Yasası İspatı {#sec-adam-ispat} Kesikli: $g(X) = E(Y|X)$ → LOTUS → koşullu tanım → **toplam sırası değiş** → marjinal: $$ E(g(X)) = \sum_x \sum_y y \underbrace{P(Y=y | X=x) P(X=x)}_{P(X,Y)} = \sum_y y P(Y=y) = E(Y) \quad \blacksquare $$ ## Koşullu Varyans {#sec-kosullu-var} $$ \text{Var}(Y | X) = E(Y^2 | X) - (E(Y | X))^2 $$ **Bir RV!** (X'in fonksiyonu.) Son "$| X$"'i unutma. ::: {.callout-tip title="Builder Notu — Aleatoric Belirsizlik"} Var$(Y|X)$ = **girdiye bağlı belirsizlik** = **heteroskedastik** gürültü = **aleatoric belirsizlik** (verinin doğasından, indirilemez). Modelin $\sigma^2(x)$ çıktısı bunu öğrenir. ::: ## Eve Yasası {#sec-eve} $$ \boxed{\text{Var}(Y) = E(\text{Var}(Y | X)) + \text{Var}(E(Y | X))} $$ **Within (grup-içi)** + **between (gruplar-arası)** varyans. > *"Eve's Law because it's EVVE"* — Blitzstein, 34:25 ```{python} #| label: fig-eve-yasasi #| fig-cap: "Eve yasası: zar (D) atışı + D para. Y = tura sayısı. Toplam Var(Y) = E(Var(Y|D)) [within = E(D/4)] + Var(E(Y|D)) [between = Var(D/2)]. ANOVA + aleatoric/epistemic ayrışımının olasılıksal temeli." #| fig-width: 10 #| fig-height: 4.5 import numpy as np import matplotlib.pyplot as plt rng = np.random.default_rng(0) N = 1_000_000 D = rng.integers(1, 7, N) # 1..6 X = rng.binomial(D, 0.5) var_total = X.var() within = (D / 4).mean() # E(Var(X|D)) = E(D/4) between = (D / 2).var() # Var(E(X|D)) = Var(D/2) fig, ax = plt.subplots(figsize=(10, 4.5)) ax.bar(['Var(Y)\ntoplam', 'E(Var(Y|D))\nwithin\n(aleatoric)', 'Var(E(Y|D))\nbetween\n(model/epistemic)'], [var_total, within, between], color=['#A51C30', '#DD6B20', '#2C5282'], edgecolor='#1f2937') for i, v in enumerate([var_total, within, between]): plt.text(i, v + 0.02, f'{v:.3f}', ha='center', fontsize=12, weight='bold') ax.set_title(f'Eve: {var_total:.3f} = {within:.3f} + {between:.3f} (within + between)', fontsize=12) ax.set_ylabel('varyans', fontsize=12) ax.grid(True, axis='y', alpha=0.3) plt.tight_layout() plt.show() ``` ::: {.callout-important title="Builder Notu — Aleatoric + Epistemic"} **Eve = law of total variance = ANOVA**. ML'de **belirsizlik ayrışımı**: E(Var(Y|X)) ≈ **aleatoric** (indirilemez veri gürültüsü), Var(E(Y|X)) ≈ **between/epistemic** (model değişimi). Bayesçi derin öğrenmede toplam tahmin belirsizliği aynı şekilde ayrışır. ::: ## Beta-Binom Hiyerarşik Örnek {#sec-beta-binom-hiyerarsik} $Q \sim$ Beta($a, b$) (şehir oranı), $X | Q \sim$ Bin($n, Q$). **Adam:** $E(X) = E(nQ) = na/(a+b)$. **Eve:** $$ \text{Var}(X) = E(nQ(1-Q)) + \text{Var}(nQ) = n \cdot \frac{ab}{(a+b)(a+b+1)} + n^2 \cdot \text{Var}(Q) $$ İki belirsizlik: şehir-içi binom + şehirler-arası Q. ::: {.callout-important title="Builder Notu — Random Effects ve Overdispersion"} **Bayesçi hiyerarşik / random effects** modellerin ders kitabı örneği: between-city varyansı binom'un veremeyeceği **overdispersion**'ı açıklar. Epidemiyoloji, A/B testi grup heterojenliği, çok-merkezli çalışmalarda standart. ::: ## Bu Dersin Özeti {#sec-ozet} 1. **4 özellik.** 2. **Projeksiyon:** $E(Y|X)$ = OLS geometrisi. 3. **Adam ispatı:** sırayı değiştir + marjinal. 4. **Var(Y|X)** RV. 5. **Eve:** within + between. ::: {.callout-important title="Tek bir cümle"} $E(Y|X)$ = **Y'nin "X'in fonksiyonları" uzayına ortogonal izdüşümü** = **regresyon**. **Adam** beklentiyi, **Eve** varyansı parçalar (within + between) — **ANOVA** ve ML'de **aleatoric + epistemic belirsizlik ayrışımının** temeli. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: N~Pois(λ), X_i iid μ. E(S)?"} **Cevap:** Adam: $E(S) = E(N\mu) = \lambda \mu$. ::: ::: {.callout-note collapse="true" title="Soru 2: Var(X_i)=σ². Var(S)?"} **Cevap:** Eve: $\lambda \sigma^2 + \mu^2 \lambda = \lambda(\sigma^2 + \mu^2) = \lambda E(X^2)$. ::: ::: {.callout-note collapse="true" title="Soru 3: X⊥Y, E(Y)=5. (a) E(sin X|X)? (b) E(XY|X)?"} **Cevap:** (a) $\sin X$. (b) $5X$. ::: ::: {.callout-note collapse="true" title="Soru 4: (Builder) Aleatoric vs epistemic Eve ayrışımı?"} **Cevap:** **E(Var(Y|X)) = aleatoric** (indirilemez gürültü). **Var(E(Y|X)) = between/model** (epistemic). Bayesçi DL'de aynı. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** Zar D + D para, X tura. (a) $E(X|D) = D/2$. (b) Adam → $E(X) = 1{,}75$. **Egzersiz 2.** (a) Var($X|D$) = $D/4$. (b) Eve → Var($X$)? **Egzersiz 3.** Artık özellikleri: $E(\text{artık}) = 0$, $\text{Cov}(\text{izdüşüm, artık}) = 0$. **Egzersiz 4.** *(Python — Adam + Eve)* ```{python} #| label: ex-adam-eve #| code-fold: false import numpy as np rng = np.random.default_rng(0) N = 1_000_000 D = rng.integers(1, 7, N) X = rng.binomial(D, 0.5) # Adam print(f"E(X) sim = {X.mean():.4f} teorik 3.5/2 = 1.75") # Eve within = (D/4).mean() between = (D/2).var() print(f"Var(X) sim = {X.var():.4f} = within({within:.4f}) + between({between:.4f}) = {within+between:.4f}") ``` **Egzersiz 5.** *(Sonraki ders)* **Jensen:** dışbükey g → $E(g(X)) \ge g(E(X))$. **Markov:** $X \ge 0$ → $P(X \ge a) \le E(X)/a$. ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 28: Eşitsizlikler** — Jensen, Markov, Chebyshev, Cauchy-Schwarz. ::: {.callout-warning title="Ders 28 öncesi yapılacak"} - Egzersiz 5 (Jensen + Markov sezgisi) çöz. - Jensen + Cauchy-Schwarz hatırla. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | Blitzstein'de | |--------|-------|---------------| | **Bileneni dışarı** | $E(h(X)Y\|X) = h(X)E(Y\|X)$ | 8m37 | | **Bağımsızlık** | $X \perp Y \Rightarrow E(Y\|X) = E(Y)$ | 9m55 | | **Adam** | $E(E(Y\|X)) = E(Y)$ | 10m44 | | **Artık diklik** | $E((Y-E(Y\|X))h(X)) = 0$ | 12m46 | | **Projeksiyon** | $E(Y\|X)$ = OLS izdüşümü | 17m42 | | **Var(Y\|X)** | $E(Y^2\|X) - (E(Y\|X))^2$, RV | 30m17 | | **Eve** | $E(\text{Var}) + \text{Var}(E)$ | 33m28 | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="7 köprü"} 1. **E(Y|X) = izdüşüm** → **OLS**, normal denklemler. 2. **E(Y|X) = regresyon** → MSE. 3. **Adam** → Bellman, EM/VI. 4. **Var(Y|X)** → **heteroskedastik**, aleatoric. 5. **Eve** → **law of total variance**, ANOVA. 6. **Beta-Binom hiyerarşik** → overdispersion, random effects. 7. **Compound Poisson** → toplam ödül/hasar (sigorta, RL). ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} $E(Y|X)$ = **ortogonal izdüşüm** = **regresyon**. **Adam** beklentiyi, **Eve** varyansı parçalar (**within + between**) → ANOVA + aleatoric/epistemic ayrışımı. :::