27 Koşullu Beklentiye Devam

E(Y|X) bir RV; Adam yasası; iki zarf paradoksu

Bölüm bilgisi

Blitzstein’in videosu: YouTube — Lecture 26: Conditional Expectation Continued (≈50 dk)
Okuma süresi: ≈36 dk

27.1 Bu Derste Ne Var?

İki zarf paradoksu — koşulu düşürme tuzağı.
Yazı-tura: $E(W_{HT}) = 4 \ne E(W_{HH}) = 6$.
E(Y|X) = g(X) — bir RV!
Adam yasası: $E(E(Y|X)) = E(Y)$.

Builder Notu — ML Köprüleri

E(Y|X) = regresyon fonksiyonu = MSE’yi minimize eden tahminci.
E(Y|X) bir RV → RL değer fonksiyonu $V(s)$, conditional generation.
Koşulu düşürme = bağımsızlık → selection/collider bias.
Yazı-tura örüntüleri → dizi motifleri (DNA, n-gram), Markov/otomat (KMP).
Adam yasası → Bellman, nested Monte Carlo.

27.2 İki Zarf Paradoksu

İki zarf, biri diğerinin 2 katı. Seç (içinde $X$), diğeri $Y$. “Argüman 2” (hatalı):

\[ E(Y) = \tfrac{1}{2} E(2X) + \tfrac{1}{2} E(X/2) = \tfrac{5}{4} E(X) \]

Çelişki: simetri $E(Y) = E(X)$ doğru. Hata: $Y = 2X$ bilgisini koyduk, sonra koşulu unuttuk. $X$ ile “hangi zarf büyük” göstergesi bağımlı.

“The only time when we can get rid of the stuff we’re conditioning on is when we know we have independence.” — Blitzstein, 12:11

Builder Notu — Selection / Collider Bias

“Bilgiyi yerine koy ama koşulu düşür” hatası = ML’de gizli seçim yanlılığı, collider’a koşullama (Berkson), sağkalım yanlılığı. Koşul yalnız bağımsızlık varsa düşer.

27.3 Yazı-Tura Örüntüleri

E(W_HT): İlk H bekle (2) + ilk T bekle (2) = $\mathbf{4}$.

E(W_HH): HH kendiyle örtüşür — H sonrası T silinir!

\[ E(W_{HH}) = 6 \]

“since the HHs are more clumped, those clumps must be further apart.” — Blitzstein, 27:12

Builder Notu — String Matching

Dizi motifleri (DNA, n-gram). Örüntü bekleme = Markov zinciri/otomat (durum = eşleşen önek). HH overlap = KMP önek-fonksiyonu.

27.4 E(Y|X) Bir Rastgele Değişken

$E(Y | X = x) = g(x)$, $x$’in fonksiyonu. Big X ile değiştirince:

\[ E(Y \mid X) = g(X) \quad \text{(rastgele değişken!)} \]

“E of Y given X is a random variable. It’s a random variable that’s a function of x.” — Blitzstein, 37:15

Builder Notu — Regresyon Fonksiyonu

$E(Y|X)$ = kare-hata MSE’yi minimize eden tahminci. MSE eğitimli modeller (linear regression, sinir ağları) örtük olarak bunu öğrenir. RL değer fonksiyonu $V(s) = E(\text{getiri} | s)$ da bir RV.

27.5 Koşullu Beklenti Özellikleri

Doğrusallık (her zaman):

\[ E(Y_1 + Y_2 | X) = E(Y_1 | X) + E(Y_2 | X) \]

Bilineni dışarı al:

\[ E(h(X) | X) = h(X), \quad E(h(X) \cdot Y | X) = h(X) \cdot E(Y | X) \]

Bağımsızlık:

\[ X \perp Y \;\Rightarrow\; E(Y | X) = E(Y) \text{ (sabit)} \]

27.6 Poisson Örneği

$X, Y \sim$ Pois($\lambda$) bağımsız.

\[ E(X + Y | X) = X + \lambda \]

Ters yön (simetri): $E(X | X+Y) = E(Y | X+Y)$, toplam $= X+Y$:

\[ E(X | X+Y) = \frac{X+Y}{2} \]

27.7 Adam Yasası (Yineli Beklenti)

Koşullu beklentinin en önemli özelliği:

\[ \boxed{E(E(Y | X)) = E(Y)} \]

İki adım: önce $X$ verildiğinde $Y$ ortalaması (X’in fonksiyonu), sonra X üzerinden ortalama → toplam.

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
N = 10000

# Tavuk-yumurta: N ~ Pois(5), X | N ~ Bin(N, 0.3)
n_yumurta = rng.poisson(5, N)
x_cikan = rng.binomial(n_yumurta, 0.3)

# E(X) = E(E(X|N)) = E(0.3*N) = 0.3*5 = 1.5
print(f"E(X) direkt = {x_cikan.mean():.4f}")
print(f"E(E(X|N)) = E(0.3·N) = {0.3 * n_yumurta.mean():.4f}")
print(f"Teori 0.3·5 = 1.5")

fig, ax = plt.subplots(figsize=(10, 5))
ns = np.unique(n_yumurta)
ns = ns[ns < 15]
e_x_given_n = [x_cikan[n_yumurta == n].mean() for n in ns]
teorik = 0.3 * ns
ax.plot(ns, teorik, 'o-', color='#A51C30', linewidth=2.5, markersize=10, label='E(X|N) = 0.3·N (teori)')
ax.plot(ns, e_x_given_n, 's--', color='#2C5282', linewidth=2, markersize=8, label='Empirik koşullu ortalama')
ax.axhline(0.3 * 5, color='#15803d', linestyle=':', linewidth=2, label='E(X) = 1.5')
ax.set_xlabel('N (yumurta sayısı)', fontsize=12)
ax.set_ylabel('E(X | N)', fontsize=12)
ax.set_title('Adam yasası: E(X) = E(E(X|N)) = E(0.3·N) = 0.3·E(N) = 1.5',
             fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

Şekil 27.1

Builder Notu — Bellman’ın Atası

Adam yasası ML’de her yerde: değer iterasyonu / Bellman $V(s) = r + E(V(s'))$, iterated Monte Carlo, hiyerarşik/karışım modellerinde “önce koşulla, sonra ortala”. Bir sonraki ders Eve yasası (varyans için).

27.8 Bu Dersin Özeti

İki zarf: koşulu yalnız bağımsızlıkta düşür.
HT vs HH: $4$ vs $6$ (overlap).
$E(Y|X) = g(X)$ = RV.
Özellikler: doğrusallık, $h(X)$ dışarı, bağımsızlıkta sabit.
Adam yasası: $E(E(Y|X)) = E(Y)$.

Tek bir cümle

$E(Y|X)$ bir rastgele değişkendir (X’in fonksiyonu) = regresyon fonksiyonu (MSE minimizer). Adam yasası $E(E(Y|X)) = E(Y)$ = LOTE’nin kompakt hâli; Bellman’ın atası.

27.9 Kontrol Soruları

Soru 1: X, Y bağımsız, E(Y)=μ. (a) E(3X|X)? (b) E(X+Y|X)? (c) E(X²Y|X)?

Cevap: (a) $3X$. (b) $X + \mu$. (c) $X^2 \mu$.

Soru 2: X, Y iid Pois. E(X-Y|X+Y)?

Cevap: Simetri: $E(X|X+Y) = E(Y|X+Y)$ → fark = $\mathbf{0}$.

Soru 3: N~Pois(λ), X|N~Bin(N,p). E(X)?

Cevap: Adam: $E(X) = E(E(X|N)) = E(Np) = p\lambda$.

Soru 4: (Builder) E(Y|X) neden en iyi tahmin?

Cevap: $E[(Y - g(X))^2]$’yi minimize eden $g(X) = E(Y|X)$. MSE eğitimli regresyon bu fonksiyonu örtük öğrenir.

27.10 Egzersizler

Egzersiz 1. X, Y, Z iid, $\mu$. (a) $E(2X + 3Y | X)$. (b) $E(XY | X)$. (c) $E(X+Y+Z | X+Y)$.

Egzersiz 2. $E(W_{TH})$? $E(W_{HHH})$?

Egzersiz 3. Rassal toplam: $N \sim$ Pois($\lambda$), $X_i$ iid $\mu$. $E(S) = \lambda \mu$.

Egzersiz 4. (Python — Örüntüler + Koşullu)

import numpy as np
rng = np.random.default_rng(0)

# E(W_HT) vs E(W_HH)
def wait(pattern, trials=50_000):
    total = 0
    for _ in range(trials):
        s = ""
        while pattern not in s:
            s += "H" if rng.random() < 0.5 else "T"
        total += len(s)
    return total / trials
print(f"E(W_HT) ≈ {wait('HT'):.2f}  (teori 4)")
print(f"E(W_HH) ≈ {wait('HH'):.2f}  (teori 6)")

# E(X | X+Y) = T/2
X = rng.poisson(3, 500_000); Y = rng.poisson(3, 500_000)
T = X + Y
mask = T == 6
print(f"E(X | X+Y=6) ≈ {X[mask].mean():.3f}  (teori 3)")

Egzersiz 5. (Sonraki ders) Eve yasası: $\text{Var}(Y) = E(\text{Var}(Y|X)) + \text{Var}(E(Y|X))$ — açıklanamayan + açıklanan.

27.11 Sonraki Ders İçin Hazırlık

Ders 27: Bir RD Verildiğinde Koşullu Beklenti — Adam ispatı + Eve yasası.

Ders 27 öncesi yapılacak

Egzersiz 5 (Eve) çöz.
Adam’i ve “E(Y|X) bir RV”yi sağlamlaştır.

27.12 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım	Blitzstein’de
İki zarf	Koşulu yalnız bağımsızlıkta düşür	5m53
HT vs HH	$4$ vs $6$ (overlap)	18m00
E(Y\|X=x)	Koşullu dağılım beklenti = regresyon	30m05
E(Y\|X) = g(X)	RV	34m55
Bilineni dışarı	$E(h(X)Y\\|X) = h(X)E(Y\\|X)$	41m02
Bağımsızlık	$X \perp Y \Rightarrow E(Y\\|X) = E(Y)$	40m38
E(X\|X+Y) = T/2	Simetri	47m54
Adam yasası	$E(E(Y\\|X)) = E(Y)$	49m21

27.13 ML Bağlantıları Özeti

7 köprü

E(Y|X) = regresyon → MSE minimizer.
E(Y|X) bir RV → value, conditional generation.
Koşulu düşürme = bağımsızlık → collider bias.
Bilineni dışarı → durum bilgisi ayrıştırma.
Örüntüler → DNA motifleri, n-gram, KMP.
E(X|X+Y) → yeterli istatistik, Rao-Blackwell.
Adam yasası → Bellman, nested MC.

Tek bir şey alıp gideceksen

$E(Y|X)$ bir RV = regresyon fonksiyonu = MSE minimizer. Adam yasası Bellman’ın atası. Koşulu yalnız bağımsızlıkta düşür (iki zarf!).

--- title: "Koşullu Beklentiye Devam" subtitle: "E(Y|X) bir RV; Adam yasası; iki zarf paradoksu" --- ::: {.callout-note title="Bölüm bilgisi"} - **Blitzstein'in videosu:** [YouTube — Lecture 26: Conditional Expectation Continued](https://www.youtube.com/watch?v=PgawcWisb0I) (≈50 dk) - **Okuma süresi:** ≈36 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} 1. **İki zarf paradoksu** — koşulu düşürme tuzağı. 2. **Yazı-tura:** $E(W_{HT}) = 4 \ne E(W_{HH}) = 6$. 3. **E(Y|X) = g(X)** — bir RV! 4. **Adam yasası:** $E(E(Y|X)) = E(Y)$. ::: {.callout-tip title="Builder Notu — ML Köprüleri"} - **E(Y|X) = regresyon fonksiyonu** = MSE'yi minimize eden tahminci. - **E(Y|X) bir RV** → **RL değer fonksiyonu** $V(s)$, conditional generation. - **Koşulu düşürme = bağımsızlık** → selection/collider bias. - **Yazı-tura örüntüleri** → dizi motifleri (DNA, n-gram), Markov/otomat (KMP). - **Adam yasası** → **Bellman**, nested Monte Carlo. ::: ## İki Zarf Paradoksu {#sec-iki-zarf} İki zarf, biri diğerinin 2 katı. Seç (içinde $X$), diğeri $Y$. "Argüman 2" (hatalı): $$ E(Y) = \tfrac{1}{2} E(2X) + \tfrac{1}{2} E(X/2) = \tfrac{5}{4} E(X) $$ **Çelişki:** simetri $E(Y) = E(X)$ doğru. **Hata:** $Y = 2X$ bilgisini koyduk, sonra koşulu unuttuk. $X$ ile "hangi zarf büyük" göstergesi **bağımlı**. > *"The only time when we can get rid of the stuff we're conditioning on is when we know we have independence."* — Blitzstein, 12:11 ::: {.callout-important title="Builder Notu — Selection / Collider Bias"} "Bilgiyi yerine koy ama koşulu düşür" hatası = ML'de **gizli seçim yanlılığı**, **collider'a koşullama** (Berkson), **sağkalım yanlılığı**. Koşul yalnız **bağımsızlık** varsa düşer. ::: ## Yazı-Tura Örüntüleri {#sec-yazi-tura} **E(W_HT):** İlk H bekle (2) + ilk T bekle (2) = $\mathbf{4}$. **E(W_HH):** HH kendiyle örtüşür — H sonrası T silinir! $$ E(W_{HH}) = 6 $$ > *"since the HHs are more clumped, those clumps must be further apart."* — Blitzstein, 27:12 ::: {.callout-tip title="Builder Notu — String Matching"} **Dizi motifleri** (DNA, n-gram). Örüntü bekleme = **Markov zinciri/otomat** (durum = eşleşen önek). HH overlap = **KMP** önek-fonksiyonu. ::: ## E(Y|X) Bir Rastgele Değişken {#sec-rv-kosullu} $E(Y | X = x) = g(x)$, $x$'in fonksiyonu. **Big X** ile değiştirince: $$ E(Y \mid X) = g(X) \quad \text{(rastgele değişken!)} $$ > *"E of Y given X is a random variable. It's a random variable that's a function of x."* — Blitzstein, 37:15 ::: {.callout-important title="Builder Notu — Regresyon Fonksiyonu"} $E(Y|X)$ = **kare-hata MSE'yi minimize eden tahminci**. MSE eğitimli modeller (linear regression, sinir ağları) örtük olarak bunu öğrenir. **RL değer fonksiyonu** $V(s) = E(\text{getiri} | s)$ da bir RV. ::: ## Koşullu Beklenti Özellikleri {#sec-ozellikler} **Doğrusallık (her zaman):** $$ E(Y_1 + Y_2 | X) = E(Y_1 | X) + E(Y_2 | X) $$ **Bilineni dışarı al:** $$ E(h(X) | X) = h(X), \quad E(h(X) \cdot Y | X) = h(X) \cdot E(Y | X) $$ **Bağımsızlık:** $$ X \perp Y \;\Rightarrow\; E(Y | X) = E(Y) \text{ (sabit)} $$ ## Poisson Örneği {#sec-poisson-ornek} $X, Y \sim$ Pois($\lambda$) bağımsız. $$ E(X + Y | X) = X + \lambda $$ **Ters yön (simetri):** $E(X | X+Y) = E(Y | X+Y)$, toplam $= X+Y$: $$ E(X | X+Y) = \frac{X+Y}{2} $$ ## Adam Yasası (Yineli Beklenti) {#sec-adam} **Koşullu beklentinin en önemli özelliği:** $$ \boxed{E(E(Y | X)) = E(Y)} $$ İki adım: önce $X$ verildiğinde $Y$ ortalaması (X'in fonksiyonu), sonra X üzerinden ortalama → toplam. ```{python} #| label: fig-adam-yasasi #| fig-cap: "Adam yasası: E(E(Y|X)) = E(Y). Önce X'i sabitleyip Y'nin koşullu ortalamasını al (g(X)), sonra X üzerinden tekrar ortala → tüm beklenti çıkar. Bellman denkleminin matematik atası." #| fig-width: 10 #| fig-height: 5 import numpy as np import matplotlib.pyplot as plt rng = np.random.default_rng(0) N = 10000 # Tavuk-yumurta: N ~ Pois(5), X | N ~ Bin(N, 0.3) n_yumurta = rng.poisson(5, N) x_cikan = rng.binomial(n_yumurta, 0.3) # E(X) = E(E(X|N)) = E(0.3*N) = 0.3*5 = 1.5 print(f"E(X) direkt = {x_cikan.mean():.4f}") print(f"E(E(X|N)) = E(0.3·N) = {0.3 * n_yumurta.mean():.4f}") print(f"Teori 0.3·5 = 1.5") fig, ax = plt.subplots(figsize=(10, 5)) ns = np.unique(n_yumurta) ns = ns[ns < 15] e_x_given_n = [x_cikan[n_yumurta == n].mean() for n in ns] teorik = 0.3 * ns ax.plot(ns, teorik, 'o-', color='#A51C30', linewidth=2.5, markersize=10, label='E(X|N) = 0.3·N (teori)') ax.plot(ns, e_x_given_n, 's--', color='#2C5282', linewidth=2, markersize=8, label='Empirik koşullu ortalama') ax.axhline(0.3 * 5, color='#15803d', linestyle=':', linewidth=2, label='E(X) = 1.5') ax.set_xlabel('N (yumurta sayısı)', fontsize=12) ax.set_ylabel('E(X | N)', fontsize=12) ax.set_title('Adam yasası: E(X) = E(E(X|N)) = E(0.3·N) = 0.3·E(N) = 1.5', fontsize=12) ax.legend(fontsize=11) ax.grid(True, alpha=0.3) plt.tight_layout() plt.show() ``` ::: {.callout-important title="Builder Notu — Bellman'ın Atası"} **Adam yasası ML'de her yerde**: **değer iterasyonu / Bellman** $V(s) = r + E(V(s'))$, **iterated Monte Carlo**, hiyerarşik/karışım modellerinde "önce koşulla, sonra ortala". Bir sonraki ders **Eve yasası** (varyans için). ::: ## Bu Dersin Özeti {#sec-ozet} 1. **İki zarf:** koşulu yalnız bağımsızlıkta düşür. 2. **HT vs HH:** $4$ vs $6$ (overlap). 3. **$E(Y|X) = g(X)$** = RV. 4. **Özellikler:** doğrusallık, $h(X)$ dışarı, bağımsızlıkta sabit. 5. **Adam yasası:** $E(E(Y|X)) = E(Y)$. ::: {.callout-important title="Tek bir cümle"} $E(Y|X)$ bir **rastgele değişkendir** (X'in fonksiyonu) = **regresyon fonksiyonu** (MSE minimizer). **Adam yasası** $E(E(Y|X)) = E(Y)$ = LOTE'nin kompakt hâli; **Bellman'ın atası**. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: X, Y bağımsız, E(Y)=μ. (a) E(3X|X)? (b) E(X+Y|X)? (c) E(X²Y|X)?"} **Cevap:** (a) $3X$. (b) $X + \mu$. (c) $X^2 \mu$. ::: ::: {.callout-note collapse="true" title="Soru 2: X, Y iid Pois. E(X-Y|X+Y)?"} **Cevap:** Simetri: $E(X|X+Y) = E(Y|X+Y)$ → fark = $\mathbf{0}$. ::: ::: {.callout-note collapse="true" title="Soru 3: N~Pois(λ), X|N~Bin(N,p). E(X)?"} **Cevap:** Adam: $E(X) = E(E(X|N)) = E(Np) = p\lambda$. ::: ::: {.callout-note collapse="true" title="Soru 4: (Builder) E(Y|X) neden en iyi tahmin?"} **Cevap:** $E[(Y - g(X))^2]$'yi minimize eden $g(X) = E(Y|X)$. **MSE eğitimli regresyon** bu fonksiyonu örtük öğrenir. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** X, Y, Z iid, $\mu$. (a) $E(2X + 3Y | X)$. (b) $E(XY | X)$. (c) $E(X+Y+Z | X+Y)$. **Egzersiz 2.** $E(W_{TH})$? $E(W_{HHH})$? **Egzersiz 3.** Rassal toplam: $N \sim$ Pois($\lambda$), $X_i$ iid $\mu$. $E(S) = \lambda \mu$. **Egzersiz 4.** *(Python — Örüntüler + Koşullu)* ```{python} #| label: ex-kosullu #| code-fold: false import numpy as np rng = np.random.default_rng(0) # E(W_HT) vs E(W_HH) def wait(pattern, trials=50_000): total = 0 for _ in range(trials): s = "" while pattern not in s: s += "H" if rng.random() < 0.5 else "T" total += len(s) return total / trials print(f"E(W_HT) ≈ {wait('HT'):.2f} (teori 4)") print(f"E(W_HH) ≈ {wait('HH'):.2f} (teori 6)") # E(X | X+Y) = T/2 X = rng.poisson(3, 500_000); Y = rng.poisson(3, 500_000) T = X + Y mask = T == 6 print(f"E(X | X+Y=6) ≈ {X[mask].mean():.3f} (teori 3)") ``` **Egzersiz 5.** *(Sonraki ders)* **Eve yasası:** $\text{Var}(Y) = E(\text{Var}(Y|X)) + \text{Var}(E(Y|X))$ — açıklanamayan + açıklanan. ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 27: Bir RD Verildiğinde Koşullu Beklenti** — Adam ispatı + **Eve yasası**. ::: {.callout-warning title="Ders 27 öncesi yapılacak"} - Egzersiz 5 (Eve) çöz. - Adam'i ve "E(Y|X) bir RV"yi sağlamlaştır. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | Blitzstein'de | |--------|-------|---------------| | **İki zarf** | Koşulu yalnız bağımsızlıkta düşür | 5m53 | | **HT vs HH** | $4$ vs $6$ (overlap) | 18m00 | | **E(Y\|X=x)** | Koşullu dağılım beklenti = regresyon | 30m05 | | **E(Y\|X) = g(X)** | RV | 34m55 | | **Bilineni dışarı** | $E(h(X)Y\|X) = h(X)E(Y\|X)$ | 41m02 | | **Bağımsızlık** | $X \perp Y \Rightarrow E(Y\|X) = E(Y)$ | 40m38 | | **E(X\|X+Y) = T/2** | Simetri | 47m54 | | **Adam yasası** | $E(E(Y\|X)) = E(Y)$ | 49m21 | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="7 köprü"} 1. **E(Y|X) = regresyon** → MSE minimizer. 2. **E(Y|X) bir RV** → value, conditional generation. 3. **Koşulu düşürme = bağımsızlık** → collider bias. 4. **Bilineni dışarı** → durum bilgisi ayrıştırma. 5. **Örüntüler** → DNA motifleri, n-gram, KMP. 6. **E(X|X+Y)** → yeterli istatistik, **Rao-Blackwell**. 7. **Adam yasası** → **Bellman**, nested MC. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} **$E(Y|X)$ bir RV = regresyon fonksiyonu = MSE minimizer**. **Adam yasası** Bellman'ın atası. **Koşulu yalnız bağımsızlıkta düşür** (iki zarf!). :::