10  Beklenti, Gösterge Değişkenler ve Doğrusallık

Fundamental bridge: E[1_A]=P(A); doğrusallık bağımlılıkta bile

NotBölüm bilgisi

10.1 Bu Derste Ne Var?

Kursun en çok kullanacağın aracı: beklenen değer ve süper gücü doğrusallık.

  1. Beklenen değer: \(E(X) = \sum_x x \cdot P(X = x)\).
  2. Fundamental bridge: \(E(\mathbb{1}_A) = P(A)\).
  3. Doğrusallık: \(E(X+Y) = E(X) + E(Y)\)bağımlılıkta bile.

“the single most important property of expectation is … linearity.” — Blitzstein, 32:39

İpucuBuilder Notu — ML Köprüleri
  • Beklenen değer = loss’un kendisi. Minimize ettiğin \(E[\text{loss}]\); empirik risk = örneklem ortalaması.
  • Fundamental bridgeMonte Carlo; accuracy \(= E[\mathbb{1}\{\text{doğru}\}]\).
  • Doğrusallık (bağımlıda bile)minibatch gradyanı yansız: \(E[\sum \nabla \ell] = \sum E[\nabla \ell]\).
  • Geometrik dağılım → RL’de iskonto (effective horizon \(1/(1-\gamma)\)), belleksizlik.

10.2 Ortalama → Beklenen Değer

Ağırlıklı ortalamayı RV’ye taşı; ağırlıklar olasılıklar:

\[ E(X) = \sum_x x \cdot P(X = x) \]

Olası her \(x\) değerini, olasılığıyla ağırlıkla. Bernoulli(\(p\)): \(E(X) = 1 \cdot p + 0 \cdot q = p\).

İpucuBuilder Notu — Empirik Risk

Beklenen değer ML’de amaç fonksiyonunun kendisi: minimize ettiğin \(E[\text{loss}]\) (gerçek risk). Pratikte hesaplayamazsın; empirik risk \(= \frac{1}{n} \sum \text{loss}\), ağırlıkların hepsi \(1/n\) olan ağırlıksız ortalama. Tüm denetimli öğrenme “\(E[\text{loss}]\)’u küçült” der.

10.3 Fundamental Bridge

Bir \(A\) olayı için gösterge \(\mathbb{1}_A = 1\) (A gerçekleşirse), \(0\) (aksi). Bu Bernoulli(\(P(A)\)):

\[ E(\mathbb{1}_A) = P(A) \]

Blitzstein buna fundamental bridge diyor — herhangi bir \(P(A)\)’yı bir göstergenin beklentisi olarak yazabilirsin.

“I call this thing the fundamental bridge … between expected values and probabilities.” — Blitzstein, 26:34

İpucuBuilder Notu — Monte Carlo’nun Kalbi

Fundamental bridge, Monte Carlo kestiriminin kalbi: \(P(A)\)’yı göstergenin örneklem ortalamasıyla kestir — “kaç kez oldu / kaç deneme”. ML’de accuracy \(= E[\mathbb{1}\{\text{doğru}\}] = P(\text{doğru})\); tıklama oranı, hit rate — hepsi göstergelerin ortalaması.

10.4 Doğrusallık

Beklentinin tek en önemli özelliği:

\[ E(X + Y) = E(X) + E(Y), \qquad E(cX) = c\,E(X) \]

Bağımlılık olsa bile doğrudur.

“the expected value of x plus y … is always true even if x and y are dependent.” — Blitzstein, 33:07

Binom beklentisi (kazanç):

\[ X = X_1 + \cdots + X_n, \quad X_i \sim \text{Bern}(p) \;\Rightarrow\; E(X) = \underbrace{p + \cdots + p}_n = np \]

import random
import numpy as np
import matplotlib.pyplot as plt

random.seed(7)

def hesapla(senaryo, N=200_000):
    sx = sy = sxy = 0
    for _ in range(N):
        x = random.randint(1, 6)
        if senaryo == 'bagimsiz':
            y = random.randint(1, 6)
        else:  # tam bağımlı
            y = x
        sx += x; sy += y; sxy += x + y
    return sx/N, sy/N, sxy/N

bgz = hesapla('bagimsiz')
bgl = hesapla('bagimli')

fig, axes = plt.subplots(1, 2, figsize=(11, 4.5))
for ax, (ex, ey, exy), baslik in zip(axes, [bgz, bgl],
                                     ['Bağımsız X, Y', 'Y = X (tam bağımlı)']):
    ax.bar(['E(X)', 'E(Y)', 'E(X)+E(Y)', 'E(X+Y)'],
           [ex, ey, ex + ey, exy],
           color=['#A51C30', '#DD6B20', '#2C5282', '#15803d'], edgecolor='#1f2937')
    for i, v in enumerate([ex, ey, ex + ey, exy]):
        ax.text(i, v + 0.1, f'{v:.2f}', ha='center', fontsize=11, weight='bold')
    ax.set_title(f'{baslik}\nE(X+Y) = {exy:.2f} = E(X)+E(Y) = {ex+ey:.2f}', fontsize=11)
    ax.set_ylim(0, 8)
    ax.grid(True, axis='y', alpha=0.3)

plt.tight_layout()
plt.show()
Şekil 10.1
ÖnemliBuilder Notu — Yansız Minibatch Gradyanı

“Bağımlılıkta bile doğrusallık”, minibatch gradyanının yansız olmasının nedeni: \(E[\sum \nabla \ell] = \sum E[\nabla \ell]\), örnekler korelasyonlu olsa bile. RL’de toplam ödülün beklentisi = adım ödüllerinin beklentilerinin toplamı. “Beklentiyi parçala, ayrı ayrı hesapla, topla” refleksi sayısız türetmeyi tek satıra indirir.

10.5 Indicator + Linearity: Hipergeometrik Beklentisi

52 karttan 5 kart, \(X\) = as sayısı. PMF ile uğraşmak yerine göstergelere ayır:

\(X_j\) = \(j\). kart as göstergesi. \(X = X_1 + \ldots + X_5\). Zincir:

\[ E(X) = \sum_{j=1}^{5} E(X_j) \;\overset{\text{simetri}}{=}\; 5\,E(X_1) \;\overset{\text{bridge}}{=}\; 5 \cdot P(\text{1. kart as}) = 5 \cdot \frac{4}{52} = \frac{5}{13} \]

Üç adım: doğrusallık + simetri + fundamental bridge. \(X_j\)’ler bağımsız değil — ama doğrusallık umursamıyor.

Genel hipergeometrik: \(E(X) = n \cdot w/(w+b)\). Tıpkı binom (\(np\)) gibi görünür.

İpucuBuilder Notu — Beklenen Sayım Tekniği

“Karmaşık sayımı göstergelere ayır, doğrusallıkla topla” ML’de beklenen sayıların standart hesabı: hash collision sayısı, beklenen doğru tahmin, beklenen kapsama. Bağımsızlık gerektirmeden tek satırda. Kursun en pratik tekniklerinden biri.

10.6 Geometrik Dağılım

Geometrik(\(p\)): bağımsız Bernoulli(\(p\)) denemelerinde ilk başarıdan önceki başarısızlık sayısı.

\[ P(X = k) = q^k p, \qquad k = 0, 1, 2, \ldots \]

“the number of failures before the first success.” — Blitzstein, 41:53

Beklenti (story proof, first-step):

\(C = E(X)\). İlk deneme başarı (\(p\)) → \(X = 0\); başarısızlık (\(q\)) → \(1 + C\) (belleksiz):

\[ C = p \cdot 0 + q(1 + C) \;\Rightarrow\; C = \frac{q}{p} \]

import numpy as np
import matplotlib.pyplot as plt

ks = np.arange(0, 30)
ps = [0.1, 0.3, 0.5, 0.8]

fig, ax = plt.subplots(figsize=(10, 5))
renkler = ['#A51C30', '#DD6B20', '#1f2937', '#2C5282']
for p, c in zip(ps, renkler):
    q = 1 - p
    pmf = q**ks * p
    bekl = q / p
    ax.plot(ks, pmf, 'o-', linewidth=2, markersize=6, color=c,
            label=f'p={p}, E(X)=q/p={bekl:.1f}')

ax.set_xlabel('k (başarıdan önceki başarısızlık sayısı)', fontsize=12)
ax.set_ylabel('P(X = k)', fontsize=12)
ax.set_title('Geometrik(p) PMF — beklenti q/p, belleksiz', fontsize=12)
ax.legend(loc='upper right', fontsize=11)
ax.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()
Şekil 10.2
ÖnemliBuilder Notu — RL İskonto ve Belleksizlik

Geometriğin belleksizliği sürekli karşılığı üstel dağılımın (Ders 16) imzası ve kuyruk teorisinin temeli. RL’de geometrik iskonto: her adımda \(\gamma\) olasılıkla devam → bölüm uzunluğu Geometrik(\(1-\gamma\)); “effective horizon \(\approx 1/(1-\gamma)\)” tam da \(q/p\) sezgisi.

10.7 Bu Dersin Özeti

  1. Beklenen değer \(E(X) = \sum x \cdot P(X = x)\): olasılıkla ağırlıklı ortalama.
  2. Fundamental bridge: \(E(\mathbb{1}_A) = P(A)\).
  3. Doğrusallık: \(E(X+Y) = E(X) + E(Y)\), bağımlıda bile.
  4. Indicator + doğrusallık + simetri + bridge: binom (\(np\)), hipergeometrik (\(n \cdot w/(w+b)\)) tek satırda.
  5. Geometrik(\(p\)): \(P(X=k) = q^k p\), \(E(X) = q/p\), belleksiz.
ÖnemliTek bir cümle

Beklentinin gerçek gücü doğrusallıktır — bağımlılık olsa bile \(E(X+Y) = E(X) + E(Y)\). Karmaşık beklentiyi göstergelere ayır, doğrusallıkla topla, fundamental bridge (\(E[\mathbb{1}_A] = P(A)\)) ile olasılığa bağla.

10.8 Kontrol Soruları

Cevap: \(E(X) = (1+2+\ldots+6)/6 = 21/6 = \mathbf{3{,}5}\). Beklenen değer mümkün bir değer olmak zorunda değil.

Cevap: \(X = X_1 + \ldots + X_{10}\), \(X_j\) = \(j\). kişi kendi şapkasını aldı göstergesi. \(E(X_j) = 1/10\). Doğrusallık: \(E(X) = 10 \cdot 1/10 = \mathbf{1}\). \(X_j\)’ler bağımsız değil, fark etmez. \(n\)’den bağımsız hep \(1\) (Ders 3 matching).

Cevap: Her tahmin \(\mathbb{1}\{\text{doğru}\} \sim \text{Bern}(P(\text{doğru}))\). Accuracy = \((1/100) \sum \mathbb{1}\{\text{doğru}\}\) — göstergelerin ortalaması, Monte Carlo kestirimi \(P(\text{doğru})\).

Cevap: \(\text{Geometrik}(p = 1-\gamma = 0{,}01)\). \(E = q/p = 0{,}99/0{,}01 = \mathbf{99}\) (effective horizon \(\approx 1/(1-\gamma) = 100\)).

10.9 Egzersizler

Egzersiz 1. Üç top 1, 2, 6 (eşit olası). (a) \(E(X)\)? (b) \(E(X^2)\)? (c) \(E(X^2) \ne (E(X))^2\) olduğunu göster.

Egzersiz 2. 5 adil zar. Gelen 6’ların beklenen sayısını gösterge + doğrusallıkla bul (tek satır).

Egzersiz 3. Bağımsız denemelerde \(p = 0{,}1\). İlk kazanca kadar beklenen kayıp?

Egzersiz 4. (Python — bağımlılıkta doğrusallık)

import random
random.seed(0)

N = 1_000_000
sxy = sx = sy = 0
for _ in range(N):
    x = random.randint(1, 6)
    y = x   # tam bağımlı
    sxy += x + y; sx += x; sy += y

print(f"E(X+Y) ≈ {sxy/N:.4f}")
print(f"E(X) + E(Y) ≈ {sx/N + sy/N:.4f}   (eşit olmalı — bağımlıda bile)")

Egzersiz 5. (Sonraki ders) \(E(X^2) \ne (E(X))^2\) — adil zar için göster. Ders 10’da bunun varyansa götürdüğünü göreceğiz.

10.10 Sonraki Ders İçin Hazırlık

Ders 10: Beklentiye Devam

LOTUS (law of the unconscious statistician): \(E[g(X)] = \sum g(x) P(X = x)\). Doğrusallık ispatı, daha fazla örnek, varyansa giden yol.

UyarıDers 10 öncesi yapılacak
  • Egzersizleri çöz — özellikle 4 (bağımlılıkta doğrusallık).
  • “Gösterge + doğrusallık” ve “fundamental bridge” reflekslerini pekiştir.
  • Ana cümleyi tekrar oku: “Beklenti olasılıkla ağırlıklı ortalamadır…”

10.11 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Blitzstein’de
Beklenen değer \(E(X) = \sum x \cdot P(X=x)\) 22m10
Fundamental bridge \(E(\mathbb{1}_A) = P(A)\) 26m34
Doğrusallık \(E(X+Y) = E(X)+E(Y)\), bağımlıda bile 32m39
Sabit dışarı \(E(cX) = c \cdot E(X)\) 33m42
Binom beklentisi \(E = np\) 34m18
Hiper beklentisi \(E = n \cdot w/(w+b)\) 35m47
Indicator tekniği Sayım → göstergeler toplamı 38m02
Geometrik(\(p\)) \(q^k p\); ilk başarı öncesi başarısızlık 41m17
Geometrik E \(q/p\) 48m02

10.12 ML Bağlantıları Özeti

İpucu7 köprü
  1. Beklenen değer → loss/risk; empirik risk = örneklem ortalaması.
  2. Fundamental bridgeMonte Carlo; accuracy/hit rate.
  3. Doğrusallık (bağımlıda bile)yansız minibatch gradyanı; beklenen toplam ödül.
  4. Indicator + doğrusallık → beklenen sayım, bağımsızlık gerekmez.
  5. Geometrik / belleksizlik → üstel (Ders 16), RL iskonto, retry.
  6. CDF özellikleri → normalizing flow, ampirik CDF.
  7. RV bağımsızlığı → faktörize birleşik dağılım; naive Bayes, mean-field.
ÖnemliTek bir şey alıp gideceksen

Beklentinin gerçek gücü doğrusallıktır — bağımlılık olsa bile. Karmaşık beklentiyi göstergelere ayır, doğrusallıkla topla, fundamental bridge ile olasılığa bağla — çoğu hesap tek satıra iner.