31 Ki-Kare, Student-t ve Çok Değişkenli Normal

Normalin türevleri: χ², t, MVN

Bölüm bilgisi

Blitzstein’in videosu: YouTube — Lecture 30 (≈47 dk)
Okuma süresi: ≈23 dk

31.1 Bu Derste Ne Var?

Ki-Kare ($\chi^2$): $\sum Z_j^2$ = Gamma($n/2, 1/2$).
Student-t: $Z/\sqrt{V/n}$; $t_1$ = Cauchy.
MVN: her doğrusal kombinasyon normal.
MVN’de korelasyonsuz ⟹ bağımsız (yalnız orada!).

Builder Notu — ML Köprüleri

$\chi^2$ → Mahalanobis uzaklığı, L2 düzenlileştirme, aykırı değer tespiti.
t → t-SNE (ağır kuyruk crowding’i çözer); robust regresyon.
MVN → Gaussian Process (GP), VAE latent, Kalman filter, GMM.
Korelasyonsuz ⟹ bağımsız (MVN) → PCA = ICA Gaussian’da.
Marjinal vs ortak normallik → copula.

31.2 Ki-Kare ($\chi^2$)

$Z_1, \ldots, Z_n$ iid $N(0,1)$:

\[ V = \sum_{j=1}^n Z_j^2 \sim \chi^2_n \]

Gamma bağlantısı: $\chi^2_1 = Z^2 \sim$ Gamma($1/2, 1/2$). Toplam:

\[ \chi^2_n = \text{Gamma}\!\left(\frac{n}{2}, \frac{1}{2}\right) \]

$E(\chi^2_n) = n$, Var $= 2n$.

Builder Notu — Mahalanobis

Karelerin toplamı = $\chi^2$ ML’de her yerde: MSE, L2 düzenlileştirme, Gaussian’ın negatif log-likelihood’u. Mahalanobis uzaklığı $\|x - \mu\|_\Sigma^2 \sim \chi^2$ → aykırı değer skoru.

31.3 Student-t

$Z \sim N(0,1)$, $V \sim \chi^2_n$, $Z \perp V$:

\[ T = \frac{Z}{\sqrt{V/n}} \sim t_n \]

Tarih: William Gosset (Guinness) takma ad “Student”.

Özellikler:

Simetri: $-T \sim t_n$.
$t_1$ = Cauchy (ortalama yok).
$t_n$ ortalaması $0$ ($n \ge 2$); $t_n$’in $n$. ve üstü momenti yok.
Ağır kuyruk: Cauchy $\propto 1/x^2$, normal $e^{-x^2/2}$.

$n \to \infty$ → Normal: BSY → $V_n/n \to E(Z^2) = 1$, payda 1’e → $T \to Z$.

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import t as t_dist, norm

x = np.linspace(-5, 5, 300)

fig, ax = plt.subplots(figsize=(10, 5))
ax.plot(x, norm.pdf(x), color='#1f2937', linewidth=2.8, label='N(0,1)')
for n, c in zip([1, 3, 10, 30], ['#A51C30', '#DD6B20', '#2C5282', '#6B46C1']):
    ax.plot(x, t_dist.pdf(x, df=n), color=c, linewidth=2,
            label=f't_{n} (df={n})')

ax.set_xlabel('x', fontsize=12)
ax.set_ylabel('f(x)', fontsize=12)
ax.set_title('Student-t: küçük n ağır kuyruk; n büyüdükçe Normal\'e gider', fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)
ax.set_xlim(-5, 5)
plt.tight_layout()
plt.show()

Şekil 31.1

Builder Notu — t-SNE ve Robust

t-SNE: düşük-boyutlu gömmede Student-t çekirdeği kullanır; ağır kuyruk crowding problem’i çözer, kümeler ayrışır. Robust regresyon: Gaussian gürültü yerine t-gürültü → aykırı değerler “şok” yerine “olası” görülür.

31.4 Çok Değişkenli Normal (MVN)

Tanım: $\mathbf{X} = (X_1, \ldots, X_k)$ MVN ⟺ her $\sum t_j X_j$ normaldir.

Karşı-örnek: $Z \sim N(0,1)$, $S \in \{\pm 1\}$ ($Z$’den bağımsız). $(Z, SZ)$:

Marjinaller her ikisi N(0,1).
Ama $Z + SZ$: yarı zaman $0$ (kesikli) + yarı sürekli → MVN değil!

MGF:

\[ M(\mathbf{t}) = \exp\!\left(\sum t_j \mu_j + \frac{1}{2}\text{Var}\!\left(\sum t_j X_j\right)\right) \]

MVN tamamen ortalama vektör + kovaryans matrisi ile belirlenir.

31.5 MVN: Korelasyonsuz ⟹ Bağımsız

Genelde: bağımsız ⟹ korelasyonsuz, tersi yanlış.

MVN içinde: tersi de doğru!

Örnek: $X, Y \sim N(0, 1)$ iid. $(X+Y, X-Y)$ MVN.

\[ \text{Cov}(X+Y, X-Y) = \text{Var}(X) - \text{Var}(Y) = 0 \]

→ $X+Y \perp X-Y$. (Bu sadece Gauss’a özgü.)

Builder Notu — PCA = ICA Gaussian’da

Korelasyonsuz ⟹ bağımsız (MVN) Gauss varsayımlı modellerin işlenebilirliğinin özüdür. PCA: kovaryansı köşegenleştir → Gaussian’da bağımsız bileşenler. Gaussian Process koşullama, Kalman güncelleme, VAE köşegen latent — kapalı form bu sayede.

31.6 Bu Dersin Özeti

$\chi^2_n = \sum Z_j^2$ = Gamma($n/2, 1/2$).
$t_n = Z/\sqrt{V/n}$; $t_1$ = Cauchy.
t → Normal (BSY).
MVN: her kombinasyon normal.
Korelasyonsuz ⟹ bağımsız (MVN’de).

Tek bir cümle

Ki-kare karelerle, t oranlarla, MVN vektörlerle normali genişletir. Yalnız MVN’de “korelasyonsuz = bağımsız” — Gauss’un derin armağanı; GP, VAE, Kalman, PCA’nın işlenebilirliğinin kaynağı.

31.7 Kontrol Soruları

Soru 1: χ²_n neden yeni değil?

Cevap: Gamma($n/2, 1/2$). Tüm Gamma araçları geçerli.

Soru 2: t_1 neden Cauchy?

Cevap: $T = Z/|Z_1|$ = iki Normal oranı = Cauchy. Ortalama yok.

Soru 3: t_n → Normal nasıl?

Cevap: BSY: $V_n/n \to 1$, payda sabitleşir → $T \to Z$.

Soru 4: (Z, SZ) MVN mi? Korelasyon?

Cevap: MVN değil ($Z+SZ$ kesikli-sürekli karışım). Korelasyonsuz ($\text{Cov} = 0$) ama bağımlı (S, Z’nin işaretini belirler).

31.8 Egzersizler

Egzersiz 1. $E(\chi^2_n), \text{Var}(\chi^2_n)$. Hem Gamma hem $\sum Z_j^2$ ile.

Egzersiz 2. $t_2$ momentleri var mı? Hangi mertebeye kadar?

Egzersiz 3. MVN testi: (a) $(Z+W, Z-W)$, (b) $(Z, Z^2)$, (c) $(2Z+3W, Z-W, 5W)$.

Egzersiz 4. $X, Y$ iid $N(0, \sigma^2)$. $X+Y \perp X-Y$? $\sigma_X \ne \sigma_Y$ olsa?

Egzersiz 5. (Python — t kuyruğu + MVN)

import numpy as np
from scipy import stats

print("P(T > 3):")
for n in [1, 2, 5, 10, 30, 100]:
    print(f"  t_{n:3d}: {stats.t.sf(3, df=n):.4f}")
print(f"  N(0,1): {stats.norm.sf(3):.4f}")

# MVN: X+Y ⊥ X-Y
rng = np.random.default_rng(0)
N = 1_000_000
X, Y = rng.standard_normal(N), rng.standard_normal(N)
print(f"\ncorr(X+Y, X-Y) = {np.corrcoef(X+Y, X-Y)[0,1]:.4f} (≈ 0 → MVN'de bağımsız)")

31.9 Sonraki Ders İçin Hazırlık

Ders 31: Markov Zincirleri — zaman içinde bağımlılığın temel modeli.

Ders 31 öncesi yapılacak

Egzersizleri çöz.
MVN korelasyonsuz⟹bağımsız’ı içselleştir.

31.10 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım	Not
$\chi^2_n$	$\sum Z_j^2$	Gamma($n/2, 1/2$)
$t_n$	$Z/\sqrt{V/n}$	$t_1$ = Cauchy
$t$ moment	$n$. ve üstü yok	Simetri 0
$t$ kuyruk	Cauchy $\propto 1/x^2$	Normal’den kalın
$t \to N$	BSY ile	$n$ büyük
MVN	Her $\sum t_j X_j$ normal	Bileşen-normal yetmez
MVN MGF	$\mu$ + $\Sigma$	Belirler
Korelasyonsuz ⟹ bağımsız	Yalnız MVN	Gauss armağanı

31.11 ML Bağlantıları Özeti

6 köprü

$\chi^2$ → Mahalanobis, aykırı değer, L2.
t-SNE → ağır kuyruk crowding.
Robust regresyon → t-gürültü.
MVN → GP, VAE, Kalman, GMM.
Korelasyonsuz⟹bağımsız → PCA = ICA Gaussian’da.
Marjinal ≠ ortak → copula.

Tek bir şey alıp gideceksen

Ki-kare karelerle, t oranlarla, MVN vektörlerle normal genişler. Yalnız MVN’de korelasyonsuz = bağımsız — Gauss’un işlenebilirliğinin sırrı.

--- title: "Ki-Kare, Student-t ve Çok Değişkenli Normal" subtitle: "Normalin türevleri: χ², t, MVN" --- ::: {.callout-note title="Bölüm bilgisi"} - **Blitzstein'in videosu:** [YouTube — Lecture 30](https://www.youtube.com/watch?v=MF-XSJOsGqw) (≈47 dk) - **Okuma süresi:** ≈23 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} 1. **Ki-Kare ($\chi^2$):** $\sum Z_j^2$ = Gamma($n/2, 1/2$). 2. **Student-t:** $Z/\sqrt{V/n}$; $t_1$ = Cauchy. 3. **MVN:** her doğrusal kombinasyon normal. 4. **MVN'de korelasyonsuz ⟹ bağımsız** (yalnız orada!). ::: {.callout-tip title="Builder Notu — ML Köprüleri"} - **$\chi^2$** → **Mahalanobis uzaklığı**, **L2 düzenlileştirme**, aykırı değer tespiti. - **t** → **t-SNE** (ağır kuyruk crowding'i çözer); **robust regresyon**. - **MVN** → **Gaussian Process (GP)**, **VAE latent**, **Kalman filter**, **GMM**. - **Korelasyonsuz ⟹ bağımsız (MVN)** → **PCA = ICA** Gaussian'da. - **Marjinal vs ortak normallik** → **copula**. ::: ## Ki-Kare ($\chi^2$) {#sec-chi-square} $Z_1, \ldots, Z_n$ iid $N(0,1)$: $$ V = \sum_{j=1}^n Z_j^2 \sim \chi^2_n $$ **Gamma bağlantısı:** $\chi^2_1 = Z^2 \sim$ Gamma($1/2, 1/2$). Toplam: $$ \chi^2_n = \text{Gamma}\!\left(\frac{n}{2}, \frac{1}{2}\right) $$ $E(\chi^2_n) = n$, Var $= 2n$. ::: {.callout-important title="Builder Notu — Mahalanobis"} **Karelerin toplamı = $\chi^2$** ML'de her yerde: **MSE**, **L2 düzenlileştirme**, Gaussian'ın **negatif log-likelihood**'u. **Mahalanobis uzaklığı** $\|x - \mu\|_\Sigma^2 \sim \chi^2$ → aykırı değer skoru. ::: ## Student-t {#sec-t} $Z \sim N(0,1)$, $V \sim \chi^2_n$, $Z \perp V$: $$ T = \frac{Z}{\sqrt{V/n}} \sim t_n $$ **Tarih:** William Gosset (Guinness) takma ad "Student". **Özellikler:** - Simetri: $-T \sim t_n$. - $t_1$ = **Cauchy** (ortalama yok). - $t_n$ ortalaması $0$ ($n \ge 2$); $t_n$'in $n$. ve üstü momenti yok. - **Ağır kuyruk:** Cauchy $\propto 1/x^2$, normal $e^{-x^2/2}$. **$n \to \infty$ → Normal:** BSY → $V_n/n \to E(Z^2) = 1$, payda 1'e → $T \to Z$. ```{python} #| label: fig-t-kuyruk #| fig-cap: "Student-t kuyruğu: t_1 (Cauchy) en kalın, t_30 neredeyse Normal. Küçük n'de ağır kuyruk → outlier'lara dayanıklılık (t-SNE crowding, robust regresyon). BSY ile t → Normal." #| fig-width: 10 #| fig-height: 5 import numpy as np import matplotlib.pyplot as plt from scipy.stats import t as t_dist, norm x = np.linspace(-5, 5, 300) fig, ax = plt.subplots(figsize=(10, 5)) ax.plot(x, norm.pdf(x), color='#1f2937', linewidth=2.8, label='N(0,1)') for n, c in zip([1, 3, 10, 30], ['#A51C30', '#DD6B20', '#2C5282', '#6B46C1']): ax.plot(x, t_dist.pdf(x, df=n), color=c, linewidth=2, label=f't_{n} (df={n})') ax.set_xlabel('x', fontsize=12) ax.set_ylabel('f(x)', fontsize=12) ax.set_title('Student-t: küçük n ağır kuyruk; n büyüdükçe Normal\'e gider', fontsize=12) ax.legend(fontsize=11) ax.grid(True, alpha=0.3) ax.set_xlim(-5, 5) plt.tight_layout() plt.show() ``` ::: {.callout-important title="Builder Notu — t-SNE ve Robust"} **t-SNE:** düşük-boyutlu gömmede **Student-t çekirdeği** kullanır; ağır kuyruk **crowding problem**'i çözer, kümeler ayrışır. **Robust regresyon:** Gaussian gürültü yerine t-gürültü → aykırı değerler "şok" yerine "olası" görülür. ::: ## Çok Değişkenli Normal (MVN) {#sec-mvn} **Tanım:** $\mathbf{X} = (X_1, \ldots, X_k)$ MVN ⟺ **her** $\sum t_j X_j$ normaldir. **Karşı-örnek:** $Z \sim N(0,1)$, $S \in \{\pm 1\}$ ($Z$'den bağımsız). $(Z, SZ)$: - Marjinaller her ikisi N(0,1). - Ama $Z + SZ$: yarı zaman $0$ (kesikli) + yarı sürekli → **MVN değil!** **MGF:** $$ M(\mathbf{t}) = \exp\!\left(\sum t_j \mu_j + \frac{1}{2}\text{Var}\!\left(\sum t_j X_j\right)\right) $$ MVN tamamen **ortalama vektör + kovaryans matrisi** ile belirlenir. ## MVN: Korelasyonsuz ⟹ Bağımsız {#sec-mvn-bagimsiz} **Genelde:** bağımsız ⟹ korelasyonsuz, **tersi yanlış**. **MVN içinde:** **tersi de doğru!** **Örnek:** $X, Y \sim N(0, 1)$ iid. $(X+Y, X-Y)$ MVN. $$ \text{Cov}(X+Y, X-Y) = \text{Var}(X) - \text{Var}(Y) = 0 $$ → **$X+Y \perp X-Y$**. (Bu sadece Gauss'a özgü.) ::: {.callout-important title="Builder Notu — PCA = ICA Gaussian'da"} **Korelasyonsuz ⟹ bağımsız (MVN)** Gauss varsayımlı modellerin işlenebilirliğinin **özüdür**. **PCA**: kovaryansı köşegenleştir → Gaussian'da **bağımsız** bileşenler. **Gaussian Process** koşullama, **Kalman** güncelleme, **VAE** köşegen latent — kapalı form bu sayede. ::: ## Bu Dersin Özeti {#sec-ozet} 1. **$\chi^2_n = \sum Z_j^2$ = Gamma($n/2, 1/2$)**. 2. **$t_n = Z/\sqrt{V/n}$**; $t_1$ = Cauchy. 3. **t → Normal** (BSY). 4. **MVN:** her kombinasyon normal. 5. **Korelasyonsuz ⟹ bağımsız** (MVN'de). ::: {.callout-important title="Tek bir cümle"} **Ki-kare** karelerle, **t** oranlarla, **MVN** vektörlerle normali genişletir. Yalnız MVN'de **"korelasyonsuz = bağımsız"** — Gauss'un derin armağanı; **GP, VAE, Kalman, PCA**'nın işlenebilirliğinin kaynağı. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: χ²_n neden yeni değil?"} **Cevap:** Gamma($n/2, 1/2$). Tüm Gamma araçları geçerli. ::: ::: {.callout-note collapse="true" title="Soru 2: t_1 neden Cauchy?"} **Cevap:** $T = Z/|Z_1|$ = iki Normal oranı = Cauchy. Ortalama yok. ::: ::: {.callout-note collapse="true" title="Soru 3: t_n → Normal nasıl?"} **Cevap:** BSY: $V_n/n \to 1$, payda sabitleşir → $T \to Z$. ::: ::: {.callout-note collapse="true" title="Soru 4: (Z, SZ) MVN mi? Korelasyon?"} **Cevap:** MVN **değil** ($Z+SZ$ kesikli-sürekli karışım). **Korelasyonsuz** ($\text{Cov} = 0$) ama **bağımlı** (S, Z'nin işaretini belirler). ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $E(\chi^2_n), \text{Var}(\chi^2_n)$. Hem Gamma hem $\sum Z_j^2$ ile. **Egzersiz 2.** $t_2$ momentleri var mı? Hangi mertebeye kadar? **Egzersiz 3.** MVN testi: (a) $(Z+W, Z-W)$, (b) $(Z, Z^2)$, (c) $(2Z+3W, Z-W, 5W)$. **Egzersiz 4.** $X, Y$ iid $N(0, \sigma^2)$. $X+Y \perp X-Y$? $\sigma_X \ne \sigma_Y$ olsa? **Egzersiz 5.** *(Python — t kuyruğu + MVN)* ```{python} #| label: ex-t-mvn #| code-fold: false import numpy as np from scipy import stats print("P(T > 3):") for n in [1, 2, 5, 10, 30, 100]: print(f" t_{n:3d}: {stats.t.sf(3, df=n):.4f}") print(f" N(0,1): {stats.norm.sf(3):.4f}") # MVN: X+Y ⊥ X-Y rng = np.random.default_rng(0) N = 1_000_000 X, Y = rng.standard_normal(N), rng.standard_normal(N) print(f"\ncorr(X+Y, X-Y) = {np.corrcoef(X+Y, X-Y)[0,1]:.4f} (≈ 0 → MVN'de bağımsız)") ``` ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 31: Markov Zincirleri** — zaman içinde bağımlılığın temel modeli. ::: {.callout-warning title="Ders 31 öncesi yapılacak"} - Egzersizleri çöz. - **MVN korelasyonsuz⟹bağımsız**'ı içselleştir. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | Not | |--------|-------|------| | **$\chi^2_n$** | $\sum Z_j^2$ | Gamma($n/2, 1/2$) | | **$t_n$** | $Z/\sqrt{V/n}$ | $t_1$ = Cauchy | | **$t$ moment** | $n$. ve üstü yok | Simetri 0 | | **$t$ kuyruk** | Cauchy $\propto 1/x^2$ | Normal'den kalın | | **$t \to N$** | BSY ile | $n$ büyük | | **MVN** | Her $\sum t_j X_j$ normal | Bileşen-normal yetmez | | **MVN MGF** | $\mu$ + $\Sigma$ | Belirler | | **Korelasyonsuz ⟹ bağımsız** | Yalnız MVN | Gauss armağanı | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="6 köprü"} 1. **$\chi^2$** → **Mahalanobis**, aykırı değer, L2. 2. **t-SNE** → ağır kuyruk crowding. 3. **Robust regresyon** → t-gürültü. 4. **MVN** → **GP, VAE, Kalman, GMM**. 5. **Korelasyonsuz⟹bağımsız** → **PCA = ICA Gaussian'da**. 6. **Marjinal ≠ ortak** → **copula**. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} **Ki-kare** karelerle, **t** oranlarla, **MVN** vektörlerle normal genişler. Yalnız MVN'de **korelasyonsuz = bağımsız** — Gauss'un işlenebilirliğinin sırrı. :::

Kavram	Tanım	Not
\(\chi^2_n\)	\(\sum Z_j^2\)	Gamma(\(n/2, 1/2\))
\(t_n\)	\(Z/\sqrt{V/n}\)	\(t_1\) = Cauchy
\(t\) moment	\(n\). ve üstü yok	Simetri 0
\(t\) kuyruk	Cauchy \(\propto 1/x^2\)	Normal’den kalın
\(t \to N\)	BSY ile	\(n\) büyük
MVN	Her \(\sum t_j X_j\) normal	Bileşen-normal yetmez
MVN MGF	\(\mu\) + \(\Sigma\)	Belirler
Korelasyonsuz ⟹ bağımsız	Yalnız MVN	Gauss armağanı

31.1 Bu Derste Ne Var?

31.2 Ki-Kare (\(\chi^2\))

31.3 Student-t

31.4 Çok Değişkenli Normal (MVN)

31.5 MVN: Korelasyonsuz ⟹ Bağımsız

31.6 Bu Dersin Özeti

31.7 Kontrol Soruları

31.8 Egzersizler

31.9 Sonraki Ders İçin Hazırlık

31.10 Anahtar Kavramlar (Cheat Sheet)

31.11 ML Bağlantıları Özeti