Bu Derste Ne Var?
- Markov matrisi: girişler ≥ 0, kolonlar 1’e toplanır; her zaman \(\lambda = 1\).
- Steady state = \(\lambda = 1\) özvektörü.
- A ve \(A^T\) aynı özdeğer.
- Fourier serisi: fonksiyonlar sonsuz boyutlu ortonormal sin/cos bazında.
“The steady state will be the eigenvector for that eigenvalue (lambda = 1).” — Strang, 3:55
flowchart LR
MARKOV["Markov<br/>(kolon = 1)"] --> L1["⭐ λ = 1 garantili"]
L1 --> SS["Steady state<br/>= sağ özvektör"]
L1 --> GAP["Spectral gap<br/>= karışma hızı"]
SS --> ML1["PageRank, MCMC,<br/>HMM"]
FOUR["Fourier serisi"] --> ORTH["sin/cos<br/>ortonormal baz"]
ORTH --> COEF["⭐ aₖ = (1/π)∫f·cos kx dx"]
COEF --> ML2["Positional encoding<br/>Fourier features (NeRF)<br/>FFT"]
style L1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
style COEF fill:#fff3e0,stroke:#e67e22,stroke-width:3px
style ML1 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
style ML2 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
- Markov / PageRank / MCMC — kararlı durum = \(\lambda = 1\) özvektörü.
- Spectral gap \(1 - |\lambda_2|\) → MCMC karışma hızı.
- Fourier serisi → transformer positional encoding, NeRF Fourier features, FFT konvolüsyon hızlandırma.
- Ortonormal projeksiyon (\(x_i = \mathbf{q}_i^T \mathbf{v}\)) → PCA, wavelet, embedding ayrışımı.
Markov Matrisi
İki özellik: (1) girişler ≥ 0, (2) her kolon 1’e toplanır.
Aᵏ de Markov; özellikler korunur.
λ = 1 Garantili
\(A\)’nın kolonları 1’e toplanır → \(A - I\)’nın kolonları 0’a toplanır → satırlar bağımlı (örn. \((1, 1, \ldots, 1) \cdot (A - I) = \mathbf{0}\)) → \(A - I\) singular → \(\lambda = 1\) özdeğer.
\((1, 1, \ldots, 1)\) vektörü = \(A^T\)’nin \(\lambda = 1\) sol özvektörü (olasılık korunumu).
Diğer λ ve Steady State
Diğer tüm \(|\lambda| \leq 1\) (1’i aşmaz, olasılık korunur).
\(A^k \mathbf{u}_0 = c_1 \mathbf{x}_1 + c_2 \lambda_2^k \mathbf{x}_2 + \cdots\)
\(\lambda_2^k, \ldots \to 0\); sadece \(\lambda = 1\) modu hayatta kalır:
\[
A^k \mathbf{u}_0 \to c_1 \mathbf{x}_1 = \text{steady state}
\]
(Pozitif özvektör — başlangıç pozitifse kalır.)
A ve Aᵀ Aynı Özdeğer
\(\det(A - \lambda I) = \det((A - \lambda I)^T) = \det(A^T - \lambda I)\).
Özdeğerler aynı, özvektörler farklı (sol/sağ).
Markov Örneği — CA/MA
\[
A = \begin{pmatrix} 0.9 & 0.2 \\ 0.1 & 0.8 \end{pmatrix}
\]
trace = 1.7, det = 0.7 → \(\lambda^2 - 1.7\lambda + 0.7 = 0\) → \(\lambda = 1, 0.7\).
- \(\lambda = 1\): \(\mathbf{x}_1 = (2, 1)\).
- \(\lambda = 0.7\): \(\mathbf{x}_2 = (-1, 1)\).
\(\mathbf{u}_0 = (0, 1000)\) → \(c_1 = 1000/3\), \(c_2 = 2000/3\).
Steady state: \(\frac{1000}{3}(2, 1) = (667, 333)\). Toplama 1000 korunur.
import numpy as np
A = np.array([[0.9, 0.2], [0.1, 0.8]], dtype=float)
vals, vecs = np.linalg.eig(A)
print("özdeğerler:", vals)
# Steady state = λ=1 özvektörü, normalize
idx = np.argmin(np.abs(vals - 1))
ss = np.abs(vecs[:, idx]); ss /= ss.sum()
print("steady state dağılımı:", ss)
# Power iteration
u = np.array([0.0, 1000.0])
for _ in range(100): u = A @ u
print("A^100 u0:", u) # ~ (667, 333)
Builder Notu: Karışma hızı = \(1 - |\lambda_2|\) = spectral gap. CA/MA: 0.3, hızlı. Web grafında power iteration ile PageRank.
Ortonormal Bazda Projeksiyon
\(\mathbf{v} = \sum x_i \mathbf{q}_i\). Her iki yanı \(\mathbf{q}_i\) ile çarp:
\[
\mathbf{q}_i^T \mathbf{v} = x_i \quad (\text{diğerleri } 0)
\]
Her katsayı bağımsız dot product. Matris dilinde \(\mathbf{x} = Q^T \mathbf{v}\).
Fourier Serisi
\[
f(x) = a_0 + a_1 \cos x + b_1 \sin x + a_2 \cos 2x + \cdots
\]
Sonsuz boyutlu fonksiyon uzayı; baz = \(\{1, \cos x, \sin x, \cos 2x, \sin 2x, \ldots\}\).
Periyot \(2\pi\) ile periyodik.
Builder Notu: Sinyal işleme, transformer positional encoding (sin/cos frekansları), NeRF / Fourier features, JPEG (DCT), Gaussian process RKHS.
Fonksiyon İç Çarpımı
\[
\langle f, g \rangle = \int_0^{2\pi} f(x) g(x) \, dx
\]
Toplamın sürekli karşılığı. Bu iç çarpımda \(\sin, \cos\) ortogonal:
\[
\int_0^{2\pi} \sin x \cos x \, dx = 0
\]
Fourier Katsayıları
\(\mathbf{q}_i^T \mathbf{v}\)’nin fonksiyon versiyonu:
\[
\int_0^{2\pi} f(x) \cos(kx) \, dx = a_k \int_0^{2\pi} \cos^2(kx) \, dx = a_k \pi
\]
\[
\boxed{a_k = \frac{1}{\pi} \int_0^{2\pi} f(x) \cos(kx) \, dx}
\]
Euler-Fourier formülü. Ortonormal bazda projeksiyon.
Builder Notu: Ayrık versiyonu FFT — konvolüsyonu frekansta çarpıma çevirir (sinyal işleme, FNet, uzun-konvolüsyon).
Bu Dersin Özeti
- Markov: girişler ≥ 0, kolon = 1.
- \(\lambda = 1\) garantili.
- Diğer \(|\lambda| \leq 1\), steady state.
- A ↔︎ \(A^T\) özdeğer.
- CA/MA örneği, \((667, 333)\).
- Çözüm spektral.
- Ortonormal projeksiyon \(x_i = \mathbf{q}_i^T \mathbf{v}\).
- Fourier serisi.
- Fonksiyon iç çarpımı.
- Fourier katsayıları.
Markov: \(\lambda = 1\) + pozitif özvektör = steady state (PageRank, MCMC). Fourier: ortonormal sin/cos bazında projeksiyon (\(a_k = \frac{1}{\pi} \int f \cos kx \, dx\)) = transformer positional encoding, NeRF, FFT.
Kontrol Soruları
Kolonlar: \(1.0, 1.0\) ✓; girişler ≥ 0 ✓ → Markov. trace 1.5 → \(\lambda = 1, 0.5\).
\(A - I = (-0.2\ 0.3 / 0.2\ -0.3)\). Null: \((3, 2)\). Normalize: \((0.6, 0.4)\).
Zaten baz fonksiyonu! \(b_1 = 1\), \(a_1 = 0\) (sin ⊥ cos). Diğer hepsi 0.
PageRank: web grafı Markov → \(\lambda = 1\) özvektörü = sayfa skorları. Power iteration; spectral gap = yakınsama.
MCMC: hedef dağılıma yakınsayan zincir; karışma hızı = spectral gap.
Transformer positional encoding: sin/cos frekansları → sıra bilgisi.
Fourier features (NeRF): koordinatları sin/cos bazında genişletme → yüksek-frekans detay.
FFT: konvolüsyon → frekansta çarpım (FNet, uzun-konv modeller).
Egzersizler
Egzersiz 1. \(A = (0.5\ 0.4 / 0.5\ 0.6)\) Markov mı? Özdeğer + steady state.
Egzersiz 2. Steady state \((0.6, 0.4)\), \(\lambda_2 = 0.9\) — yakınsama hızı?
Egzersiz 3. \(f = \cos 2x - 3\sin x\) → Fourier katsayıları.
Egzersiz 4. (Python) Markov + power iteration.
Egzersiz 5. İspatla: Markov için \(|\lambda| \leq 1\) tüm \(\lambda\) için. (İpucu: aksi takdirde \(A^k\) patlar, olasılık korunmaz.)
Sonraki Ders İçin Hazırlık
Ders 24b: Quiz 2 İncelemesi — Determinantlar + özdeğerler + uygulamalar tekrarı.
- Egzersiz 5 (\(|\lambda| \leq 1\)).
- Power iteration ile steady state.
Anahtar Kavramlar (Cheat Sheet)
| Markov |
Girişler ≥ 0, kolon = 1 |
1m01 |
| \(\lambda = 1\) |
\(A - I\) kolon = 0 → singular |
9m08 |
| Steady state |
\(\lambda = 1\) özvektör |
7m01 |
| \(|\lambda| \leq 1\) |
Olasılık korunumu |
5m12 |
| A, \(A^T\) özdeğer |
Aynı, özvektör farklı |
16m50 |
| Ortonormal proj |
\(x_i = \mathbf{q}_i^T \mathbf{v}\) |
35m24 |
| Fourier |
\(f = a_0 + \sum (a_k \cos + b_k \sin)\) |
41m08 |
| Fonksiyon iç çarp |
\(\int f g \, dx\) |
44m40 |
| \(a_k = \frac{1}{\pi} \int f \cos kx\) |
Bazda projeksiyon |
48m20 |
ML Bağlantıları Özeti
- Markov → PageRank, MCMC, HMM.
- Steady state → Uzun-vadeli dağılım.
- Spectral gap → Karışma hızı.
- A, \(A^T\) → Sol/sağ özvektör.
- Fourier → Positional encoding, NeRF, JPEG.
- Ortonormal proj → PCA, wavelet.
- FFT → Konvolüsyon hızlandırma (FNet).
Markov \(\lambda = 1\) = steady state (PageRank/MCMC). Fourier \(a_k = \frac{1}{\pi}\int f \cos kx\) = ortonormal bazda projeksiyon (NeRF, positional encoding, FFT).