25  Markov Matrisleri ve Fourier Serisi

λ = 1 kararlı durum + ortonormal fonksiyon bazı

NotBölüm bilgisi

25.1 Bu Derste Ne Var?

  1. Markov matrisi: girişler ≥ 0, kolonlar 1’e toplanır; her zaman \(\lambda = 1\).
  2. Steady state = \(\lambda = 1\) özvektörü.
  3. A ve \(A^T\) aynı özdeğer.
  4. Fourier serisi: fonksiyonlar sonsuz boyutlu ortonormal sin/cos bazında.

“The steady state will be the eigenvector for that eigenvalue (lambda = 1).” — Strang, 3:55

flowchart LR
    MARKOV["Markov<br/>(kolon = 1)"] --> L1["⭐ λ = 1 garantili"]
    L1 --> SS["Steady state<br/>= sağ özvektör"]
    L1 --> GAP["Spectral gap<br/>= karışma hızı"]
    SS --> ML1["PageRank, MCMC,<br/>HMM"]

    FOUR["Fourier serisi"] --> ORTH["sin/cos<br/>ortonormal baz"]
    ORTH --> COEF["⭐ aₖ = (1/π)∫f·cos kx dx"]
    COEF --> ML2["Positional encoding<br/>Fourier features (NeRF)<br/>FFT"]

    style L1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style COEF fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML1 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style ML2 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    MARKOV["Markov<br/>(kolon = 1)"] --> L1["⭐ λ = 1 garantili"]
    L1 --> SS["Steady state<br/>= sağ özvektör"]
    L1 --> GAP["Spectral gap<br/>= karışma hızı"]
    SS --> ML1["PageRank, MCMC,<br/>HMM"]

    FOUR["Fourier serisi"] --> ORTH["sin/cos<br/>ortonormal baz"]
    ORTH --> COEF["⭐ aₖ = (1/π)∫f·cos kx dx"]
    COEF --> ML2["Positional encoding<br/>Fourier features (NeRF)<br/>FFT"]

    style L1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style COEF fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML1 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style ML2 fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 25.1: Markov + Fourier — özdeğer/ortogonalliğin iki güçlü uygulaması.
İpucuBuilder Notu — Markov + Fourier ML’de
  • Markov / PageRank / MCMC — kararlı durum = \(\lambda = 1\) özvektörü.
  • Spectral gap \(1 - |\lambda_2|\) → MCMC karışma hızı.
  • Fourier serisi → transformer positional encoding, NeRF Fourier features, FFT konvolüsyon hızlandırma.
  • Ortonormal projeksiyon (\(x_i = \mathbf{q}_i^T \mathbf{v}\)) → PCA, wavelet, embedding ayrışımı.

25.2 Markov Matrisi

İki özellik: (1) girişler ≥ 0, (2) her kolon 1’e toplanır.

Aᵏ de Markov; özellikler korunur.

25.3 λ = 1 Garantili

\(A\)’nın kolonları 1’e toplanır → \(A - I\)’nın kolonları 0’a toplanır → satırlar bağımlı (örn. \((1, 1, \ldots, 1) \cdot (A - I) = \mathbf{0}\)) → \(A - I\) singular → \(\lambda = 1\) özdeğer.

\((1, 1, \ldots, 1)\) vektörü = \(A^T\)’nin \(\lambda = 1\) sol özvektörü (olasılık korunumu).

25.4 Diğer λ ve Steady State

Diğer tüm \(|\lambda| \leq 1\) (1’i aşmaz, olasılık korunur).

\(A^k \mathbf{u}_0 = c_1 \mathbf{x}_1 + c_2 \lambda_2^k \mathbf{x}_2 + \cdots\)

\(\lambda_2^k, \ldots \to 0\); sadece \(\lambda = 1\) modu hayatta kalır:

\[ A^k \mathbf{u}_0 \to c_1 \mathbf{x}_1 = \text{steady state} \]

(Pozitif özvektör — başlangıç pozitifse kalır.)

25.5 A ve Aᵀ Aynı Özdeğer

\(\det(A - \lambda I) = \det((A - \lambda I)^T) = \det(A^T - \lambda I)\).

Özdeğerler aynı, özvektörler farklı (sol/sağ).

25.6 Markov Örneği — CA/MA

\[ A = \begin{pmatrix} 0.9 & 0.2 \\ 0.1 & 0.8 \end{pmatrix} \]

trace = 1.7, det = 0.7 → \(\lambda^2 - 1.7\lambda + 0.7 = 0\)\(\lambda = 1, 0.7\).

  • \(\lambda = 1\): \(\mathbf{x}_1 = (2, 1)\).
  • \(\lambda = 0.7\): \(\mathbf{x}_2 = (-1, 1)\).

\(\mathbf{u}_0 = (0, 1000)\)\(c_1 = 1000/3\), \(c_2 = 2000/3\).

Steady state: \(\frac{1000}{3}(2, 1) = (667, 333)\). Toplama 1000 korunur.

import numpy as np

A = np.array([[0.9, 0.2], [0.1, 0.8]], dtype=float)
vals, vecs = np.linalg.eig(A)
print("özdeğerler:", vals)

# Steady state = λ=1 özvektörü, normalize
idx = np.argmin(np.abs(vals - 1))
ss = np.abs(vecs[:, idx]); ss /= ss.sum()
print("steady state dağılımı:", ss)

# Power iteration
u = np.array([0.0, 1000.0])
for _ in range(100): u = A @ u
print("A^100 u0:", u)   # ~ (667, 333)

Builder Notu: Karışma hızı = \(1 - |\lambda_2|\) = spectral gap. CA/MA: 0.3, hızlı. Web grafında power iteration ile PageRank.

25.7 Ortonormal Bazda Projeksiyon

\(\mathbf{v} = \sum x_i \mathbf{q}_i\). Her iki yanı \(\mathbf{q}_i\) ile çarp:

\[ \mathbf{q}_i^T \mathbf{v} = x_i \quad (\text{diğerleri } 0) \]

Her katsayı bağımsız dot product. Matris dilinde \(\mathbf{x} = Q^T \mathbf{v}\).

25.8 Fourier Serisi

\[ f(x) = a_0 + a_1 \cos x + b_1 \sin x + a_2 \cos 2x + \cdots \]

Sonsuz boyutlu fonksiyon uzayı; baz = \(\{1, \cos x, \sin x, \cos 2x, \sin 2x, \ldots\}\).

Periyot \(2\pi\) ile periyodik.

Builder Notu: Sinyal işleme, transformer positional encoding (sin/cos frekansları), NeRF / Fourier features, JPEG (DCT), Gaussian process RKHS.

25.9 Fonksiyon İç Çarpımı

\[ \langle f, g \rangle = \int_0^{2\pi} f(x) g(x) \, dx \]

Toplamın sürekli karşılığı. Bu iç çarpımda \(\sin, \cos\) ortogonal:

\[ \int_0^{2\pi} \sin x \cos x \, dx = 0 \]

25.10 Fourier Katsayıları

\(\mathbf{q}_i^T \mathbf{v}\)’nin fonksiyon versiyonu:

\[ \int_0^{2\pi} f(x) \cos(kx) \, dx = a_k \int_0^{2\pi} \cos^2(kx) \, dx = a_k \pi \]

\[ \boxed{a_k = \frac{1}{\pi} \int_0^{2\pi} f(x) \cos(kx) \, dx} \]

Euler-Fourier formülü. Ortonormal bazda projeksiyon.

Builder Notu: Ayrık versiyonu FFT — konvolüsyonu frekansta çarpıma çevirir (sinyal işleme, FNet, uzun-konvolüsyon).

25.11 Bu Dersin Özeti

  1. Markov: girişler ≥ 0, kolon = 1.
  2. \(\lambda = 1\) garantili.
  3. Diğer \(|\lambda| \leq 1\), steady state.
  4. A ↔︎ \(A^T\) özdeğer.
  5. CA/MA örneği, \((667, 333)\).
  6. Çözüm spektral.
  7. Ortonormal projeksiyon \(x_i = \mathbf{q}_i^T \mathbf{v}\).
  8. Fourier serisi.
  9. Fonksiyon iç çarpımı.
  10. Fourier katsayıları.
ÖnemliTek bir cümle

Markov: \(\lambda = 1\) + pozitif özvektör = steady state (PageRank, MCMC). Fourier: ortonormal sin/cos bazında projeksiyon (\(a_k = \frac{1}{\pi} \int f \cos kx \, dx\)) = transformer positional encoding, NeRF, FFT.

25.12 Kontrol Soruları

Kolonlar: \(1.0, 1.0\) ✓; girişler ≥ 0 ✓ → Markov. trace 1.5 → \(\lambda = 1, 0.5\).

\(A - I = (-0.2\ 0.3 / 0.2\ -0.3)\). Null: \((3, 2)\). Normalize: \((0.6, 0.4)\).

Zaten baz fonksiyonu! \(b_1 = 1\), \(a_1 = 0\) (sin ⊥ cos). Diğer hepsi 0.

PageRank: web grafı Markov → \(\lambda = 1\) özvektörü = sayfa skorları. Power iteration; spectral gap = yakınsama.

MCMC: hedef dağılıma yakınsayan zincir; karışma hızı = spectral gap.

Transformer positional encoding: sin/cos frekansları → sıra bilgisi.

Fourier features (NeRF): koordinatları sin/cos bazında genişletme → yüksek-frekans detay.

FFT: konvolüsyon → frekansta çarpım (FNet, uzun-konv modeller).

25.13 Egzersizler

Egzersiz 1. \(A = (0.5\ 0.4 / 0.5\ 0.6)\) Markov mı? Özdeğer + steady state.

Egzersiz 2. Steady state \((0.6, 0.4)\), \(\lambda_2 = 0.9\) — yakınsama hızı?

Egzersiz 3. \(f = \cos 2x - 3\sin x\) → Fourier katsayıları.

Egzersiz 4. (Python) Markov + power iteration.

Egzersiz 5. İspatla: Markov için \(|\lambda| \leq 1\) tüm \(\lambda\) için. (İpucu: aksi takdirde \(A^k\) patlar, olasılık korunmaz.)

25.14 Sonraki Ders İçin Hazırlık

Ders 24b: Quiz 2 İncelemesi — Determinantlar + özdeğerler + uygulamalar tekrarı.

UyarıDers 24b öncesi
  • Egzersiz 5 (\(|\lambda| \leq 1\)).
  • Power iteration ile steady state.

25.15 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
Markov Girişler ≥ 0, kolon = 1 1m01
\(\lambda = 1\) \(A - I\) kolon = 0 → singular 9m08
Steady state \(\lambda = 1\) özvektör 7m01
\(|\lambda| \leq 1\) Olasılık korunumu 5m12
A, \(A^T\) özdeğer Aynı, özvektör farklı 16m50
Ortonormal proj \(x_i = \mathbf{q}_i^T \mathbf{v}\) 35m24
Fourier \(f = a_0 + \sum (a_k \cos + b_k \sin)\) 41m08
Fonksiyon iç çarp \(\int f g \, dx\) 44m40
\(a_k = \frac{1}{\pi} \int f \cos kx\) Bazda projeksiyon 48m20

25.16 ML Bağlantıları Özeti

İpucu7 köprü
  1. Markov → PageRank, MCMC, HMM.
  2. Steady state → Uzun-vadeli dağılım.
  3. Spectral gap → Karışma hızı.
  4. A, \(A^T\) → Sol/sağ özvektör.
  5. Fourier → Positional encoding, NeRF, JPEG.
  6. Ortonormal proj → PCA, wavelet.
  7. FFT → Konvolüsyon hızlandırma (FNet).
ÖnemliTek bir şey alıp gideceksen

Markov \(\lambda = 1\) = steady state (PageRank/MCMC). Fourier \(a_k = \frac{1}{\pi}\int f \cos kx\) = ortonormal bazda projeksiyon (NeRF, positional encoding, FFT).