Bu Derste Ne Var?
Ders 22’nin sürekli versiyonu: \(\frac{d\mathbf{u}}{dt} = A\mathbf{u}\).
- Üstel çözümler: her özvektör → \(\mathbf{u} = e^{\lambda t} \mathbf{x}\).
- Kararlılık: tüm \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).
- Matris üstel: \(e^{At} = S e^{\Lambda t} S^{-1}\), \(\mathbf{u}(t) = e^{At} \mathbf{u}(0)\).
- İkinci-mertebe → sistem (companion matris).
“The solutions to constant coefficient linear equations are exponentials.” — Strang, 0:32
flowchart LR
DE["du/dt = Au"] --> SOL["⭐ u(t) = eᴬᵗ u(0)<br/>= SeᴧᵗS⁻¹u(0)"]
SOL --> MODE["u(t) = Σ cᵢeλᵢᵗ xᵢ"]
MODE --> STAB["Re(λ) < 0 → sönen<br/>Re(λ) > 0 → patlar<br/>Im(λ) → osilasyon"]
STAB --> ML["Neural ODE<br/>SSM (S4, Mamba)<br/>Kontrol teorisi"]
style SOL fill:#fff3e0,stroke:#e67e22,stroke-width:3px
style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px
- Neural ODE — derin ağ = sürekli sistem \(\frac{d\mathbf{u}}{dt} = f(\mathbf{u})\).
- SSM (S4, Mamba) — tam \(\frac{d\mathbf{u}}{dt} = A\mathbf{u} + B\mathbf{x}\) formunda; HiPPO başlatma özdeğer yapısı.
- Kararlı RNN/SSM → özdeğerleri sol yarı düzleme (\(\text{Re}(\lambda) < 0\)) kısıtla.
- Ayrık vs sürekli: \(|\lambda| < 1\) (birim çember) vs \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).
du/dt = Au ve Üstel Çözümler
Her özvektör pür üstel çözüm verir: \(A\mathbf{x} = \lambda \mathbf{x}\) → \(\mathbf{u} = e^{\lambda t} \mathbf{x}\) (\(du/dt = \lambda e^{\lambda t} \mathbf{x} = A\mathbf{u}\) ✓).
Genel çözüm:
\[
\mathbf{u}(t) = \sum c_i e^{\lambda_i t} \mathbf{x}_i
\]
Örnek — Steady State
\[
A = \begin{pmatrix} -1 & 2 \\ 1 & -2 \end{pmatrix}, \quad \mathbf{u}(0) = (1, 0)^T
\]
Singular (kolon 2 = \(-2 \times\) kolon 1) → \(\lambda_1 = 0\). Trace \(= -3\) → \(\lambda_2 = -3\).
- \(\lambda_1 = 0\): \(\mathbf{x}_1 = (2, 1)\).
- \(\lambda_2 = -3\): \(\mathbf{x}_2 = (1, -1)\).
\(\mathbf{u}(0) = \frac{1}{3} \mathbf{x}_1 + \frac{1}{3} \mathbf{x}_2\):
\[
\mathbf{u}(t) = \tfrac{1}{3}(2, 1)^T + \tfrac{1}{3} e^{-3t}(1, -1)^T \xrightarrow{t \to \infty} (\tfrac{2}{3}, \tfrac{1}{3})^T
\]
\(\lambda = 0\) modu kalıcı (steady state); \(\lambda = -3\) söner.
Kararlılık — \(\text{Re}(\lambda) < 0\)
\[
\mathbf{u}(t) \to \mathbf{0} \iff \text{Re}(\lambda_i) < 0 \;\forall i
\]
Üç durum:
- Tüm \(\text{Re} < 0\) → kararlı, sönen.
- Bir \(\lambda = 0\), diğerleri Re < 0 → steady state.
- Bir Re > 0 → patlar.
Ayrık vs sürekli: \(|\lambda| < 1\) (birim çember) ↔︎ \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).
Kompleks Özdeğerler — Osilasyon
\(\lambda = a + bi\) → \(|e^{\lambda t}| = e^{at}\). Sadece gerçel kısım büyüklüğü belirler; imajiner = salınım.
Antisimetrik matris → saf imajiner λ → sönmeyen salınım.
2×2 Kararlılık — Trace ve Determinant
\[
\boxed{\text{trace} < 0 \text{ ve } \det > 0}
\]
İkisi de gerekli: trace < 0 (toplam negatif), det > 0 (aynı işaret → ikisi de negatif).
Karşı-örnek: \(A = \text{diag}(-2, 1)\), trace = -1, det = -2 → patlar.
Uncoupling — u = Sv
\(\mathbf{u} = S\mathbf{v}\):
\[
\frac{d\mathbf{v}}{dt} = S^{-1} A S \mathbf{v} = \Lambda \mathbf{v}
\]
Bağımsız denklemler \(dv_i/dt = \lambda_i v_i\) → \(v_i(t) = e^{\lambda_i t} v_i(0)\).
Matris Üstel — \(e^{At}\) ⭐
\[
e^{At} = I + At + \frac{(At)^2}{2!} + \cdots = \sum_{n=0}^{\infty} \frac{(At)^n}{n!}
\]
Her zaman yakınsar (\(n!\) paydası). Diğer seri \((I - At)^{-1}\) sadece \(|\lambda| < 1\) için yakınsar; üstel daha güvenli.
\(e^{At} = S e^{\Lambda t} S^{-1}\)
Taylor serisine \(A = S\Lambda S^{-1}\) koy → \(A^n = S \Lambda^n S^{-1}\), ortadakiler sadeleşir:
\[
e^{At} = S e^{\Lambda t} S^{-1}, \quad e^{\Lambda t} = \text{diag}(e^{\lambda_1 t}, \ldots, e^{\lambda_n t})
\]
import numpy as np
from scipy.linalg import expm
A = np.array([[-1, 2], [1, -2]], dtype=float)
u0 = np.array([1, 0], dtype=float)
vals, vecs = np.linalg.eig(A)
print("özdeğerler:", vals)
# t = 2
print(f"u(2) = {expm(A * 2) @ u0}")
# Steady state
print(f"u(100) ≈ {expm(A * 100) @ u0} (= (2/3, 1/3))")
İkinci-Mertebe → Sistem (Companion)
\(y'' + by' + ky = 0\) → \(\mathbf{u} = (y', y)^T\):
\[
\mathbf{u}' = \begin{pmatrix} -b & -k \\ 1 & 0 \end{pmatrix} \mathbf{u}
\]
Companion matris — state-space temsili.
Builder Notu: Kontrol teorisi, robotik, Kalman filtreleri, neural ODE, SSM hep state-space formunda. Özdeğerler = orijinal karakteristik kökleri.
Bu Dersin Özeti
- \(d\mathbf{u}/dt = A\mathbf{u}\) üstel çözüm.
- Genel çözüm = mod toplamı.
- Steady state (\(\lambda = 0\)).
- Kararlılık \(\text{Re}(\lambda) < 0\).
- Kompleks osilasyon.
- 2×2: trace < 0, det > 0.
- Uncoupling.
- \(e^{At}\) Taylor.
- \(e^{At} = S e^{\Lambda t} S^{-1}\).
- Companion (state-space).
\(\mathbf{u}(t) = e^{At} \mathbf{u}(0) = S e^{\Lambda t} S^{-1} \mathbf{u}(0)\); özdeğerler tüm davranışı belirler — Re(λ) < 0 söndürür, > 0 patlatır, Im(λ) salındırır. Neural ODE’den SSM’e modern ML’in sürekli omurgası.
Kontrol Soruları
\[
\mathbf{u}(t) = (3e^t, 5e^{-2t})
\]
\(t \to \infty\): \(5e^{-2t} \to 0\), \(3e^t \to \infty\) → patlar (λ = 1 > 0).
- (a) kararlı (her ikisi Re < 0).
- (b) kararlı (Re = -1, salınarak söner).
- (c) steady state’e gider (sıfıra değil ama patlamaz).
- (d) kararsız (Re = 2 > 0).
\(A^2 = 0\) (nilpotent!). Taylor kısalır:
\[
e^{At} = I + At = \begin{pmatrix} 1 & t \\ 0 & 1 \end{pmatrix}
\]
Polinom çıkması = Jordan formu imzası (Ders 28). Degenerate (tekrarlı λ = 0, tek özvektör).
Neural ODE: \(d\mathbf{u}/dt = f(\mathbf{u}, \theta)\), lineer hâli \(A\mathbf{u}\), \(\mathbf{u}(T) = e^{AT}\mathbf{u}(0)\).
SSM (S4, Mamba): \(d\mathbf{u}/dt = A\mathbf{u} + B\mathbf{x}\), \(\mathbf{y} = C\mathbf{u}\); \(e^{At}\) ile ayrıklaştırılır.
Kararlılık: Re(λ) < 0 → kararlı RNN/SSM. HiPPO başlatma uzun-menzilli bağımlılıkları yakalar.
Kompleks λ: zaman serisi salınım modelleri.
Egzersizler
Egzersiz 1. \(A = (-2\ 1 / 1\ -2)\), \(\mathbf{u}(0) = (1, 0)\) — çözüm, kararlı mı?
Egzersiz 2. Kararlılık testi: (a) \((-1\ 2 / 0\ -3)\), (b) \((1\ 0 / 0\ -5)\), (c) \((0\ -1 / 1\ 0)\).
Egzersiz 3. \(y'' + 4y = 0\) → companion + özdeğerler. Salınımlı mı?
Egzersiz 4. (Python) scipy.linalg.expm + steady state.
Egzersiz 5. İspatla: \(\frac{d}{dt} e^{At} = A e^{At}\). (Taylor terim terim türev.)
Sonraki Ders İçin Hazırlık
Ders 24: Markov Matrisleri ve Fourier Serisi
- Markov: \(\lambda = 1\) (kararlı durum), diğerleri sönen.
- Fourier: fonksiyon uzayında ortonormal sin/cos.
- Egzersiz 5 (\(e^{At}\) türev).
expm ile steady state.
Anahtar Kavramlar (Cheat Sheet)
| \(d\mathbf{u}/dt = A\mathbf{u}\) |
Üstel çözüm |
0m32 |
| Genel çözüm |
\(\sum c_i e^{\lambda_i t} \mathbf{x}_i\) |
8m54 |
| Kararlılık |
\(\text{Re}(\lambda) < 0\) |
16m45 |
| Kompleks λ |
Re büyüklük, Im osilasyon |
17m50 |
| 2×2 kararlılık |
trace < 0, det > 0 |
22m02 |
| Uncoupling |
\(\mathbf{u} = S\mathbf{v}\) |
29m14 |
| Matris üstel |
\(\sum (At)^n / n!\) |
33m55 |
| \(e^{At} = S e^{\Lambda t} S^{-1}\) |
— |
39m02 |
| Companion |
İkinci-mertebe → sistem |
47m38 |
ML Bağlantıları Özeti
- Neural ODE / SSM → Sürekli derin öğrenme.
- \(e^{At}\) propagatör → Fizik, kontrol, Schrödinger.
- Re(λ) < 0 = kararlı → S4/Mamba tasarımı.
- Kompleks λ = osilasyon → Zaman serisi.
- Uncoupling → Mod analizi, Fourier akrabası.
- Companion → State-space, Kalman.
- Ayrık vs sürekli → Aynı fikir, iki geometri.
\(d\mathbf{u}/dt = A\mathbf{u}\) → \(\mathbf{u}(t) = e^{At}\mathbf{u}(0) = S e^{\Lambda t} S^{-1} \mathbf{u}(0)\). Özdeğerler tüm davranışı belirler — Re(λ) söndürme/büyüme, Im(λ) osilasyon. Neural ODE, SSM, kontrol teorisi kalbi.