24  Diferansiyel Denklemler ve eᴬᵗ

Sürekli dinamik — neural ODE’lerin lineer çekirdeği

NotBölüm bilgisi

24.1 Bu Derste Ne Var?

Ders 22’nin sürekli versiyonu: \(\frac{d\mathbf{u}}{dt} = A\mathbf{u}\).

  1. Üstel çözümler: her özvektör → \(\mathbf{u} = e^{\lambda t} \mathbf{x}\).
  2. Kararlılık: tüm \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).
  3. Matris üstel: \(e^{At} = S e^{\Lambda t} S^{-1}\), \(\mathbf{u}(t) = e^{At} \mathbf{u}(0)\).
  4. İkinci-mertebe → sistem (companion matris).

“The solutions to constant coefficient linear equations are exponentials.” — Strang, 0:32

flowchart LR
    DE["du/dt = Au"] --> SOL["⭐ u(t) = eᴬᵗ u(0)<br/>= SeᴧᵗS⁻¹u(0)"]
    SOL --> MODE["u(t) = Σ cᵢeλᵢᵗ xᵢ"]
    MODE --> STAB["Re(λ) < 0 → sönen<br/>Re(λ) > 0 → patlar<br/>Im(λ) → osilasyon"]
    STAB --> ML["Neural ODE<br/>SSM (S4, Mamba)<br/>Kontrol teorisi"]

    style SOL fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    DE["du/dt = Au"] --> SOL["⭐ u(t) = eᴬᵗ u(0)<br/>= SeᴧᵗS⁻¹u(0)"]
    SOL --> MODE["u(t) = Σ cᵢeλᵢᵗ xᵢ"]
    MODE --> STAB["Re(λ) < 0 → sönen<br/>Re(λ) > 0 → patlar<br/>Im(λ) → osilasyon"]
    STAB --> ML["Neural ODE<br/>SSM (S4, Mamba)<br/>Kontrol teorisi"]

    style SOL fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 24.1: du/dt = Au → eᴬᵗ propagatör. Re(λ) kararlılık, kompleks osilasyon, neural ODE/SSM çekirdeği.
İpucuBuilder Notu — Sürekli Dinamik ML’de
  • Neural ODE — derin ağ = sürekli sistem \(\frac{d\mathbf{u}}{dt} = f(\mathbf{u})\).
  • SSM (S4, Mamba) — tam \(\frac{d\mathbf{u}}{dt} = A\mathbf{u} + B\mathbf{x}\) formunda; HiPPO başlatma özdeğer yapısı.
  • Kararlı RNN/SSM → özdeğerleri sol yarı düzleme (\(\text{Re}(\lambda) < 0\)) kısıtla.
  • Ayrık vs sürekli: \(|\lambda| < 1\) (birim çember) vs \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).

24.2 du/dt = Au ve Üstel Çözümler

Her özvektör pür üstel çözüm verir: \(A\mathbf{x} = \lambda \mathbf{x}\)\(\mathbf{u} = e^{\lambda t} \mathbf{x}\) (\(du/dt = \lambda e^{\lambda t} \mathbf{x} = A\mathbf{u}\) ✓).

Genel çözüm:

\[ \mathbf{u}(t) = \sum c_i e^{\lambda_i t} \mathbf{x}_i \]

24.3 Örnek — Steady State

\[ A = \begin{pmatrix} -1 & 2 \\ 1 & -2 \end{pmatrix}, \quad \mathbf{u}(0) = (1, 0)^T \]

Singular (kolon 2 = \(-2 \times\) kolon 1) → \(\lambda_1 = 0\). Trace \(= -3\)\(\lambda_2 = -3\).

  • \(\lambda_1 = 0\): \(\mathbf{x}_1 = (2, 1)\).
  • \(\lambda_2 = -3\): \(\mathbf{x}_2 = (1, -1)\).

\(\mathbf{u}(0) = \frac{1}{3} \mathbf{x}_1 + \frac{1}{3} \mathbf{x}_2\):

\[ \mathbf{u}(t) = \tfrac{1}{3}(2, 1)^T + \tfrac{1}{3} e^{-3t}(1, -1)^T \xrightarrow{t \to \infty} (\tfrac{2}{3}, \tfrac{1}{3})^T \]

\(\lambda = 0\) modu kalıcı (steady state); \(\lambda = -3\) söner.

24.4 Kararlılık — \(\text{Re}(\lambda) < 0\)

\[ \mathbf{u}(t) \to \mathbf{0} \iff \text{Re}(\lambda_i) < 0 \;\forall i \]

Üç durum:

  • Tüm \(\text{Re} < 0\) → kararlı, sönen.
  • Bir \(\lambda = 0\), diğerleri Re < 0 → steady state.
  • Bir Re > 0 → patlar.

Ayrık vs sürekli: \(|\lambda| < 1\) (birim çember) ↔︎ \(\text{Re}(\lambda) < 0\) (sol yarı düzlem).

24.5 Kompleks Özdeğerler — Osilasyon

\(\lambda = a + bi\)\(|e^{\lambda t}| = e^{at}\). Sadece gerçel kısım büyüklüğü belirler; imajiner = salınım.

Antisimetrik matris → saf imajiner λ → sönmeyen salınım.

24.6 2×2 Kararlılık — Trace ve Determinant

\[ \boxed{\text{trace} < 0 \text{ ve } \det > 0} \]

İkisi de gerekli: trace < 0 (toplam negatif), det > 0 (aynı işaret → ikisi de negatif).

Karşı-örnek: \(A = \text{diag}(-2, 1)\), trace = -1, det = -2 → patlar.

24.7 Uncoupling — u = Sv

\(\mathbf{u} = S\mathbf{v}\):

\[ \frac{d\mathbf{v}}{dt} = S^{-1} A S \mathbf{v} = \Lambda \mathbf{v} \]

Bağımsız denklemler \(dv_i/dt = \lambda_i v_i\)\(v_i(t) = e^{\lambda_i t} v_i(0)\).

24.8 Matris Üstel — \(e^{At}\)

\[ e^{At} = I + At + \frac{(At)^2}{2!} + \cdots = \sum_{n=0}^{\infty} \frac{(At)^n}{n!} \]

Her zaman yakınsar (\(n!\) paydası). Diğer seri \((I - At)^{-1}\) sadece \(|\lambda| < 1\) için yakınsar; üstel daha güvenli.

24.9 \(e^{At} = S e^{\Lambda t} S^{-1}\)

Taylor serisine \(A = S\Lambda S^{-1}\) koy → \(A^n = S \Lambda^n S^{-1}\), ortadakiler sadeleşir:

\[ e^{At} = S e^{\Lambda t} S^{-1}, \quad e^{\Lambda t} = \text{diag}(e^{\lambda_1 t}, \ldots, e^{\lambda_n t}) \]

import numpy as np
from scipy.linalg import expm

A = np.array([[-1, 2], [1, -2]], dtype=float)
u0 = np.array([1, 0], dtype=float)

vals, vecs = np.linalg.eig(A)
print("özdeğerler:", vals)

# t = 2
print(f"u(2) = {expm(A * 2) @ u0}")

# Steady state
print(f"u(100) ≈ {expm(A * 100) @ u0}  (= (2/3, 1/3))")

24.10 İkinci-Mertebe → Sistem (Companion)

\(y'' + by' + ky = 0\)\(\mathbf{u} = (y', y)^T\):

\[ \mathbf{u}' = \begin{pmatrix} -b & -k \\ 1 & 0 \end{pmatrix} \mathbf{u} \]

Companion matris — state-space temsili.

Builder Notu: Kontrol teorisi, robotik, Kalman filtreleri, neural ODE, SSM hep state-space formunda. Özdeğerler = orijinal karakteristik kökleri.

24.11 Bu Dersin Özeti

  1. \(d\mathbf{u}/dt = A\mathbf{u}\) üstel çözüm.
  2. Genel çözüm = mod toplamı.
  3. Steady state (\(\lambda = 0\)).
  4. Kararlılık \(\text{Re}(\lambda) < 0\).
  5. Kompleks osilasyon.
  6. 2×2: trace < 0, det > 0.
  7. Uncoupling.
  8. \(e^{At}\) Taylor.
  9. \(e^{At} = S e^{\Lambda t} S^{-1}\).
  10. Companion (state-space).
ÖnemliTek bir cümle

\(\mathbf{u}(t) = e^{At} \mathbf{u}(0) = S e^{\Lambda t} S^{-1} \mathbf{u}(0)\); özdeğerler tüm davranışı belirler — Re(λ) < 0 söndürür, > 0 patlatır, Im(λ) salındırır. Neural ODE’den SSM’e modern ML’in sürekli omurgası.

24.12 Kontrol Soruları

\[ \mathbf{u}(t) = (3e^t, 5e^{-2t}) \]

\(t \to \infty\): \(5e^{-2t} \to 0\), \(3e^t \to \infty\)patlar (λ = 1 > 0).

  • (a) kararlı (her ikisi Re < 0).
  • (b) kararlı (Re = -1, salınarak söner).
  • (c) steady state’e gider (sıfıra değil ama patlamaz).
  • (d) kararsız (Re = 2 > 0).

\(A^2 = 0\) (nilpotent!). Taylor kısalır:

\[ e^{At} = I + At = \begin{pmatrix} 1 & t \\ 0 & 1 \end{pmatrix} \]

Polinom çıkması = Jordan formu imzası (Ders 28). Degenerate (tekrarlı λ = 0, tek özvektör).

Neural ODE: \(d\mathbf{u}/dt = f(\mathbf{u}, \theta)\), lineer hâli \(A\mathbf{u}\), \(\mathbf{u}(T) = e^{AT}\mathbf{u}(0)\).

SSM (S4, Mamba): \(d\mathbf{u}/dt = A\mathbf{u} + B\mathbf{x}\), \(\mathbf{y} = C\mathbf{u}\); \(e^{At}\) ile ayrıklaştırılır.

Kararlılık: Re(λ) < 0 → kararlı RNN/SSM. HiPPO başlatma uzun-menzilli bağımlılıkları yakalar.

Kompleks λ: zaman serisi salınım modelleri.

24.13 Egzersizler

Egzersiz 1. \(A = (-2\ 1 / 1\ -2)\), \(\mathbf{u}(0) = (1, 0)\) — çözüm, kararlı mı?

Egzersiz 2. Kararlılık testi: (a) \((-1\ 2 / 0\ -3)\), (b) \((1\ 0 / 0\ -5)\), (c) \((0\ -1 / 1\ 0)\).

Egzersiz 3. \(y'' + 4y = 0\) → companion + özdeğerler. Salınımlı mı?

Egzersiz 4. (Python) scipy.linalg.expm + steady state.

Egzersiz 5. İspatla: \(\frac{d}{dt} e^{At} = A e^{At}\). (Taylor terim terim türev.)

24.14 Sonraki Ders İçin Hazırlık

Ders 24: Markov Matrisleri ve Fourier Serisi

  • Markov: \(\lambda = 1\) (kararlı durum), diğerleri sönen.
  • Fourier: fonksiyon uzayında ortonormal sin/cos.
UyarıDers 24 öncesi
  • Egzersiz 5 (\(e^{At}\) türev).
  • expm ile steady state.

24.15 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
\(d\mathbf{u}/dt = A\mathbf{u}\) Üstel çözüm 0m32
Genel çözüm \(\sum c_i e^{\lambda_i t} \mathbf{x}_i\) 8m54
Kararlılık \(\text{Re}(\lambda) < 0\) 16m45
Kompleks λ Re büyüklük, Im osilasyon 17m50
2×2 kararlılık trace < 0, det > 0 22m02
Uncoupling \(\mathbf{u} = S\mathbf{v}\) 29m14
Matris üstel \(\sum (At)^n / n!\) 33m55
\(e^{At} = S e^{\Lambda t} S^{-1}\) 39m02
Companion İkinci-mertebe → sistem 47m38

24.16 ML Bağlantıları Özeti

İpucu7 köprü
  1. Neural ODE / SSM → Sürekli derin öğrenme.
  2. \(e^{At}\) propagatör → Fizik, kontrol, Schrödinger.
  3. Re(λ) < 0 = kararlı → S4/Mamba tasarımı.
  4. Kompleks λ = osilasyon → Zaman serisi.
  5. Uncoupling → Mod analizi, Fourier akrabası.
  6. Companion → State-space, Kalman.
  7. Ayrık vs sürekli → Aynı fikir, iki geometri.
ÖnemliTek bir şey alıp gideceksen

\(d\mathbf{u}/dt = A\mathbf{u}\)\(\mathbf{u}(t) = e^{At}\mathbf{u}(0) = S e^{\Lambda t} S^{-1} \mathbf{u}(0)\). Özdeğerler tüm davranışı belirler — Re(λ) söndürme/büyüme, Im(λ) osilasyon. Neural ODE, SSM, kontrol teorisi kalbi.