22  Özdeğerler ve Özvektörler

Kursun zirvesi — Ax = λx, doğal eksenler

NotBölüm bilgisi

22.1 Bu Derste Ne Var?

Kursun zirvesi: özdeğer/özvektör — geri kalan derslerin çoğunu kaplar.

  1. Özvektör: \(A\mathbf{x} = \lambda \mathbf{x}\).
  2. Karakteristik denklem: \(\det(A - \lambda I) = 0\).
  3. \(\sum \lambda = \text{trace}\), \(\prod \lambda = \det\).
  4. Üç tuzak: kompleks (rotasyon), tekrarlı, özvektör eksikliği.

“Ax is some multiple lambda of x — that’s our big equation.” — Strang, 2:36

flowchart LR
    EQ["A·x = λx"] --> CHAR["det(A - λI) = 0"]
    CHAR --> LAM["λ'lar"]
    LAM --> X["Her λ → null(A-λI) → x"]

    LAM --> TR["⭐ Σλ = trace<br/>Πλ = det"]
    LAM --> TRAPS["⚠ Tuzaklar:<br/>kompleks (rotasyon)<br/>tekrarlı / degenerate"]

    X --> PCA["PCA<br/>(simetrik kov)"]
    X --> RNN["RNN/dinamik<br/>(|λ| kararlılık)"]
    X --> RIDGE["Ridge<br/>(A+λI özdeğer kayar)"]

    style EQ fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style TR fill:#fff3e0,stroke:#e67e22,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    EQ["A·x = λx"] --> CHAR["det(A - λI) = 0"]
    CHAR --> LAM["λ'lar"]
    LAM --> X["Her λ → null(A-λI) → x"]

    LAM --> TR["⭐ Σλ = trace<br/>Πλ = det"]
    LAM --> TRAPS["⚠ Tuzaklar:<br/>kompleks (rotasyon)<br/>tekrarlı / degenerate"]

    X --> PCA["PCA<br/>(simetrik kov)"]
    X --> RNN["RNN/dinamik<br/>(|λ| kararlılık)"]
    X --> RIDGE["Ridge<br/>(A+λI özdeğer kayar)"]

    style EQ fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style TR fill:#fff3e0,stroke:#e67e22,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 22.1: Özdeğer = doğal eksen ölçeği. PCA, RNN kararlılığı, ridge regularization hepsi buradan.
İpucuBuilder Notu — Özdeğer ML’in Belkemiği
  • PCA = kovaryans özvektörleri.
  • Spectral clustering / PageRank = graf matrisleri özvektörleri.
  • RNN/dinamik kararlılık = \(|\lambda|\).
  • Trace = \(\sum\lambda\), det = \(\prod\lambda\) → log-det = \(\sum \log \lambda\), etkin rank.
  • Simetrik → gerçel + ortogonal → PCA, kernel yöntemleri sağlam.

22.2 Ax = λx — Özvektör

\(A\mathbf{x}\) genelde \(\mathbf{x}\)’ten farklı yönde. Bazı özel vektörler için aynı doğrultuda, sadece ölçeklenmiş:

\[ A\mathbf{x} = \lambda \mathbf{x} \]

\(\lambda\) pozitif/negatif/sıfır/kompleks olabilir. \(n \times n\) matrisin (genelde) \(n\) özdeğer/özvektörü vardır — matrisin doğal eksenleri.

22.3 λ = 0 ⟺ Singular

\(\lambda = 0\)\(A\mathbf{x} = \mathbf{0}\)\(\mathbf{x} \in N(A)\).

\[ \lambda = 0 \text{ özdeğer} \iff A \text{ singular} \]

Builder Notu: Graph Laplacian sıfır özdeğeri (Ders 12); sayısı = bağlı bileşen sayısı. Sıfıra yakın özdeğerler = “neredeyse tekil” yönler = kararsızlık.

22.4 Geometriden Özdeğer Okuma

Projeksiyon \(P\): düzlemdeki \(\mathbf{x} \to \lambda = 1\); dik \(\mathbf{x} \to \lambda = 0\).

Permütasyon \(\begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}\): \((1, 1) \to \lambda = 1\); \((-1, 1) \to \lambda = -1\).

“Those vectors are perpendicular. That’ll happen for symmetric matrices.” — Strang, 22:33

Builder Notu: Mimari biliyorsan özdeğerleri tahmin et — projeksiyon \(\{0, 1\}\), ortogonal \(\{\pm 1, \text{birim çember}\}\), idempotent \(\{0, 1\}\).

22.5 Trace = Σλ, det = Πλ ⭐

\[ \sum_i \lambda_i = \text{trace}(A) = \sum_i a_{ii} \]

\[ \prod_i \lambda_i = \det(A) \]

2×2’de bu ikisi özdeğerleri tamamen belirler.

Permütasyon: trace = 0, det = −1 → \(\lambda_1 + \lambda_2 = 0\), \(\lambda_1 \lambda_2 = -1\)\(\lambda = \pm 1\).

22.6 Karakteristik Denklem

\(A\mathbf{x} = \lambda \mathbf{x}\)\((A - \lambda I)\mathbf{x} = \mathbf{0}\). Sıfır-olmayan \(\mathbf{x}\) için \((A - \lambda I)\) singular:

\[ \boxed{\det(A - \lambda I) = 0} \]

Strateji: (1) \(\lambda\)’ları bul. (2) Her \(\lambda\) için null uzayı → \(\mathbf{x}\).

Builder Notu: Pratikte asla polinom kökünden değil — QR iterasyonu (np.linalg.eig) iteratif/kararlı.

22.7 Tam Örnek — \(A = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}\)

\[ \det(A - \lambda I) = (3 - \lambda)^2 - 1 = \lambda^2 - 6\lambda + 8 = (\lambda - 4)(\lambda - 2) \]

\(\lambda = 4, 2\). Trace 6 ✓, det 8 ✓.

  • \(\lambda = 4\): \(A - 4I = \begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\)\(\mathbf{x} = (1, 1)\).
  • \(\lambda = 2\): \(\mathbf{x} = (-1, 1)\).

Dik özvektörler (simetrik matris).

import numpy as np

A = np.array([[3, 1], [1, 3]], dtype=float)
vals, vecs = np.linalg.eig(A)
print("özdeğerler:", vals)
print("özvektörler (kolonlar):\n", vecs)
print(f"trace = {np.trace(A)} = Σλ = {vals.sum():.4f}")
print(f"det = {np.linalg.det(A):.4f} = Πλ = {vals.prod():.4f}")

22.8 A + cI ve A + B

\(A + cI\): Özvektörler değişmez, özdeğerler \(+c\) kayar.

\[ (A + cI)\mathbf{x} = A\mathbf{x} + c\mathbf{x} = (\lambda + c)\mathbf{x} \]

\(A + B\): Özdeğerler toplanmaz (genelde) — farklı özvektörler.

Builder Notu: Ridge regularization \(A^T A + \lambda I\) tüm özdeğerleri \(\lambda\) kadar yukarı iter → sıfıra yakın özdeğerler pozitifleşir → iyi-koşullu, tersinir. Özvektörler korunur.

22.9 Kompleks Özdeğerler — Rotasyon

\(Q = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}\) (90° döndür). Hiçbir gerçel vektör aynı doğrultuda kalmaz.

\[ \det(Q - \lambda I) = \lambda^2 + 1 = 0 \implies \lambda = \pm i \]

Antisimetrik (\(Q^T = -Q\)) → saf imajiner. Simetrik (\(A^T = A\)) → gerçel (Ders 25).

22.10 Tekrarlı Özdeğer — Degenerate

\(A = \begin{pmatrix} 3 & 1 \\ 0 & 3 \end{pmatrix}\) — özdeğerler 3, 3 (tekrarlı).

\(A - 3I = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}\) → tek özvektör \((1, 0)\). İkinci yok.

Defective / degenerate → diagonalize edilemez (Jordan formu, Ders 28).

“A repeated lambda is the source of all trouble.” — Strang, 50:11

Builder Notu: Üç tuzak:

  • Kompleks → osilasyon (RNN, dinamik).
  • \(\|\lambda\|\) → kararlılık (< 1 sönümlü, > 1 patlar).
  • Degenerate → diagonalize edilemez; iyi haber: simetrik matrisler asla degenerate olmaz.

22.11 Bu Dersin Özeti

  1. \(A\mathbf{x} = \lambda\mathbf{x}\).
  2. \(\lambda = 0\) iff singular.
  3. Projeksiyon (1, 0); permütasyon (\(\pm 1\)).
  4. Trace + det özdeğerleri belirler.
  5. Karakteristik denklem.
  6. \(A + cI\) özdeğer kayar (ridge).
  7. Kompleks (rotasyon).
  8. Degenerate (tekrarlı, eksik özvektör).
ÖnemliTek bir cümle

Özvektörler matrisin doğal eksenleri (\(A\mathbf{x} = \lambda\mathbf{x}\)); \(\det(A - \lambda I) = 0\) ile \(\lambda\) bulunur, \(\sum\lambda\) = trace, \(\prod\lambda = \det\). PCA, RNN kararlılığı, ridge — hepsi buradan.

22.12 Kontrol Soruları

\((2-\lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = (\lambda-3)(\lambda-1)\). \(\lambda = 3, 1\).

\(\lambda = 3\): \((1, 1)\). \(\lambda = 1\): \((-1, 1)\). Dik (simetrik).

\(\lambda^2 - 5\lambda + 6 = (\lambda-2)(\lambda-3) = 0\)2, 3.

7 olamaz: diğeri \(-2\) olur, \(7 \cdot (-2) = -14 \neq 6\).

\(\lambda = 4, 4\) (tekrarlı). \(A - 4I\) rank 1 → tek özvektör \((1, 0)\).

1 bağımsız özvektör. Defective, diagonalize edilemez.

PCA: Simetrik kovaryans → gerçel + ortogonal özvektör; en büyük λ = en çok varyans yönü.

RNN: \(A^k \mathbf{x}\) davranışı \(|\lambda|\) ile: \(< 1\) sönümlü, \(> 1\) patlar, kompleks = osilasyon. Ortogonal ağırlık (\(|\lambda| = 1\)) kararlı.

Ridge: \(A^T A + \lambda I\) → tüm özdeğer \(+\lambda\) kayar; sıfıra yakın değerler pozitifleşir, iyi-koşullu.

22.13 Egzersizler

Egzersiz 1. \(A = (1\ 2 / 2\ 4)\) — det? Bir özdeğer?

Egzersiz 2. trace = 7, det = 12 → özdeğerler.

Egzersiz 3. 60° rotasyon → özdeğerler. Gerçel mi?

Egzersiz 4. (Python) np.linalg.eig + trace/det doğrulama.

Egzersiz 5. İspatla: \(\sum\lambda\) = trace, \(\prod\lambda = \det\). (İpucu: karakteristik polinom \(\det(A - \lambda I) = \prod(\lambda_i - \lambda)\); \(\lambda = 0\) → det A; \(\lambda^{n-1}\) katsayısı trace.)

22.14 Sonraki Ders İçin Hazırlık

Ders 22: Diagonalization ve \(A^k\)

  • \(A = S \Lambda S^{-1}\).
  • \(A^k = S \Lambda^k S^{-1}\).
  • Fibonacci, fark denklemleri.
UyarıDers 22 öncesi
  • Egzersiz 5 (trace/det = Σλ, Πλ).
  • np.linalg.eig ile birkaç matris.

22.15 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
\(A\mathbf{x} = \lambda\mathbf{x}\) Özvektör/özdeğer 2m36
\(\lambda = 0 \iff\) singular Null özvektörleri 4m12
Projeksiyon \(\{1, 0\}\) 6m03
Permütasyon \(\{\pm 1\}\), dik 10m39
Σλ = trace Köşegen toplamı 14m50
Πλ = det 14m50
\(\det(A - \lambda I) = 0\) Karakteristik 16m51
\(A + cI\) Özdeğer \(+c\), özvektör aynı 31m40
Kompleks Rotasyon → \(\pm i\) 42m36
Degenerate Tekrarlı + eksik özvektör 50m11

22.16 ML Bağlantıları Özeti

İpucu7 köprü
  1. PCA = kovaryans özvektörleri.
  2. Σλ, Πλ → log-det, etkin rank.
  3. \(\|\lambda\|\) = RNN kararlılık.
  4. Kompleks λ = osilasyon.
  5. \(A + cI\) = ridge → özdeğerleri yukarı kaydır.
  6. Degenerate → Jordan (Ders 28).
  7. Simetrik → PCA, spectral, kernel sağlam temeli.
ÖnemliTek bir şey alıp gideceksen

Özvektörler doğal eksenler (\(A\mathbf{x} = \lambda\mathbf{x}\)); \(\sum\lambda\) = trace, \(\prod\lambda = \det\). PCA, RNN kararlılığı, ridge — modern ML’in belkemiği.