Bu Derste Ne Var?
Kursun zirvesi: özdeğer/özvektör — geri kalan derslerin çoğunu kaplar.
Özvektör: \(A\mathbf{x} = \lambda \mathbf{x}\) .
Karakteristik denklem: \(\det(A - \lambda I) = 0\) .
\(\sum \lambda = \text{trace}\) , \(\prod \lambda = \det\) .
Üç tuzak: kompleks (rotasyon), tekrarlı, özvektör eksikliği.
“Ax is some multiple lambda of x — that’s our big equation.” — Strang, 2:36
flowchart LR
EQ["A·x = λx"] --> CHAR["det(A - λI) = 0"]
CHAR --> LAM["λ'lar"]
LAM --> X["Her λ → null(A-λI) → x"]
LAM --> TR["⭐ Σλ = trace<br/>Πλ = det"]
LAM --> TRAPS["⚠ Tuzaklar:<br/>kompleks (rotasyon)<br/>tekrarlı / degenerate"]
X --> PCA["PCA<br/>(simetrik kov)"]
X --> RNN["RNN/dinamik<br/>(|λ| kararlılık)"]
X --> RIDGE["Ridge<br/>(A+λI özdeğer kayar)"]
style EQ fill:#fff3e0,stroke:#e67e22,stroke-width:3px
style TR fill:#fff3e0,stroke:#e67e22,stroke-width:2px
style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
PCA = kovaryans özvektörleri.
Spectral clustering / PageRank = graf matrisleri özvektörleri.
RNN/dinamik kararlılık = \(|\lambda|\) .
Trace = \(\sum\lambda\) , det = \(\prod\lambda\) → log-det = \(\sum \log \lambda\) , etkin rank.
Simetrik → gerçel + ortogonal → PCA, kernel yöntemleri sağlam.
Ax = λx — Özvektör
\(A\mathbf{x}\) genelde \(\mathbf{x}\) ’ten farklı yönde. Bazı özel vektörler için aynı doğrultuda, sadece ölçeklenmiş :
\[
A\mathbf{x} = \lambda \mathbf{x}
\]
\(\lambda\) pozitif/negatif/sıfır/kompleks olabilir. \(n \times n\) matrisin (genelde) \(n\) özdeğer/özvektörü vardır — matrisin doğal eksenleri .
λ = 0 ⟺ Singular
\(\lambda = 0\) → \(A\mathbf{x} = \mathbf{0}\) → \(\mathbf{x} \in N(A)\) .
\[
\lambda = 0 \text{ özdeğer} \iff A \text{ singular}
\]
Builder Notu: Graph Laplacian sıfır özdeğeri (Ders 12); sayısı = bağlı bileşen sayısı. Sıfıra yakın özdeğerler = “neredeyse tekil” yönler = kararsızlık.
Geometriden Özdeğer Okuma
Projeksiyon \(P\) : düzlemdeki \(\mathbf{x} \to \lambda = 1\) ; dik \(\mathbf{x} \to \lambda = 0\) .
Permütasyon \(\begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}\) : \((1, 1) \to \lambda = 1\) ; \((-1, 1) \to \lambda = -1\) .
“Those vectors are perpendicular. That’ll happen for symmetric matrices.” — Strang, 22:33
Builder Notu: Mimari biliyorsan özdeğerleri tahmin et — projeksiyon \(\{0, 1\}\) , ortogonal \(\{\pm 1, \text{birim çember}\}\) , idempotent \(\{0, 1\}\) .
Trace = Σλ, det = Πλ ⭐
\[
\sum_i \lambda_i = \text{trace}(A) = \sum_i a_{ii}
\]
\[
\prod_i \lambda_i = \det(A)
\]
2×2’de bu ikisi özdeğerleri tamamen belirler .
Permütasyon: trace = 0, det = −1 → \(\lambda_1 + \lambda_2 = 0\) , \(\lambda_1 \lambda_2 = -1\) → \(\lambda = \pm 1\) .
Karakteristik Denklem
\(A\mathbf{x} = \lambda \mathbf{x}\) → \((A - \lambda I)\mathbf{x} = \mathbf{0}\) . Sıfır-olmayan \(\mathbf{x}\) için \((A - \lambda I)\) singular:
\[
\boxed{\det(A - \lambda I) = 0}
\]
Strateji: (1) \(\lambda\) ’ları bul. (2) Her \(\lambda\) için null uzayı → \(\mathbf{x}\) .
Builder Notu: Pratikte asla polinom kökünden değil — QR iterasyonu (np.linalg.eig) iteratif/kararlı.
Tam Örnek — \(A = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}\)
\[
\det(A - \lambda I) = (3 - \lambda)^2 - 1 = \lambda^2 - 6\lambda + 8 = (\lambda - 4)(\lambda - 2)
\]
\(\lambda = 4, 2\) . Trace 6 ✓, det 8 ✓.
\(\lambda = 4\) : \(A - 4I = \begin{pmatrix} -1 & 1 \\ 1 & -1 \end{pmatrix}\) → \(\mathbf{x} = (1, 1)\) .
\(\lambda = 2\) : \(\mathbf{x} = (-1, 1)\) .
Dik özvektörler (simetrik matris).
import numpy as np
A = np.array([[3 , 1 ], [1 , 3 ]], dtype= float )
vals, vecs = np.linalg.eig(A)
print ("özdeğerler:" , vals)
print ("özvektörler (kolonlar): \n " , vecs)
print (f"trace = { np. trace(A)} = Σλ = { vals. sum ():.4f} " )
print (f"det = { np. linalg. det(A):.4f} = Πλ = { vals. prod():.4f} " )
A + cI ve A + B
\(A + cI\) : Özvektörler değişmez , özdeğerler \(+c\) kayar.
\[
(A + cI)\mathbf{x} = A\mathbf{x} + c\mathbf{x} = (\lambda + c)\mathbf{x}
\]
\(A + B\) : Özdeğerler toplanmaz (genelde) — farklı özvektörler.
Builder Notu: Ridge regularization \(A^T A + \lambda I\) tüm özdeğerleri \(\lambda\) kadar yukarı iter → sıfıra yakın özdeğerler pozitifleşir → iyi-koşullu, tersinir. Özvektörler korunur.
Kompleks Özdeğerler — Rotasyon
\(Q = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}\) (90° döndür). Hiçbir gerçel vektör aynı doğrultuda kalmaz.
\[
\det(Q - \lambda I) = \lambda^2 + 1 = 0 \implies \lambda = \pm i
\]
Antisimetrik (\(Q^T = -Q\) ) → saf imajiner. Simetrik (\(A^T = A\) ) → gerçel (Ders 25).
Tekrarlı Özdeğer — Degenerate
\(A = \begin{pmatrix} 3 & 1 \\ 0 & 3 \end{pmatrix}\) — özdeğerler 3, 3 (tekrarlı).
\(A - 3I = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}\) → tek özvektör \((1, 0)\) . İkinci yok.
Defective / degenerate → diagonalize edilemez (Jordan formu, Ders 28).
“A repeated lambda is the source of all trouble.” — Strang, 50:11
Builder Notu: Üç tuzak:
Kompleks → osilasyon (RNN, dinamik).
\(\|\lambda\|\) → kararlılık (< 1 sönümlü, > 1 patlar).
Degenerate → diagonalize edilemez; iyi haber: simetrik matrisler asla degenerate olmaz .
Bu Dersin Özeti
\(A\mathbf{x} = \lambda\mathbf{x}\) .
\(\lambda = 0\) iff singular.
Projeksiyon (1, 0); permütasyon (\(\pm 1\) ).
Trace + det özdeğerleri belirler.
Karakteristik denklem .
\(A + cI\) özdeğer kayar (ridge).
Kompleks (rotasyon).
Degenerate (tekrarlı, eksik özvektör).
Özvektörler matrisin doğal eksenleri (\(A\mathbf{x} = \lambda\mathbf{x}\) ); \(\det(A - \lambda I) = 0\) ile \(\lambda\) bulunur, \(\sum\lambda\) = trace , \(\prod\lambda = \det\) . PCA, RNN kararlılığı, ridge — hepsi buradan.
Kontrol Soruları
\((2-\lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = (\lambda-3)(\lambda-1)\) . \(\lambda = 3, 1\) .
\(\lambda = 3\) : \((1, 1)\) . \(\lambda = 1\) : \((-1, 1)\) . Dik (simetrik).
\(\lambda^2 - 5\lambda + 6 = (\lambda-2)(\lambda-3) = 0\) → 2, 3 .
7 olamaz: diğeri \(-2\) olur, \(7 \cdot (-2) = -14 \neq 6\) .
\(\lambda = 4, 4\) (tekrarlı). \(A - 4I\) rank 1 → tek özvektör \((1, 0)\) .
1 bağımsız özvektör . Defective, diagonalize edilemez.
PCA: Simetrik kovaryans → gerçel + ortogonal özvektör; en büyük λ = en çok varyans yönü.
RNN: \(A^k \mathbf{x}\) davranışı \(|\lambda|\) ile: \(< 1\) sönümlü, \(> 1\) patlar, kompleks = osilasyon. Ortogonal ağırlık (\(|\lambda| = 1\) ) kararlı.
Ridge: \(A^T A + \lambda I\) → tüm özdeğer \(+\lambda\) kayar; sıfıra yakın değerler pozitifleşir, iyi-koşullu.
Egzersizler
Egzersiz 1. \(A = (1\ 2 / 2\ 4)\) — det? Bir özdeğer?
Egzersiz 2. trace = 7, det = 12 → özdeğerler.
Egzersiz 3. 60° rotasyon → özdeğerler. Gerçel mi?
Egzersiz 4. (Python) np.linalg.eig + trace/det doğrulama.
Egzersiz 5. İspatla: \(\sum\lambda\) = trace, \(\prod\lambda = \det\) . (İpucu: karakteristik polinom \(\det(A - \lambda I) = \prod(\lambda_i - \lambda)\) ; \(\lambda = 0\) → det A; \(\lambda^{n-1}\) katsayısı trace.)
Sonraki Ders İçin Hazırlık
Ders 22: Diagonalization ve \(A^k\)
\(A = S \Lambda S^{-1}\) .
\(A^k = S \Lambda^k S^{-1}\) .
Fibonacci, fark denklemleri.
Egzersiz 5 (trace/det = Σλ, Πλ).
np.linalg.eig ile birkaç matris.
Anahtar Kavramlar (Cheat Sheet)
\(A\mathbf{x} = \lambda\mathbf{x}\)
Özvektör/özdeğer
2m36
\(\lambda = 0 \iff\) singular
Null özvektörleri
4m12
Projeksiyon
\(\{1, 0\}\)
6m03
Permütasyon
\(\{\pm 1\}\) , dik
10m39
Σλ = trace
Köşegen toplamı
14m50
Πλ = det
—
14m50
\(\det(A - \lambda I) = 0\)
Karakteristik
16m51
\(A + cI\)
Özdeğer \(+c\) , özvektör aynı
31m40
Kompleks
Rotasyon → \(\pm i\)
42m36
Degenerate
Tekrarlı + eksik özvektör
50m11
ML Bağlantıları Özeti
PCA = kovaryans özvektörleri .
Σλ, Πλ → log-det, etkin rank.
\(\|\lambda\|\) = RNN kararlılık .
Kompleks λ = osilasyon .
\(A + cI\) = ridge → özdeğerleri yukarı kaydır.
Degenerate → Jordan (Ders 28).
Simetrik → PCA, spectral, kernel sağlam temeli.
Özvektörler doğal eksenler (\(A\mathbf{x} = \lambda\mathbf{x}\) ); \(\sum\lambda\) = trace, \(\prod\lambda = \det\) . PCA, RNN kararlılığı, ridge — modern ML’in belkemiği.