Bu Derste Ne Var?
Matrislerin en sağlam sınıfı: simetrik (\(A = A^T\)).
- İki gerçek: özdeğerler gerçel, özvektörler dik.
- Spektral teorem: \(A = Q \Lambda Q^T\) (\(Q\) ortogonal, \(\Lambda\) gerçel köşegen).
- Spektral ayrışım: \(A = \sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\).
- Pozitif tanım: tüm \(\lambda > 0\) ⟺ tüm pivot \(> 0\) ⟺ tüm sol-üst alt-det \(> 0\).
“The eigenvalues are real and the eigenvectors are perpendicular.” — Strang, 1:09
flowchart LR
SYM["Simetrik A = Aᵀ"] --> FACT["⭐ Gerçel λ<br/>Ortogonal qᵢ"]
FACT --> SPEC["A = QΛQᵀ<br/>= Σ λᵢqᵢqᵢᵀ"]
SYM --> PD["Pozitif tanım"]
PD --> EQUIV["λᵢ > 0<br/>⟺ pivot > 0<br/>⟺ sol-üst alt-det > 0"]
SPEC --> PCA["PCA<br/>(kovaryans)"]
PD --> CHOL["Cholesky<br/>A = LLᵀ"]
PD --> HESS["Hessian > 0<br/>= yerel min"]
style FACT fill:#fff3e0,stroke:#e67e22,stroke-width:3px
style EQUIV fill:#fff3e0,stroke:#e67e22,stroke-width:2px
style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
- Spektral teorem → PCA: kovaryans simetrik → gerçel + ortogonal → ana bileşenler.
- Pozitif tanım → kovaryans, kernel (Gram), Hessian (konveks optimizasyon).
- Cholesky (\(A = LL^T\)) sadece pozitif tanım için — Gaussian örnekleme, GP regresyon.
- Pivot–özdeğer işaret eşitliği → Hessian’da saddle point teşhisi (Sylvester inertia).
İki Ana Gerçek
- Özdeğerler gerçel.
- Özvektörler dik (ortonormal seçilebilir).
Farklı özdeğerlerde otomatik dik; tekrarlı özdeğerde özuzaydan dik baz seçilir. Simetrik matris asla degenerate olmaz — her zaman tam özvektör seti.
Spektral Teorem — \(A = Q\Lambda Q^T\) ⭐
Genel \(A = S\Lambda S^{-1}\)’de \(S = Q\) (ortogonal):
\[
\boxed{A = Q \Lambda Q^T, \quad Q^T Q = I, \quad Q^{-1} = Q^T}
\]
Simetri açık: \((Q\Lambda Q^T)^T = Q \Lambda^T Q^T = Q \Lambda Q^T = A\).
Gerçel Özdeğer İspatı
\(A\mathbf{x} = \lambda \mathbf{x}\). Eşlenik + transpoze:
\[
\bar{\mathbf{x}}^T A^T = \bar{\mathbf{x}}^T \bar{\lambda}
\]
Simetri (\(A^T = A\)):
\[
\bar{\mathbf{x}}^T A = \bar{\mathbf{x}}^T \bar{\lambda}
\]
İlk denklemi \(\bar{\mathbf{x}}^T\) ile, ikinciyi \(\mathbf{x}\) ile çarp → sol taraflar aynı:
\[
\lambda \bar{\mathbf{x}}^T \mathbf{x} = \bar{\lambda} \bar{\mathbf{x}}^T \mathbf{x}
\]
\(\bar{\mathbf{x}}^T \mathbf{x} = \sum |x_i|^2 > 0\) → \(\lambda = \bar{\lambda}\) → gerçel.
Kompleks “iyi” matris: \(\bar{A}^T = A\) (Hermitian). Gerçel durumda = simetrik.
Spektral Ayrışım
\(A = Q\Lambda Q^T\)’yi kolon × satır:
\[
\boxed{A = \sum_i \lambda_i \mathbf{q}_i \mathbf{q}_i^T}
\]
Her \(\mathbf{q}_i \mathbf{q}_i^T\) = dik projeksiyon matrisi (birim vektör, \(\mathbf{q}_i^T \mathbf{q}_i = 1\) → \(P^2 = P\)).
“Every symmetric matrix is a combination of mutually perpendicular projection matrices.” — Strang, 27:57
Builder Notu: Bu ayrışım PCA’nın özü — veri = ana bileşen projeksiyonlarının ağırlıklı toplamı, ağırlıklar = varyanslar (özdeğerler).
Pivot İşareti = Özdeğer İşareti
Sylvester’s law of inertia:
\[
\#\{\text{pozitif pivot}\} = \#\{\text{pozitif özdeğer}\}
\]
50×50 matris için 50 özdeğer hesaplamak pahalı ve kararsız; pivotlar hızlı ve kararlı.
Kuşatma: \(A - 7I\)’nin pivotları → kaç özdeğer 7’nin üstünde.
Builder Notu: Hessian’da saddle point ucuz teşhisi — LDLᵀ köşegen işaretleri.
Pozitif Tanım — Tanım ve Testler
Tanım: simetrik + tüm \(\lambda > 0\).
Eşdeğer testler:
| Özdeğerler |
hepsi \(> 0\) |
| Pivotlar |
hepsi \(> 0\) |
| Sol-üst alt-determinantlar |
hepsi \(> 0\) |
Örnek — A = ((2, 1), (1, 2))
Simetrik ✓. Pivot \(2\), ikinci pivot \(3/2\) (det = 3). \(\lambda = 1, 3\). Sol-üst alt-det: \(2, 3\). Pozitif tanımlı ✓.
Karşı-örnek: \(\begin{pmatrix} -1 & 3 \\ 3 & 2 \end{pmatrix}\) — sol-üst \(1 \times 1 = -1 < 0\) → pozitif tanımlı değil (büyük det olsa bile).
“This fails the test because that minus one is negative.” — Strang, 42:12
Determinant tek başına yetmez — TÜM alt-determinantlar gerekir.
import numpy as np
A = np.array([[2, 1], [1, 2]], dtype=float)
print("özdeğerler:", np.linalg.eigvalsh(A)) # [1, 3]
print("sol-üst alt-det 1×1:", A[0, 0])
print("sol-üst alt-det 2×2:", np.linalg.det(A))
print("pozitif tanımlı mı?", np.all(np.linalg.eigvalsh(A) > 0))
# Cholesky (sadece PD için çalışır)
L = np.linalg.cholesky(A)
print("L (Cholesky):\n", L)
print("L Lᵀ = A?", np.allclose(L @ L.T, A))
Kursun Birleştiği Nokta
Üç ana araç simetrik matriste buluşur:
- Pivotlar (Ders 2 — elimination)
- Determinantlar (Ch 5)
- Özdeğerler (Ch 6)
Simetrik (özellikle PD) matriste her birinin işareti diğerlerini söyler. SVD (Ders 29) bunu n×n simetrik-olmayana genelleştirecek.
Bu Dersin Özeti
- Simetrik: gerçel λ + dik q.
- \(A = Q\Lambda Q^T\).
- Gerçel özdeğer ispatı (eşlenik + simetri).
- Spektral ayrışım = \(\sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\).
- Pivot işareti = özdeğer işareti.
- Pozitif tanım üç eşdeğer test.
- Determinant tek başına yetmez.
Simetrik matrisler gerçel özdeğer + ortogonal özvektör garantiler (\(A = Q\Lambda Q^T\)); pozitif tanımlı olanlarda tüm λ, pivot, sol-üst alt-det > 0 — PCA, Cholesky, Hessian, kernel methods’un sağlam temeli.
Kontrol Soruları
Pivot \(2, 3/2\) > 0. \(\lambda = 1, 3\) > 0. Alt-det \(2, 3\) > 0. ✓ PD.
\(\lambda = 4, 1\). \(\det = 4\). trace = 5.
30 +, 20 -. PD değil (negatif λ var).
PCA: kovaryans simetrik → \(A = Q\Lambda Q^T\), \(Q\) ana bileşenler, \(\Lambda\) varyanslar.
Cholesky (\(A = L L^T\)) sadece PD için — Gaussian örnekleme \(\mathbf{x} = L\mathbf{z}\), GP regresyonu, lineer sistem çözümü.
Egzersizler
Egzersiz 1. \(A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}\) PD doğrula (pivot + λ + alt-det).
Egzersiz 2. Spektral ayrışımdan \(\lambda\), \(\det\).
Egzersiz 3. Pivot işaret sayımıyla özdeğer sayısı.
Egzersiz 4. (Python) eigvalsh, cholesky, alt-det.
Egzersiz 5. İspatla: Simetrik + farklı özdeğerler → özvektörler dik. (İpucu: \(\mathbf{x}^T A \mathbf{y}\)’yi iki yoldan hesapla.)
Sonraki Ders İçin Hazırlık
Ders 26: Kompleks Matrisler ve FFT
- Hermitian, üniter.
- Fourier matrisi \(F_n\), FFT \(O(n \log n)\).
- Egzersiz 5 (ortogonal özvektör ispatı).
eigvalsh ile simetrik matris dene.
Anahtar Kavramlar (Cheat Sheet)
| Simetrik |
\(A = A^T\) |
0m30 |
| İki gerçek |
Gerçel λ + dik q |
1m09 |
| Spektral teorem |
\(A = Q\Lambda Q^T\) |
8m08 |
| Spektral ayrışım |
\(\sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\) |
27m57 |
| Gerçel ispatı |
\(\bar{\mathbf{x}}^T \mathbf{x} > 0\) |
12m29 |
| Hermitian |
\(\bar{A}^T = A\) |
24m20 |
| Pivot–λ işareti |
Sylvester inertia |
32m58 |
| Pozitif tanım |
\(\lambda > 0\) ⟺ pivot > 0 ⟺ alt-det > 0 |
36m20 |
ML Bağlantıları Özeti
- PCA = spektral teorem → Kovaryans → ana bileşenler.
- Pozitif tanım = konveks optim → Hessian PD = yerel min.
- Cholesky \(A = LL^T\) → Gaussian örnekleme, GP regresyon.
- Kernel matrisler PD → Kernel PCA, spektral clustering, GP.
- Pivot işaret testi → Saddle point teşhisi (LDLᵀ inertia).
- Hermitian / üniter → Kuantum, kompleks ağlar, FFT.
- Stable training → Simetrik kısıtlar; degenerate olmaz.
Simetrik → gerçel λ + dik q; \(A = Q\Lambda Q^T\) (spektral). PD: tüm λ > 0 (= pivot > 0 = sol-üst alt-det > 0). PCA, Cholesky, Hessian, kernel — ML’in sağlam zemini.