27  Simetrik Matrisler ve Pozitif Tanımlılık

Spektral teorem — A = QΛQᵀ, gerçel λ, ortogonal q

NotBölüm bilgisi

27.1 Bu Derste Ne Var?

Matrislerin en sağlam sınıfı: simetrik (\(A = A^T\)).

  1. İki gerçek: özdeğerler gerçel, özvektörler dik.
  2. Spektral teorem: \(A = Q \Lambda Q^T\) (\(Q\) ortogonal, \(\Lambda\) gerçel köşegen).
  3. Spektral ayrışım: \(A = \sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\).
  4. Pozitif tanım: tüm \(\lambda > 0\) ⟺ tüm pivot \(> 0\) ⟺ tüm sol-üst alt-det \(> 0\).

“The eigenvalues are real and the eigenvectors are perpendicular.” — Strang, 1:09

flowchart LR
    SYM["Simetrik A = Aᵀ"] --> FACT["⭐ Gerçel λ<br/>Ortogonal qᵢ"]
    FACT --> SPEC["A = QΛQᵀ<br/>= Σ λᵢqᵢqᵢᵀ"]

    SYM --> PD["Pozitif tanım"]
    PD --> EQUIV["λᵢ > 0<br/>⟺ pivot > 0<br/>⟺ sol-üst alt-det > 0"]

    SPEC --> PCA["PCA<br/>(kovaryans)"]
    PD --> CHOL["Cholesky<br/>A = LLᵀ"]
    PD --> HESS["Hessian > 0<br/>= yerel min"]

    style FACT fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style EQUIV fill:#fff3e0,stroke:#e67e22,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    SYM["Simetrik A = Aᵀ"] --> FACT["⭐ Gerçel λ<br/>Ortogonal qᵢ"]
    FACT --> SPEC["A = QΛQᵀ<br/>= Σ λᵢqᵢqᵢᵀ"]

    SYM --> PD["Pozitif tanım"]
    PD --> EQUIV["λᵢ > 0<br/>⟺ pivot > 0<br/>⟺ sol-üst alt-det > 0"]

    SPEC --> PCA["PCA<br/>(kovaryans)"]
    PD --> CHOL["Cholesky<br/>A = LLᵀ"]
    PD --> HESS["Hessian > 0<br/>= yerel min"]

    style FACT fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style EQUIV fill:#fff3e0,stroke:#e67e22,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 27.1: Simetrik → A = QΛQᵀ (spektral teorem). Pozitif tanım → λ, pivot, alt-det > 0; PCA, Cholesky, Hessian.
İpucuBuilder Notu — Simetrik = ML’in Sağlam Zemini
  • Spektral teoremPCA: kovaryans simetrik → gerçel + ortogonal → ana bileşenler.
  • Pozitif tanımkovaryans, kernel (Gram), Hessian (konveks optimizasyon).
  • Cholesky (\(A = LL^T\)) sadece pozitif tanım için — Gaussian örnekleme, GP regresyon.
  • Pivot–özdeğer işaret eşitliği → Hessian’da saddle point teşhisi (Sylvester inertia).

27.2 İki Ana Gerçek

  1. Özdeğerler gerçel.
  2. Özvektörler dik (ortonormal seçilebilir).

Farklı özdeğerlerde otomatik dik; tekrarlı özdeğerde özuzaydan dik baz seçilir. Simetrik matris asla degenerate olmaz — her zaman tam özvektör seti.

27.3 Spektral Teorem — \(A = Q\Lambda Q^T\)

Genel \(A = S\Lambda S^{-1}\)’de \(S = Q\) (ortogonal):

\[ \boxed{A = Q \Lambda Q^T, \quad Q^T Q = I, \quad Q^{-1} = Q^T} \]

Simetri açık: \((Q\Lambda Q^T)^T = Q \Lambda^T Q^T = Q \Lambda Q^T = A\).

27.4 Gerçel Özdeğer İspatı

\(A\mathbf{x} = \lambda \mathbf{x}\). Eşlenik + transpoze:

\[ \bar{\mathbf{x}}^T A^T = \bar{\mathbf{x}}^T \bar{\lambda} \]

Simetri (\(A^T = A\)):

\[ \bar{\mathbf{x}}^T A = \bar{\mathbf{x}}^T \bar{\lambda} \]

İlk denklemi \(\bar{\mathbf{x}}^T\) ile, ikinciyi \(\mathbf{x}\) ile çarp → sol taraflar aynı:

\[ \lambda \bar{\mathbf{x}}^T \mathbf{x} = \bar{\lambda} \bar{\mathbf{x}}^T \mathbf{x} \]

\(\bar{\mathbf{x}}^T \mathbf{x} = \sum |x_i|^2 > 0\)\(\lambda = \bar{\lambda}\)gerçel.

Kompleks “iyi” matris: \(\bar{A}^T = A\) (Hermitian). Gerçel durumda = simetrik.

27.5 Spektral Ayrışım

\(A = Q\Lambda Q^T\)’yi kolon × satır:

\[ \boxed{A = \sum_i \lambda_i \mathbf{q}_i \mathbf{q}_i^T} \]

Her \(\mathbf{q}_i \mathbf{q}_i^T\) = dik projeksiyon matrisi (birim vektör, \(\mathbf{q}_i^T \mathbf{q}_i = 1\)\(P^2 = P\)).

“Every symmetric matrix is a combination of mutually perpendicular projection matrices.” — Strang, 27:57

Builder Notu: Bu ayrışım PCA’nın özü — veri = ana bileşen projeksiyonlarının ağırlıklı toplamı, ağırlıklar = varyanslar (özdeğerler).

27.6 Pivot İşareti = Özdeğer İşareti

Sylvester’s law of inertia:

\[ \#\{\text{pozitif pivot}\} = \#\{\text{pozitif özdeğer}\} \]

50×50 matris için 50 özdeğer hesaplamak pahalı ve kararsız; pivotlar hızlı ve kararlı.

Kuşatma: \(A - 7I\)’nin pivotları → kaç özdeğer 7’nin üstünde.

Builder Notu: Hessian’da saddle point ucuz teşhisi — LDLᵀ köşegen işaretleri.

27.7 Pozitif Tanım — Tanım ve Testler

Tanım: simetrik + tüm \(\lambda > 0\).

Eşdeğer testler:

Test Koşul
Özdeğerler hepsi \(> 0\)
Pivotlar hepsi \(> 0\)
Sol-üst alt-determinantlar hepsi \(> 0\)

27.8 Örnek — A = ((2, 1), (1, 2))

Simetrik ✓. Pivot \(2\), ikinci pivot \(3/2\) (det = 3). \(\lambda = 1, 3\). Sol-üst alt-det: \(2, 3\). Pozitif tanımlı ✓.

Karşı-örnek: \(\begin{pmatrix} -1 & 3 \\ 3 & 2 \end{pmatrix}\) — sol-üst \(1 \times 1 = -1 < 0\) → pozitif tanımlı değil (büyük det olsa bile).

“This fails the test because that minus one is negative.” — Strang, 42:12

Determinant tek başına yetmez — TÜM alt-determinantlar gerekir.

import numpy as np

A = np.array([[2, 1], [1, 2]], dtype=float)
print("özdeğerler:", np.linalg.eigvalsh(A))   # [1, 3]
print("sol-üst alt-det 1×1:", A[0, 0])
print("sol-üst alt-det 2×2:", np.linalg.det(A))
print("pozitif tanımlı mı?", np.all(np.linalg.eigvalsh(A) > 0))

# Cholesky (sadece PD için çalışır)
L = np.linalg.cholesky(A)
print("L (Cholesky):\n", L)
print("L Lᵀ = A?", np.allclose(L @ L.T, A))

27.9 Kursun Birleştiği Nokta

Üç ana araç simetrik matriste buluşur:

  • Pivotlar (Ders 2 — elimination)
  • Determinantlar (Ch 5)
  • Özdeğerler (Ch 6)

Simetrik (özellikle PD) matriste her birinin işareti diğerlerini söyler. SVD (Ders 29) bunu n×n simetrik-olmayana genelleştirecek.

27.10 Bu Dersin Özeti

  1. Simetrik: gerçel λ + dik q.
  2. \(A = Q\Lambda Q^T\).
  3. Gerçel özdeğer ispatı (eşlenik + simetri).
  4. Spektral ayrışım = \(\sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\).
  5. Pivot işareti = özdeğer işareti.
  6. Pozitif tanım üç eşdeğer test.
  7. Determinant tek başına yetmez.
ÖnemliTek bir cümle

Simetrik matrisler gerçel özdeğer + ortogonal özvektör garantiler (\(A = Q\Lambda Q^T\)); pozitif tanımlı olanlarda tüm λ, pivot, sol-üst alt-det > 0 — PCA, Cholesky, Hessian, kernel methods’un sağlam temeli.

27.11 Kontrol Soruları

Pivot \(2, 3/2\) > 0. \(\lambda = 1, 3\) > 0. Alt-det \(2, 3\) > 0. ✓ PD.

\(\lambda = 4, 1\). \(\det = 4\). trace = 5.

30 +, 20 -. PD değil (negatif λ var).

PCA: kovaryans simetrik → \(A = Q\Lambda Q^T\), \(Q\) ana bileşenler, \(\Lambda\) varyanslar.

Cholesky (\(A = L L^T\)) sadece PD için — Gaussian örnekleme \(\mathbf{x} = L\mathbf{z}\), GP regresyonu, lineer sistem çözümü.

27.12 Egzersizler

Egzersiz 1. \(A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}\) PD doğrula (pivot + λ + alt-det).

Egzersiz 2. Spektral ayrışımdan \(\lambda\), \(\det\).

Egzersiz 3. Pivot işaret sayımıyla özdeğer sayısı.

Egzersiz 4. (Python) eigvalsh, cholesky, alt-det.

Egzersiz 5. İspatla: Simetrik + farklı özdeğerler → özvektörler dik. (İpucu: \(\mathbf{x}^T A \mathbf{y}\)’yi iki yoldan hesapla.)

27.13 Sonraki Ders İçin Hazırlık

Ders 26: Kompleks Matrisler ve FFT

  • Hermitian, üniter.
  • Fourier matrisi \(F_n\), FFT \(O(n \log n)\).
UyarıDers 26 öncesi
  • Egzersiz 5 (ortogonal özvektör ispatı).
  • eigvalsh ile simetrik matris dene.

27.14 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
Simetrik \(A = A^T\) 0m30
İki gerçek Gerçel λ + dik q 1m09
Spektral teorem \(A = Q\Lambda Q^T\) 8m08
Spektral ayrışım \(\sum \lambda_i \mathbf{q}_i \mathbf{q}_i^T\) 27m57
Gerçel ispatı \(\bar{\mathbf{x}}^T \mathbf{x} > 0\) 12m29
Hermitian \(\bar{A}^T = A\) 24m20
Pivot–λ işareti Sylvester inertia 32m58
Pozitif tanım \(\lambda > 0\) ⟺ pivot > 0 ⟺ alt-det > 0 36m20

27.15 ML Bağlantıları Özeti

İpucu7 köprü
  1. PCA = spektral teorem → Kovaryans → ana bileşenler.
  2. Pozitif tanım = konveks optim → Hessian PD = yerel min.
  3. Cholesky \(A = LL^T\) → Gaussian örnekleme, GP regresyon.
  4. Kernel matrisler PD → Kernel PCA, spektral clustering, GP.
  5. Pivot işaret testi → Saddle point teşhisi (LDLᵀ inertia).
  6. Hermitian / üniter → Kuantum, kompleks ağlar, FFT.
  7. Stable training → Simetrik kısıtlar; degenerate olmaz.
ÖnemliTek bir şey alıp gideceksen

Simetrik → gerçel λ + dik q; \(A = Q\Lambda Q^T\) (spektral). PD: tüm λ > 0 (= pivot > 0 = sol-üst alt-det > 0). PCA, Cholesky, Hessian, kernel — ML’in sağlam zemini.