30 Benzer Matrisler ve Jordan Formu

B = M⁻¹AM — aynı özdeğer ailesi

Bölüm bilgisi

Strang’in videosu: YouTube — Lecture 28: Similar Matrices and Jordan Form (≈46 dk)
OCW sayfası: MIT 18.06SC — Lecture 28
Okuma süresi: ≈38 dk

30.1 Bu Derste Ne Var?

$A^T A$ pozitif (yarı-)tanım — least squares kalbi.
Benzer: $B = M^{-1} A M$, aynı özdeğer.
Diagonalize = benzerlik: $A \sim \Lambda$.
Jordan formu — defective matrisler için en yakın köşegen.

“Similar matrices have the same eigenvalues.” — Strang, 20:31

flowchart LR
    ATA["AᵀA ≥ 0<br/>(bağımsız kolon → PD)"] --> LS["Least squares"]
    SIM["B = M⁻¹AM"] --> SAME["aynı λ<br/>özvektör M⁻¹x"]
    SAME --> DIAG["A ~ Λ (köşegen)"]
    SAME --> JORDAN["Defective → Jordan formu"]
    JORDAN --> UNSTABLE["⚠ Sayısal kırılgan"]
    UNSTABLE --> SVD["Pratik → SVD (Ders 29)"]

    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:3px

flowchart LR
    ATA["AᵀA ≥ 0<br/>(bağımsız kolon → PD)"] --> LS["Least squares"]
    SIM["B = M⁻¹AM"] --> SAME["aynı λ<br/>özvektör M⁻¹x"]
    SAME --> DIAG["A ~ Λ (köşegen)"]
    SAME --> JORDAN["Defective → Jordan formu"]
    JORDAN --> UNSTABLE["⚠ Sayısal kırılgan"]
    UNSTABLE --> SVD["Pratik → SVD (Ders 29)"]

    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:3px

Şekil 30.1: AᵀA → least squares; benzerlik aileleri; defective → Jordan; pratik → SVD.

Builder Notu — Defective = Kırılgan

$A^T A$ = Gram matrisi her yerde: kernel, kovaryans, normal denklemler, $QK^T$ benzeri.
Benzerlik = baz değişimi; özdeğerler baz-bağımsız (dinamik sistem içsel özellikleri).
Jordan sayısal kötü → en ufak pertürbasyon yapıyı bozar; pratik = SVD her matris için kararlı.
Tekrarlı λ + Jordan → polinom $\times$ üstel çözümler (rezonans).

30.2 AᵀA Pozitif Tanım

Enerji testi:

\[ \mathbf{x}^T A^T A \mathbf{x} = (A\mathbf{x})^T (A\mathbf{x}) = \|A\mathbf{x}\|^2 \geq 0 \]

Tam PD ⟺ $A$ kolonları bağımsız ($N(A) = \{\mathbf{0}\}$). Least squares matemağının temeli.

30.3 Pozitif Tanım Ek Gerçekler

$A^{-1}$ PD ($1/\lambda > 0$).
$A + B$ PD (enerji toplanır).

30.4 Benzer Matris

\[ B = M^{-1} A M \]

Bu özel kombinasyonu zaten biliyoruz — diagonalize $S^{-1} A S = \Lambda$.

Köşegenleştirme = benzerlik: $A \sim \Lambda$.

30.5 Aynı Özdeğer İspatı ⭐

$A\mathbf{x} = \lambda \mathbf{x}$ → $M^{-1} A M (M^{-1} \mathbf{x}) = \lambda (M^{-1} \mathbf{x})$.

\[ B(M^{-1}\mathbf{x}) = \lambda (M^{-1}\mathbf{x}) \]

$\lambda$ aynı; özvektör $M^{-1}\mathbf{x}$.

30.6 Aile Örneği — Özdeğer 3, 1

$A = ((2, 1), (1, 2))$, $\Lambda = \text{diag}(3, 1)$. Rastgele $M$ → $B = M^{-1} A M$ — iz 4, det 3, özdeğer 3, 1.

Sonsuz matris bu ailede; en sade üye $\Lambda$.

import numpy as np

A = np.array([[2, 1], [1, 2]], dtype=float)
M = np.array([[1, 4], [1, 0]], dtype=float)
B = np.linalg.inv(M) @ A @ M
print("A özdeğer:", np.linalg.eigvals(A))
print("B özdeğer:", np.linalg.eigvals(B))   # aynı
print("trace(A) =", np.trace(A), ", trace(B) =", np.trace(B))   # aynı
print("det(A) =", np.linalg.det(A), ", det(B) =", np.linalg.det(B))   # aynı

30.7 Tekrarlı Özdeğer — İki Aile

$\lambda = 4, 4$ için iki ayrı aile:

Aile 1 — yalnız üye: $4I$. $M^{-1}(4I)M = 4I$ her $M$ için.

Aile 2 — büyük aile: $\begin{pmatrix} 4 & 1 \\ 0 & 4 \end{pmatrix}$ ve özdeğer $4, 4$ olan tüm defective matrisler. Tek özvektör → diagonalize edilemez.

30.8 Jordan Formu

Defective ailenin en güzel üyesi (köşegen değil, köşegene en yakın):

\[ J = \begin{pmatrix} 4 & 1 \\ 0 & 4 \end{pmatrix} \]

Jordan bloğu: köşegende tekrarlı $\lambda$, üstte $1$, tek özvektör.

“For every missing eigenvector, we put a one above the diagonal.” — Strang, 39:31

30.9 Jordan Teoremi

Her kare matris bir Jordan matrisine benzerdir.

Blok sayısı = bağımsız özvektör sayısı.

İyi durum (distinct λ): her blok $1 \times 1$ → $J = \Lambda$.
Kötü durum (tekrarlı + eksik): Jordan bloklarıyla “tamamlanır”.

“I’m not that crazy about the Jordan form. But I’m very positive about the singular value decomposition.” — Strang, 45:28

Builder Notu: Jordan sayısal kırılgan → en ufak pertürbasyon özdeğer ayırır, rank değişir. Pratik araçlar SVD veya Schur ayrışımı.

30.10 Bu Dersin Özeti

$A^T A$ PSD; bağımsız kolon → PD.
$A^{-1}$ PD, $A + B$ PD.
$B = M^{-1} A M$ benzer.
Aynı özdeğer, özvektör $M^{-1}\mathbf{x}$.
Diagonalize = benzerlik.
Tekrarlı λ → iki aile ($cI$ yalnız; defective büyük aile).
Jordan formu = köşegene en yakın.
Jordan teoremi; blok = özvektör sayısı.
Sayısal kırılgan → SVD tercih.

Tek bir cümle

Benzer matrisler aynı özdeğer ailesi; en sade üye $\Lambda$ (diagonalize edilebilirse) ya da Jordan formu (defective). Jordan kırılgan → pratik SVD (Ders 29).

30.11 Kontrol Soruları

Soru 1: AᵀA PSD ispatı.

$\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 \geq 0$. Sıfır ancak $A\mathbf{x} = \mathbf{0}$.

Soru 2: AᵀA tam PD ne zaman?

$A$ kolonları bağımsız ($N(A) = \{\mathbf{0}\}$).

Soru 3: Benzer matrislerin ortak ve farklı özellikleri?

Ortak: özdeğerler, trace, det. Farklı: özvektörler ($\mathbf{x}$ → $M^{-1}\mathbf{x}$), giriş değerleri.

Soru 4: 4I niye tek aile?

$M^{-1}(4I)M = 4I$ her $M$ için.

Soru 5: Aynı λ + aynı özvektör sayısı → benzer mi?

Hayır. 4×4 örnek: $3 + 1$ blok vs $2 + 2$ blok, ikisi de 2 özvektör ama benzer değil. Blok yapısı eşleşmeli.

30.12 Egzersizler

Egzersiz 1. $A = ((2, 1), (1, 2))$ PD. $A^{-1}$ PD mi?

Egzersiz 2. $((5, 1), (-1, 3))$ Jordan formu? Diagonalize edilebilir mi?

Egzersiz 3. 3×3 λ = 5, 5, 5, 1 özvektör → Jordan formu?

Egzersiz 4. (Python) Benzer matris ispatı.

Egzersiz 5. İspatla: Benzer matrisler aynı karakteristik polinom. ($\det(B - \lambda I) = \det(M^{-1}) \det(A - \lambda I) \det(M)$.)

30.13 Sonraki Ders İçin Hazırlık

Ders 29: Tekil Değer Ayrışımı (SVD) — kursun gerçek doruğu. $A = U\Sigma V^T$ her matris için (kare/dikdörtgen, simetrik/değil). LoRA, PCA, boyut indirme, öneri.

Ders 29 öncesi

Egzersiz 5 (karakteristik polinom).

30.14 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım
$A^{-1}$ PD	$\lambda \to 1/\lambda$
$A + B$ PD	Enerji toplanır
$A^T A$ PSD	$\\|A\mathbf{x}\\|^2 \geq 0$; bağımsız kolon → PD
Benzer	$B = M^{-1} A M$
Aynı λ	Özvektör $M^{-1}\mathbf{x}$
Diagonalize	$S^{-1} A S = \Lambda$; $A \sim \Lambda$
Jordan bloğu	$\lambda$ köşegen, 1 üst, tek özvektör
Jordan teoremi	Her A bir J’ye benzer; #blok = #özvektör
İyi durum	Distinct → $J = \Lambda$

30.15 ML Bağlantıları Özeti

5 köprü

$A^T A$ = Gram → Kernel, kovaryans, normal denklemler, attention.
Benzerlik = baz değişimi → Özdeğer baz-bağımsız invariant.
Jordan kırılgan → SVD → Pratik araçlar SVD/Schur.
Tekrarlı λ → polinom × üstel → Rezonans, RNN/dinamik.
Defective Hessian → optim güçlükleri.

Tek bir şey alıp gideceksen

Benzer matrisler = aynı özdeğer ailesi; en sade $\Lambda$ ya da Jordan formu (defective). Pratikte SVD (Ders 29) — kararlı, evrensel.

--- title: "Benzer Matrisler ve Jordan Formu" subtitle: "B = M⁻¹AM — aynı özdeğer ailesi" --- ::: {.callout-note title="Bölüm bilgisi"} - **Strang'in videosu:** [YouTube — Lecture 28: Similar Matrices and Jordan Form](https://www.youtube.com/watch?v=TSdXJw83kyA) (≈46 dk) - **OCW sayfası:** [MIT 18.06SC — Lecture 28](https://ocw.mit.edu/courses/18-06sc-linear-algebra-fall-2011/resources/lecture-28-similar-matrices-and-jordan-form/) - **Okuma süresi:** ≈38 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} 1. **$A^T A$ pozitif (yarı-)tanım** — least squares kalbi. 2. **Benzer:** $B = M^{-1} A M$, aynı özdeğer. 3. **Diagonalize = benzerlik**: $A \sim \Lambda$. 4. **Jordan formu** — defective matrisler için en yakın köşegen. > *"Similar matrices have the same eigenvalues."* — Strang, 20:31 ```{mermaid} %%| label: fig-concept-map %%| fig-cap: "AᵀA → least squares; benzerlik aileleri; defective → Jordan; pratik → SVD." flowchart LR ATA["AᵀA ≥ 0<br/>(bağımsız kolon → PD)"] --> LS["Least squares"] SIM["B = M⁻¹AM"] --> SAME["aynı λ<br/>özvektör M⁻¹x"] SAME --> DIAG["A ~ Λ (köşegen)"] SAME --> JORDAN["Defective → Jordan formu"] JORDAN --> UNSTABLE["⚠ Sayısal kırılgan"] UNSTABLE --> SVD["Pratik → SVD (Ders 29)"] style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:3px ``` ::: {.callout-tip title="Builder Notu — Defective = Kırılgan"} - **$A^T A$ = Gram matrisi** her yerde: kernel, kovaryans, normal denklemler, $QK^T$ benzeri. - **Benzerlik = baz değişimi**; özdeğerler **baz-bağımsız** (dinamik sistem içsel özellikleri). - **Jordan sayısal kötü** → en ufak pertürbasyon yapıyı bozar; pratik = **SVD** her matris için kararlı. - **Tekrarlı λ + Jordan** → polinom $\times$ üstel çözümler (rezonans). ::: ## AᵀA Pozitif Tanım {#sec-AtA} Enerji testi: $$ \mathbf{x}^T A^T A \mathbf{x} = (A\mathbf{x})^T (A\mathbf{x}) = \|A\mathbf{x}\|^2 \geq 0 $$ **Tam PD** ⟺ $A$ kolonları bağımsız ($N(A) = \{\mathbf{0}\}$). Least squares matemağının temeli. ## Pozitif Tanım Ek Gerçekler {#sec-PD-ek} - **$A^{-1}$ PD** ($1/\lambda > 0$). - **$A + B$ PD** (enerji toplanır). ## Benzer Matris {#sec-benzer} $$ B = M^{-1} A M $$ Bu özel kombinasyonu zaten biliyoruz — diagonalize $S^{-1} A S = \Lambda$. **Köşegenleştirme = benzerlik**: $A \sim \Lambda$. ## Aynı Özdeğer İspatı ⭐ {#sec-ispat} $A\mathbf{x} = \lambda \mathbf{x}$ → $M^{-1} A M (M^{-1} \mathbf{x}) = \lambda (M^{-1} \mathbf{x})$. $$ B(M^{-1}\mathbf{x}) = \lambda (M^{-1}\mathbf{x}) $$ **$\lambda$ aynı**; özvektör $M^{-1}\mathbf{x}$. ## Aile Örneği — Özdeğer 3, 1 {#sec-aile} $A = ((2, 1), (1, 2))$, $\Lambda = \text{diag}(3, 1)$. Rastgele $M$ → $B = M^{-1} A M$ — iz 4, det 3, **özdeğer 3, 1**. Sonsuz matris bu ailede; **en sade üye $\Lambda$**. ```{python} #| label: code-similar #| code-fold: false import numpy as np A = np.array([[2, 1], [1, 2]], dtype=float) M = np.array([[1, 4], [1, 0]], dtype=float) B = np.linalg.inv(M) @ A @ M print("A özdeğer:", np.linalg.eigvals(A)) print("B özdeğer:", np.linalg.eigvals(B)) # aynı print("trace(A) =", np.trace(A), ", trace(B) =", np.trace(B)) # aynı print("det(A) =", np.linalg.det(A), ", det(B) =", np.linalg.det(B)) # aynı ``` ## Tekrarlı Özdeğer — İki Aile {#sec-tekrarli} $\lambda = 4, 4$ için iki ayrı aile: **Aile 1 — yalnız üye:** $4I$. $M^{-1}(4I)M = 4I$ her $M$ için. **Aile 2 — büyük aile:** $\begin{pmatrix} 4 & 1 \\ 0 & 4 \end{pmatrix}$ ve özdeğer $4, 4$ olan tüm defective matrisler. Tek özvektör → diagonalize edilemez. ## Jordan Formu {#sec-jordan} Defective ailenin en güzel üyesi (köşegen değil, **köşegene en yakın**): $$ J = \begin{pmatrix} 4 & 1 \\ 0 & 4 \end{pmatrix} $$ **Jordan bloğu:** köşegende tekrarlı $\lambda$, üstte $1$, tek özvektör. > *"For every missing eigenvector, we put a one above the diagonal."* — Strang, 39:31 ## Jordan Teoremi {#sec-J-teorem} > Her kare matris bir Jordan matrisine benzerdir. **Blok sayısı = bağımsız özvektör sayısı.** - **İyi durum** (distinct λ): her blok $1 \times 1$ → $J = \Lambda$. - **Kötü durum** (tekrarlı + eksik): Jordan bloklarıyla "tamamlanır". > *"I'm not that crazy about the Jordan form. But I'm very positive about the singular value decomposition."* — Strang, 45:28 **Builder Notu:** Jordan sayısal kırılgan → en ufak pertürbasyon özdeğer ayırır, rank değişir. Pratik araçlar **SVD** veya Schur ayrışımı. ## Bu Dersin Özeti {#sec-ozet} 1. **$A^T A$ PSD; bağımsız kolon → PD**. 2. **$A^{-1}$ PD**, **$A + B$ PD**. 3. **$B = M^{-1} A M$ benzer**. 4. **Aynı özdeğer**, özvektör $M^{-1}\mathbf{x}$. 5. **Diagonalize = benzerlik**. 6. **Tekrarlı λ → iki aile** ($cI$ yalnız; defective büyük aile). 7. **Jordan formu** = köşegene en yakın. 8. **Jordan teoremi**; blok = özvektör sayısı. 9. **Sayısal kırılgan → SVD tercih**. ::: {.callout-important title="Tek bir cümle"} Benzer matrisler **aynı özdeğer ailesi**; en sade üye $\Lambda$ (diagonalize edilebilirse) ya da **Jordan formu** (defective). Jordan kırılgan → pratik **SVD** (Ders 29). ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: AᵀA PSD ispatı."} $\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 \geq 0$. Sıfır ancak $A\mathbf{x} = \mathbf{0}$. ::: ::: {.callout-note collapse="true" title="Soru 2: AᵀA tam PD ne zaman?"} $A$ kolonları bağımsız ($N(A) = \{\mathbf{0}\}$). ::: ::: {.callout-note collapse="true" title="Soru 3: Benzer matrislerin ortak ve farklı özellikleri?"} **Ortak:** özdeğerler, trace, det. **Farklı:** özvektörler ($\mathbf{x}$ → $M^{-1}\mathbf{x}$), giriş değerleri. ::: ::: {.callout-note collapse="true" title="Soru 4: 4I niye tek aile?"} $M^{-1}(4I)M = 4I$ her $M$ için. ::: ::: {.callout-note collapse="true" title="Soru 5: Aynı λ + aynı özvektör sayısı → benzer mi?"} **Hayır.** 4×4 örnek: $3 + 1$ blok vs $2 + 2$ blok, ikisi de 2 özvektör ama benzer değil. Blok yapısı eşleşmeli. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $A = ((2, 1), (1, 2))$ PD. $A^{-1}$ PD mi? **Egzersiz 2.** $((5, 1), (-1, 3))$ Jordan formu? Diagonalize edilebilir mi? **Egzersiz 3.** 3×3 λ = 5, 5, 5, 1 özvektör → Jordan formu? **Egzersiz 4.** *(Python)* Benzer matris ispatı. **Egzersiz 5.** *İspatla:* Benzer matrisler aynı karakteristik polinom. ($\det(B - \lambda I) = \det(M^{-1}) \det(A - \lambda I) \det(M)$.) ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 29: Tekil Değer Ayrışımı (SVD)** — kursun gerçek doruğu. **$A = U\Sigma V^T$** her matris için (kare/dikdörtgen, simetrik/değil). LoRA, PCA, boyut indirme, öneri. ::: {.callout-warning title="Ders 29 öncesi"} - Egzersiz 5 (karakteristik polinom). ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | |--------|-------| | **$A^{-1}$ PD** | $\lambda \to 1/\lambda$ | | **$A + B$ PD** | Enerji toplanır | | **$A^T A$ PSD** | $\|A\mathbf{x}\|^2 \geq 0$; bağımsız kolon → PD | | **Benzer** | $B = M^{-1} A M$ | | **Aynı λ** | Özvektör $M^{-1}\mathbf{x}$ | | **Diagonalize** | $S^{-1} A S = \Lambda$; $A \sim \Lambda$ | | **Jordan bloğu** | $\lambda$ köşegen, 1 üst, tek özvektör | | **Jordan teoremi** | Her A bir J'ye benzer; #blok = #özvektör | | **İyi durum** | Distinct → $J = \Lambda$ | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="5 köprü"} 1. **$A^T A$ = Gram** → Kernel, kovaryans, normal denklemler, attention. 2. **Benzerlik = baz değişimi** → Özdeğer baz-bağımsız invariant. 3. **Jordan kırılgan → SVD** → Pratik araçlar SVD/Schur. 4. **Tekrarlı λ → polinom × üstel** → Rezonans, RNN/dinamik. 5. **Defective Hessian → optim güçlükleri**. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} Benzer matrisler = aynı özdeğer ailesi; en sade $\Lambda$ ya da **Jordan formu** (defective). Pratikte **SVD** (Ders 29) — kararlı, evrensel. :::