29 Pozitif Tanımlı Matrisler ve Minimumlar

xᵀAx > 0 — enerji, Hessian, ellipsoid

Bölüm bilgisi

Strang’in videosu: YouTube — Lecture 27: Positive Definite Matrices and Minima (≈50 dk)
OCW sayfası: MIT 18.06SC — Lecture 27
Okuma süresi: ≈40 dk

29.1 Bu Derste Ne Var?

Dört eşdeğer test: λ > 0, alt-det > 0, pivot > 0, $\mathbf{x}^T A \mathbf{x} > 0$.
Kuadratik form — çanak vs eyer.
Kareye tamamlama = eliminasyon.
Hessian PD → minimum; ellipsoid = ana eksen teoremi.

“Positive for a number translates into positive definite for a matrix.” — Strang, 26:29

flowchart LR
    PD["Pozitif Tanım"] --> T1["λ > 0"]
    PD --> T2["pivot > 0"]
    PD --> T3["alt-det > 0"]
    PD --> T4["⭐ xᵀAx > 0"]

    T4 --> QF["Kuadratik form<br/>çanak vs eyer"]
    QF --> CS["Kareye tamamlama<br/>= eliminasyon"]
    QF --> HESS["Hessian PD<br/>= yerel min"]
    HESS --> CONV["Konveks optimizasyon"]

    QF --> ELL["Ellipsoid<br/>(eksen = q, uzunluk ∝ 1/√λ)"]
    ELL --> PCA["PCA / Mahalanobis"]

    style T4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style CONV fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px

flowchart LR
    PD["Pozitif Tanım"] --> T1["λ > 0"]
    PD --> T2["pivot > 0"]
    PD --> T3["alt-det > 0"]
    PD --> T4["⭐ xᵀAx > 0"]

    T4 --> QF["Kuadratik form<br/>çanak vs eyer"]
    QF --> CS["Kareye tamamlama<br/>= eliminasyon"]
    QF --> HESS["Hessian PD<br/>= yerel min"]
    HESS --> CONV["Konveks optimizasyon"]

    QF --> ELL["Ellipsoid<br/>(eksen = q, uzunluk ∝ 1/√λ)"]
    ELL --> PCA["PCA / Mahalanobis"]

    style T4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style CONV fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px

Şekil 29.1: PD’nin dört testi → minimum/eyer ayrımı → Hessian → konveks optimizasyon.

Builder Notu — Optimizasyon Kalbi

$\mathbf{x}^T A \mathbf{x}$ = enerji = loss. Min ⟺ Hessian PD.
Eyer noktaları (negatif λ) = derin öğrenmenin gerçek düşmanı (gradyan = 0 ama min değil).
Kareye tamamlama = Cholesky ($A = LL^T$).
Ellipsoid = Mahalanobis konturu = PCA yönleri.

29.2 Dört Eşdeğer Test

Test	Koşul
Özdeğerler	hepsi > 0
Sol-üst alt-det	hepsi > 0
Pivotlar	hepsi > 0
Enerji ⭐	$\mathbf{x}^T A \mathbf{x} > 0 \forall \mathbf{x} \neq \mathbf{0}$

29.3 Kuadratik Form

$A = \begin{pmatrix} a & b \\ b & c \end{pmatrix}$:

\[ \mathbf{x}^T A \mathbf{x} = a x^2 + 2 b xy + c y^2 \]

Sınıflar:

$\det > 0$, $a > 0$ → çanak (minimum) → PD.
$\det = 0$ → yarı-tanım (λ = 0 var).
$\det < 0$ → eyer (negatif λ).

29.4 Üç Örnek

Örnek 1 — $A = \begin{pmatrix} 2 & 6 \\ 6 & 18 \end{pmatrix}$ (yarı-tanım): det = 0; λ = 0, 20.

Örnek 2 — $\begin{pmatrix} 2 & 6 \\ 6 & 7 \end{pmatrix}$ (eyer): det = $-22 < 0$. $\mathbf{x} = (1, -1)$ → $2 - 12 + 7 = -3 < 0$.

Örnek 3 — $\begin{pmatrix} 2 & 6 \\ 6 & 20 \end{pmatrix}$ (PD): det = 4 > 0; λ ikisi pozitif; pivot 2, 2.

29.5 Kareye Tamamlama = Eliminasyon ⭐

\[ 2x^2 + 12xy + 20y^2 = 2(x + 3y)^2 + 2y^2 \]

Pivotlar (2, 2) karelerin dışında; multiplier (3) içeride.

“Completing the square is elimination. The pivots outside, the multiplier inside.” — Strang, 33:05

Pozitif pivot → karelerin pozitif toplamı → her yerde pozitif.

29.6 Hessian ve Minimum

Çok değişkende minimum:

Gradyan = 0 (kritik nokta).
Hessian PD (eğrilik her yönde yukarı).

\[ H = \begin{pmatrix} f_{xx} & f_{xy} \\ f_{xy} & f_{yy} \end{pmatrix} \]

Calculus testi $f_{xx} f_{yy} - f_{xy}^2 > 0$ = 2×2 det.

Builder Notu: Deep learning’de Hessian çoğunlukla PD değil (eyer her yerde). SGD gürültüsü + momentum + Adam eyerden kaçar.

29.7 Strang’in 3×3 Favori

\[ A = \begin{pmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{pmatrix} \]

Alt-det: 2, 3, 4. Pivot: $2, 3/2, 4/3$. λ: $2-\sqrt 2, 2, 2+\sqrt 2$. PD.

import numpy as np

A = np.array([[2, -1, 0], [-1, 2, -1], [0, -1, 2]], dtype=float)

# Eigenvalues
print("özdeğerler:", np.linalg.eigvalsh(A))

# Sol-üst alt-determinantlar
for k in range(1, 4):
    print(f"alt-det {k}×{k}:", np.linalg.det(A[:k, :k]))

# Cholesky (sadece PD'de çalışır)
L = np.linalg.cholesky(A)
print("Cholesky L:\n", L)

29.8 Geometri — Ellipsoid

$\mathbf{x}^T A \mathbf{x} = 1$ → 2×2 elips, 3×3 ellipsoid.

Ana eksen teoremi ($A = Q\Lambda Q^T$):

Yönler: özvektörler ($Q$).
Uzunluklar: $\propto 1/\sqrt{\lambda_i}$.

Büyük λ → kısa eksen.

Builder Notu: Mahalanobis uzaklığı $\mathbf{x}^T \Sigma^{-1} \mathbf{x}$ — sabit kontur = ellipsoid; eksenler kovaryansın özvektörleri = PCA yönleri.

29.9 Bu Dersin Özeti

4 eşdeğer test (yeni: enerji $\mathbf{x}^T A \mathbf{x}$).
Kuadratik form: çanak/eyer.
Yarı-tanım (det = 0), indefinite (det < 0).
Kareye tamamlama = eliminasyon.
Minimum: gradyan = 0 + Hessian PD.
Geometri: ellipsoid + ana eksen.

Tek bir cümle

PD = tüm özdeğer/pivot/alt-det > 0 = $\mathbf{x}^T A \mathbf{x} > 0$. Minimum testi: gradyan = 0 + Hessian PD. Geometri: $\mathbf{x}^T A \mathbf{x} = 1$ ellipsoidi, eksenler = q, uzunluk $\propto 1/\sqrt\lambda$. Konveks optimizasyon, Mahalanobis, PCA temeli.

29.10 Kontrol Soruları

Soru 1: 4 eşdeğer test?

λ > 0, alt-det > 0, pivot > 0, $\mathbf{x}^T A \mathbf{x} > 0$. Biri sağlanırsa hepsi.

Soru 2: ((2,6),(6,18)) niye yarı-tanım?

det = 0 → λ = 0, 20. $\mathbf{x}^T A \mathbf{x} \geq 0$ (sıfır olabilir).

Soru 3: Kareye tamamlama niye pozitiflik ispatı?

Kareler ≥ 0. Pivot katsayıları > 0 ise toplam > 0 (orijin hariç).

Soru 4: nD minimum testi?

Gradyan = 0 + Hessian PD (1D’deki $f'' > 0$ genellemesi).

Soru 5: Ellipsoid eksenleri.

Yön = özvektör, uzunluk $\propto 1/\sqrt\lambda$ (ana eksen teoremi $A = Q\Lambda Q^T$).

29.11 Egzersizler

Egzersiz 1. $A = \text{diag}(3, 5)$ PD mi? $\mathbf{x}^T A \mathbf{x}$.

Egzersiz 2. $((1, 2), (2, 1))$ PD mi? (det + enerji)

Egzersiz 3. Hangi $c$ için $((1, 2), (2, c))$ PD?

Egzersiz 4. (Python) eigvalsh + Cholesky + alt-det.

Egzersiz 5. İspatla: $A$ PD → $A^{-1}$ PD. (İpucu: özdeğer $1/\lambda$.)

29.12 Sonraki Ders İçin Hazırlık

Ders 28: Benzer Matrisler ve Jordan Formu

Benzer: $B = M^{-1} A M$ (aynı özdeğer).
Jordan formu — diagonalize edilemeyen matrisler.

Ders 28 öncesi

Egzersiz 5 ($A^{-1}$ PD).
cholesky ile dene.

29.13 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım
PD (4 test)	λ > 0 ⟺ alt-det > 0 ⟺ pivot > 0 ⟺ $\mathbf{x}^T A \mathbf{x} > 0$
Kuadratik form	$ax^2 + 2bxy + cy^2$
Yarı-tanım	$\mathbf{x}^T A \mathbf{x} \geq 0$
İndefinite	det < 0, eyer
Kareye tamamlama	= eliminasyon
Min testi	gradyan = 0 + Hessian PD
Hessian simetrik	$f_{xy} = f_{yx}$
2D Calculus	$f_{xx} f_{yy} - f_{xy}^2 > 0$
Geometri	Ellipsoid; eksen = q, uzunluk $\propto 1/\sqrt\lambda$

29.14 ML Bağlantıları Özeti

5 köprü

Konveks optim = Hessian PD → Lineer/lojistik reg, SVM garantili min.
Eyer noktaları → DL’in gerçek düşmanı.
Mahalanobis → Gaussian şekli, PCA yönleri.
Cholesky → Gaussian örnekleme, GP regresyon.
Newton, K-FAC → İkinci-mertebe optim (PD olmazsa damping).

Tek bir şey alıp gideceksen

PD = $\mathbf{x}^T A \mathbf{x} > 0$ + 3 eşdeğer test. Min = gradyan + Hessian PD. Ellipsoid eksenleri = özvektör (PCA). Konveks optim, Cholesky, Mahalanobis ortak temeli.

--- title: "Pozitif Tanımlı Matrisler ve Minimumlar" subtitle: "xᵀAx > 0 — enerji, Hessian, ellipsoid" --- ::: {.callout-note title="Bölüm bilgisi"} - **Strang'in videosu:** [YouTube — Lecture 27: Positive Definite Matrices and Minima](https://www.youtube.com/watch?v=vF7eyJ2g3kU) (≈50 dk) - **OCW sayfası:** [MIT 18.06SC — Lecture 27](https://ocw.mit.edu/courses/18-06sc-linear-algebra-fall-2011/resources/lecture-27-positive-definite-matrices-and-minima/) - **Okuma süresi:** ≈40 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} 1. **Dört eşdeğer test:** λ > 0, alt-det > 0, pivot > 0, **$\mathbf{x}^T A \mathbf{x} > 0$**. 2. **Kuadratik form** — çanak vs eyer. 3. **Kareye tamamlama = eliminasyon**. 4. **Hessian PD → minimum**; **ellipsoid** = ana eksen teoremi. > *"Positive for a number translates into positive definite for a matrix."* — Strang, 26:29 ```{mermaid} %%| label: fig-concept-map %%| fig-cap: "PD'nin dört testi → minimum/eyer ayrımı → Hessian → konveks optimizasyon." flowchart LR PD["Pozitif Tanım"] --> T1["λ > 0"] PD --> T2["pivot > 0"] PD --> T3["alt-det > 0"] PD --> T4["⭐ xᵀAx > 0"] T4 --> QF["Kuadratik form<br/>çanak vs eyer"] QF --> CS["Kareye tamamlama<br/>= eliminasyon"] QF --> HESS["Hessian PD<br/>= yerel min"] HESS --> CONV["Konveks optimizasyon"] QF --> ELL["Ellipsoid<br/>(eksen = q, uzunluk ∝ 1/√λ)"] ELL --> PCA["PCA / Mahalanobis"] style T4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px style CONV fill:#fce4ec,stroke:#c2185b,stroke-width:2px style PCA fill:#fce4ec,stroke:#c2185b,stroke-width:2px ``` ::: {.callout-tip title="Builder Notu — Optimizasyon Kalbi"} - **$\mathbf{x}^T A \mathbf{x}$ = enerji = loss**. Min ⟺ Hessian PD. - **Eyer noktaları** (negatif λ) = derin öğrenmenin gerçek düşmanı (gradyan = 0 ama min değil). - **Kareye tamamlama = Cholesky** ($A = LL^T$). - **Ellipsoid** = Mahalanobis konturu = **PCA yönleri**. ::: ## Dört Eşdeğer Test {#sec-4-test} | Test | Koşul | |------|-------| | **Özdeğerler** | hepsi > 0 | | **Sol-üst alt-det** | hepsi > 0 | | **Pivotlar** | hepsi > 0 | | **Enerji** ⭐ | $\mathbf{x}^T A \mathbf{x} > 0 \forall \mathbf{x} \neq \mathbf{0}$ | ## Kuadratik Form {#sec-quad} $A = \begin{pmatrix} a & b \\ b & c \end{pmatrix}$: $$ \mathbf{x}^T A \mathbf{x} = a x^2 + 2 b xy + c y^2 $$ **Sınıflar:** - $\det > 0$, $a > 0$ → **çanak (minimum)** → PD. - $\det = 0$ → **yarı-tanım** (λ = 0 var). - $\det < 0$ → **eyer** (negatif λ). ## Üç Örnek {#sec-3-ornek} **Örnek 1 — $A = \begin{pmatrix} 2 & 6 \\ 6 & 18 \end{pmatrix}$ (yarı-tanım):** det = 0; λ = 0, 20. **Örnek 2 — $\begin{pmatrix} 2 & 6 \\ 6 & 7 \end{pmatrix}$ (eyer):** det = $-22 < 0$. $\mathbf{x} = (1, -1)$ → $2 - 12 + 7 = -3 < 0$. **Örnek 3 — $\begin{pmatrix} 2 & 6 \\ 6 & 20 \end{pmatrix}$ (PD):** det = 4 > 0; λ ikisi pozitif; pivot 2, 2. ## Kareye Tamamlama = Eliminasyon ⭐ {#sec-careye} $$ 2x^2 + 12xy + 20y^2 = 2(x + 3y)^2 + 2y^2 $$ **Pivotlar (2, 2)** karelerin dışında; **multiplier (3)** içeride. > *"Completing the square is elimination. The pivots outside, the multiplier inside."* — Strang, 33:05 Pozitif pivot → karelerin pozitif toplamı → her yerde pozitif. ## Hessian ve Minimum {#sec-hessian} Çok değişkende minimum: - Gradyan = 0 (kritik nokta). - **Hessian PD** (eğrilik her yönde yukarı). $$ H = \begin{pmatrix} f_{xx} & f_{xy} \\ f_{xy} & f_{yy} \end{pmatrix} $$ Calculus testi $f_{xx} f_{yy} - f_{xy}^2 > 0$ = 2×2 det. **Builder Notu:** Deep learning'de Hessian çoğunlukla PD **değil** (eyer her yerde). SGD gürültüsü + momentum + Adam eyerden kaçar. ## Strang'in 3×3 Favori {#sec-3x3} $$ A = \begin{pmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{pmatrix} $$ Alt-det: 2, 3, 4. Pivot: $2, 3/2, 4/3$. λ: $2-\sqrt 2, 2, 2+\sqrt 2$. **PD.** ```{python} #| label: code-PD-test #| code-fold: false import numpy as np A = np.array([[2, -1, 0], [-1, 2, -1], [0, -1, 2]], dtype=float) # Eigenvalues print("özdeğerler:", np.linalg.eigvalsh(A)) # Sol-üst alt-determinantlar for k in range(1, 4): print(f"alt-det {k}×{k}:", np.linalg.det(A[:k, :k])) # Cholesky (sadece PD'de çalışır) L = np.linalg.cholesky(A) print("Cholesky L:\n", L) ``` ## Geometri — Ellipsoid {#sec-ellipsoid} $\mathbf{x}^T A \mathbf{x} = 1$ → 2×2 elips, 3×3 ellipsoid. **Ana eksen teoremi** ($A = Q\Lambda Q^T$): - **Yönler:** özvektörler ($Q$). - **Uzunluklar:** $\propto 1/\sqrt{\lambda_i}$. Büyük λ → kısa eksen. **Builder Notu:** **Mahalanobis uzaklığı** $\mathbf{x}^T \Sigma^{-1} \mathbf{x}$ — sabit kontur = ellipsoid; eksenler kovaryansın özvektörleri = **PCA yönleri**. ## Bu Dersin Özeti {#sec-ozet} 1. **4 eşdeğer test** (yeni: enerji $\mathbf{x}^T A \mathbf{x}$). 2. **Kuadratik form**: çanak/eyer. 3. **Yarı-tanım** (det = 0), **indefinite** (det < 0). 4. **Kareye tamamlama = eliminasyon**. 5. **Minimum**: gradyan = 0 + Hessian PD. 6. **Geometri**: ellipsoid + ana eksen. ::: {.callout-important title="Tek bir cümle"} PD = tüm özdeğer/pivot/alt-det > 0 = **$\mathbf{x}^T A \mathbf{x} > 0$**. Minimum testi: gradyan = 0 + **Hessian PD**. Geometri: $\mathbf{x}^T A \mathbf{x} = 1$ ellipsoidi, eksenler = q, uzunluk $\propto 1/\sqrt\lambda$. Konveks optimizasyon, Mahalanobis, PCA temeli. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: 4 eşdeğer test?"} λ > 0, alt-det > 0, pivot > 0, $\mathbf{x}^T A \mathbf{x} > 0$. Biri sağlanırsa hepsi. ::: ::: {.callout-note collapse="true" title="Soru 2: ((2,6),(6,18)) niye yarı-tanım?"} det = 0 → λ = 0, 20. $\mathbf{x}^T A \mathbf{x} \geq 0$ (sıfır olabilir). ::: ::: {.callout-note collapse="true" title="Soru 3: Kareye tamamlama niye pozitiflik ispatı?"} Kareler ≥ 0. Pivot katsayıları > 0 ise toplam > 0 (orijin hariç). ::: ::: {.callout-note collapse="true" title="Soru 4: nD minimum testi?"} Gradyan = 0 + **Hessian PD** (1D'deki $f'' > 0$ genellemesi). ::: ::: {.callout-note collapse="true" title="Soru 5: Ellipsoid eksenleri."} Yön = özvektör, uzunluk $\propto 1/\sqrt\lambda$ (ana eksen teoremi $A = Q\Lambda Q^T$). ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $A = \text{diag}(3, 5)$ PD mi? $\mathbf{x}^T A \mathbf{x}$. **Egzersiz 2.** $((1, 2), (2, 1))$ PD mi? (det + enerji) **Egzersiz 3.** Hangi $c$ için $((1, 2), (2, c))$ PD? **Egzersiz 4.** *(Python)* `eigvalsh` + Cholesky + alt-det. **Egzersiz 5.** *İspatla:* $A$ PD → $A^{-1}$ PD. (İpucu: özdeğer $1/\lambda$.) ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 28: Benzer Matrisler ve Jordan Formu** - **Benzer:** $B = M^{-1} A M$ (aynı özdeğer). - **Jordan formu** — diagonalize edilemeyen matrisler. ::: {.callout-warning title="Ders 28 öncesi"} - Egzersiz 5 ($A^{-1}$ PD). - `cholesky` ile dene. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | |--------|-------| | **PD (4 test)** | λ > 0 ⟺ alt-det > 0 ⟺ pivot > 0 ⟺ $\mathbf{x}^T A \mathbf{x} > 0$ | | **Kuadratik form** | $ax^2 + 2bxy + cy^2$ | | **Yarı-tanım** | $\mathbf{x}^T A \mathbf{x} \geq 0$ | | **İndefinite** | det < 0, eyer | | **Kareye tamamlama** | = eliminasyon | | **Min testi** | gradyan = 0 + Hessian PD | | **Hessian simetrik** | $f_{xy} = f_{yx}$ | | **2D Calculus** | $f_{xx} f_{yy} - f_{xy}^2 > 0$ | | **Geometri** | Ellipsoid; eksen = q, uzunluk $\propto 1/\sqrt\lambda$ | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="5 köprü"} 1. **Konveks optim = Hessian PD** → Lineer/lojistik reg, SVM garantili min. 2. **Eyer noktaları** → DL'in gerçek düşmanı. 3. **Mahalanobis** → Gaussian şekli, PCA yönleri. 4. **Cholesky** → Gaussian örnekleme, GP regresyon. 5. **Newton, K-FAC** → İkinci-mertebe optim (PD olmazsa damping). ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} PD = **$\mathbf{x}^T A \mathbf{x} > 0$** + 3 eşdeğer test. Min = gradyan + Hessian PD. Ellipsoid eksenleri = özvektör (PCA). Konveks optim, Cholesky, Mahalanobis ortak temeli. :::