35 Sol ve Sağ Tersler, Pseudoinverse

A⁺ = VΣ⁺Uᵀ — satır uzayı ↔︎ kolon uzayı

Bölüm bilgisi

Strang’in videosu: YouTube — Lecture 33: Left and Right Inverses; Pseudoinverse (≈42 dk)
OCW sayfası: MIT 18.06SC — Lecture 33
Okuma süresi: ≈36 dk

35.1 Bu Derste Ne Var?

Ters: rank’e göre 4 durum.

İki taraflı: $r = m = n$.
Sol ters: tam kolon rank → $(A^T A)^{-1} A^T$.
Sağ ters: tam satır rank → $A^T (AA^T)^{-1}$.
Pseudoinverse $A^+$: genel; $A^+ = V\Sigma^+ U^T$.

“From the row space to the column space, A is perfect — invertible. Its inverse is the pseudoinverse.” — Strang, 26:09

flowchart LR
    R["rank r vs m, n"] --> C1["r = m = n<br/>tam ters A⁻¹"]
    R --> C2["r = n < m<br/>sol ters (AᵀA)⁻¹Aᵀ"]
    R --> C3["r = m < n<br/>sağ ters Aᵀ(AAᵀ)⁻¹"]
    R --> C4["⭐ r < m, n<br/>pseudoinverse A⁺ = VΣ⁺Uᵀ"]

    C2 --> LS["Least squares"]
    C4 --> RIDGE["Ridge / minimum-norm"]
    C4 --> SAT["A: satır uzayı ↔ kolon uzayı (bire bir)"]

    style C4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style RIDGE fill:#fce4ec,stroke:#c2185b,stroke-width:2px

flowchart LR
    R["rank r vs m, n"] --> C1["r = m = n<br/>tam ters A⁻¹"]
    R --> C2["r = n < m<br/>sol ters (AᵀA)⁻¹Aᵀ"]
    R --> C3["r = m < n<br/>sağ ters Aᵀ(AAᵀ)⁻¹"]
    R --> C4["⭐ r < m, n<br/>pseudoinverse A⁺ = VΣ⁺Uᵀ"]

    C2 --> LS["Least squares"]
    C4 --> RIDGE["Ridge / minimum-norm"]
    C4 --> SAT["A: satır uzayı ↔ kolon uzayı (bire bir)"]

    style C4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style RIDGE fill:#fce4ec,stroke:#c2185b,stroke-width:2px

Şekil 35.1: Dört durum + pseudoinverse mucizesi: A, satır uzayını kolon uzayına bire bir eşler.

Builder Notu — Pseudoinverse = Regresyon Motoru

np.linalg.pinv / torch.linalg.pinv → least squares + minimum-norm.
Rank eksik ($A^T A$ singüler) → ridge ($A^T A + \lambda I$) ya da truncated pseudoinverse.
Modern aşırı-parametre rejimi → parametre > veri = sağ ters + minimum-norm; gradient descent implicit regularization.

35.2 Dört Durum

Durum	Koşul	Ters
İki taraflı	$r = m = n$	$A^{-1}$
Sol	$r = n < m$	$(A^T A)^{-1} A^T$
Sağ	$r = m < n$	$A^T (AA^T)^{-1}$
Pseudoinverse	$r < m, n$	$A^+ = V\Sigma^+ U^T$

35.3 Sol Ters — Tam Kolon Rank

Kolonlar bağımsız → $A^T A$ tersinir.

\[ A^{-1}_{\text{sol}} = (A^T A)^{-1} A^T \]

Soldan çarpınca $I$. Least squares’in kalbi (Ders 16).

35.4 Sağ Ters — Tam Satır Rank

Satırlar bağımsız → $AA^T$ tersinir.

\[ A^{-1}_{\text{sağ}} = A^T (AA^T)^{-1} \]

Sağdan çarpınca $I$. $A\mathbf{x} = \mathbf{b}$ her zaman çözülür, $n - m$ serbest.

35.5 Yanlış Tarafa → Projeksiyon

Sol tersi sağdan: $A(A^T A)^{-1} A^T = P$ (kolon uzayına projeksiyon). I değil — yapabildiği yerde $I$, yapamadığında 0.

35.6 Pseudoinverse — Satır ↔︎ Kolon Mucizesi ⭐

A, satır uzayını kolon uzayına bire bir eşler. İspat: $\mathbf{x}, \mathbf{y}$ satır uzayında, $A\mathbf{x} = A\mathbf{y}$ varsay → $A(\mathbf{x} - \mathbf{y}) = \mathbf{0}$ → $\mathbf{x} - \mathbf{y} \in N(A)$. Ama satır uzayı ve null uzayı dik tümleyen (Ders 14) → $\mathbf{x} - \mathbf{y} \in N(A) \cap C(A^T) = \{\mathbf{0}\}$ → $\mathbf{x} = \mathbf{y}$.

$A^+$: bu eşlemenin tersi — kolon uzayından satır uzayına, null uzayını siler.

35.7 SVD’den A⁺

$A = U\Sigma V^T$ → $A^+ = V \Sigma^+ U^T$.

$\Sigma^+$: sıfır-olmayan $\sigma_i$ → $1/\sigma_i$, sıfırlar kalır, şekil $n \times m$.

import numpy as np

# Rank 1 örnek
A = np.array([[1, 2], [2, 4]], dtype=float)
A_pinv = np.linalg.pinv(A)
print("A⁺ =\n", A_pinv)

print("\nA A⁺ (kolon uzayına projeksiyon):\n", A @ A_pinv)
print("\nA⁺ A (satır uzayına projeksiyon):\n", A_pinv @ A)

# Least squares: rank-eksik durumda min-norm çözüm
b = np.array([3, 6], dtype=float)
x = A_pinv @ b
print(f"\nmin-norm çözüm x = {x}")
print(f"A·x = {A @ x} (b'ye eşit)")

35.8 $\Sigma^+$ ve Projeksiyonlar

$\Sigma \Sigma^+$ ($m \times m$): köşegende $r$ tane 1, gerisi 0 → kolon uzayı projeksiyonu.
$\Sigma^+ \Sigma$ ($n \times n$): köşegende $r$ tane 1 → satır uzayı projeksiyonu.

$A^+ A$ = satır uzayı projeksiyonu, $AA^+$ = kolon uzayı projeksiyonu. $I$ değil, projeksiyon.

35.9 İstatistik / Least Squares Bağlantısı

Klasik LS tam kolon rank gerektirir. Bağımlı özellikler → $A^T A$ singüler → pseudoinverse devreye girer (en iyi, minimum-norm çözüm).

“Statisticians discovered: oh boy, this is the thing we needed all our lives.” — Strang, 30:56

35.10 Bu Dersin Özeti

Dört durum.
Yanlış taraf → projeksiyon.
A satır↔︎kolon mucizesi (ispat: dik tümleyen).
$A^+ = V\Sigma^+ U^T$.
$A^+A$, $AA^+$ = projeksiyon.
Rank-eksik LS / regresyon.

Tek bir cümle

Bir matrisin tersi rank’e bağlı: tam → $A^{-1}$, sol/sağ ters dikdörtgende, $A^+ = V\Sigma^+ U^T$ genelde. $A$ satır uzayını kolon uzayına bire bir eşler; $A^+$ bunun tersi. Pseudoinverse = least squares + minimum-norm motoru.

35.11 Kontrol Soruları

Soru 1: Sol ters ne zaman, formül?

Tam kolon rank ($r = n < m$). $(A^T A)^{-1} A^T$.

Soru 2: Sağ ters? Kaç çözüm?

Tam satır rank ($r = m < n$). Her $\mathbf{b}$ için sonsuz çözüm.

Soru 3: Dikdörtgen niye iki taraflı tersi yok?

Bir null uzay var → vektör sıfıra gider → ters geri getiremez.

Soru 4: A⁺ neden satır↔︎kolon tersi?

Dik tümleyen ispatı: $\mathbf{x} - \mathbf{y} \in N(A) \cap C(A^T) = \{\mathbf{0}\}$. $A^+ A$ = satır projeksiyon, $A A^+$ = kolon projeksiyon.

Soru 5: SVD’den A⁺?

$A^+ = V\Sigma^+ U^T$, $\Sigma^+$ = $\sigma \to 1/\sigma$ (nonzero), şekil $n \times m$.

35.12 Egzersizler

Egzersiz 1. $A = (1, 1)^T$ (2×1) → sol ters.

Egzersiz 2. $A = (1, 1)$ (1×2) → sağ ters.

Egzersiz 3. $\Sigma = \text{diag}(4, 0)$ → $\Sigma^+$, $\Sigma^+ \Sigma$.

Egzersiz 4. (Python) pinv ile rank-eksik LS.

Egzersiz 5. İspatla: $A^+ A$ satır uzayına projeksiyon (idempotent, simetrik).

35.13 Sonraki Ders İçin Hazırlık

Ders 34: Final İncelemesi — tüm kursun bir araya gelişi.

Ders 34 öncesi

Egzersiz 5.
pinv ile birkaç matrise dene.

35.14 Anahtar Kavramlar (Cheat Sheet)

Durum	Koşul	Ters
Tam	$r = m = n$	$A^{-1}$
Sol	$r = n < m$	$(A^T A)^{-1} A^T$
Sağ	$r = m < n$	$A^T (AA^T)^{-1}$
Pseudo	$r < m, n$	$V\Sigma^+ U^T$
$A^+ A$	—	Satır uzayı projeksiyon
$A A^+$	—	Kolon uzayı projeksiyon
$\Sigma^+$	—	$\sigma \to 1/\sigma$
Mucize	—	$A$ satır↔︎kolon bire bir

35.15 ML Bağlantıları Özeti

4 köprü

pinv = regresyon motoru → LS + min-norm.
Rank-eksik → ridge ($A^T A + \lambda I$).
Truncated pinv → ill-conditioned problem (deblurring, ters problem).
Modern overparametrize → sağ ters + min-norm; gradient descent implicit regularization.

Tek bir şey alıp gideceksen

Ters rank’e bağlı: dört durum. $A^+ = V\Sigma^+ U^T$ = satır↔︎kolon bire-bir tersi. Min-norm least squares motoru — np.linalg.pinv.

--- title: "Sol ve Sağ Tersler, Pseudoinverse" subtitle: "A⁺ = VΣ⁺Uᵀ — satır uzayı ↔ kolon uzayı" --- ::: {.callout-note title="Bölüm bilgisi"} - **Strang'in videosu:** [YouTube — Lecture 33: Left and Right Inverses; Pseudoinverse](https://www.youtube.com/watch?v=Go2aLo7ZOlU) (≈42 dk) - **OCW sayfası:** [MIT 18.06SC — Lecture 33](https://ocw.mit.edu/courses/18-06sc-linear-algebra-fall-2011/resources/lecture-33-left-and-right-inverses-pseudoinverse/) - **Okuma süresi:** ≈36 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} Ters: rank'e göre 4 durum. 1. **İki taraflı:** $r = m = n$. 2. **Sol ters:** tam kolon rank → $(A^T A)^{-1} A^T$. 3. **Sağ ters:** tam satır rank → $A^T (AA^T)^{-1}$. 4. **Pseudoinverse $A^+$:** genel; **$A^+ = V\Sigma^+ U^T$**. > *"From the row space to the column space, A is perfect — invertible. Its inverse is the pseudoinverse."* — Strang, 26:09 ```{mermaid} %%| label: fig-concept-map %%| fig-cap: "Dört durum + pseudoinverse mucizesi: A, satır uzayını kolon uzayına bire bir eşler." flowchart LR R["rank r vs m, n"] --> C1["r = m = n<br/>tam ters A⁻¹"] R --> C2["r = n < m<br/>sol ters (AᵀA)⁻¹Aᵀ"] R --> C3["r = m < n<br/>sağ ters Aᵀ(AAᵀ)⁻¹"] R --> C4["⭐ r < m, n<br/>pseudoinverse A⁺ = VΣ⁺Uᵀ"] C2 --> LS["Least squares"] C4 --> RIDGE["Ridge / minimum-norm"] C4 --> SAT["A: satır uzayı ↔ kolon uzayı (bire bir)"] style C4 fill:#fff3e0,stroke:#e67e22,stroke-width:3px style RIDGE fill:#fce4ec,stroke:#c2185b,stroke-width:2px ``` ::: {.callout-tip title="Builder Notu — Pseudoinverse = Regresyon Motoru"} - `np.linalg.pinv` / `torch.linalg.pinv` → least squares + minimum-norm. - **Rank eksik** ($A^T A$ singüler) → **ridge** ($A^T A + \lambda I$) ya da truncated pseudoinverse. - **Modern aşırı-parametre rejimi** → parametre > veri = sağ ters + minimum-norm; gradient descent **implicit regularization**. ::: ## Dört Durum {#sec-dort-durum} | Durum | Koşul | Ters | |-------|-------|------| | **İki taraflı** | $r = m = n$ | $A^{-1}$ | | **Sol** | $r = n < m$ | $(A^T A)^{-1} A^T$ | | **Sağ** | $r = m < n$ | $A^T (AA^T)^{-1}$ | | **Pseudoinverse** | $r < m, n$ | $A^+ = V\Sigma^+ U^T$ | ## Sol Ters — Tam Kolon Rank {#sec-sol} Kolonlar bağımsız → $A^T A$ tersinir. $$ A^{-1}_{\text{sol}} = (A^T A)^{-1} A^T $$ Soldan çarpınca $I$. **Least squares'in kalbi** (Ders 16). ## Sağ Ters — Tam Satır Rank {#sec-sag} Satırlar bağımsız → $AA^T$ tersinir. $$ A^{-1}_{\text{sağ}} = A^T (AA^T)^{-1} $$ Sağdan çarpınca $I$. $A\mathbf{x} = \mathbf{b}$ her zaman çözülür, $n - m$ serbest. ## Yanlış Tarafa → Projeksiyon {#sec-yanlis-taraf} Sol tersi **sağdan**: $A(A^T A)^{-1} A^T = P$ (kolon uzayına projeksiyon). I değil — yapabildiği yerde $I$, yapamadığında 0. ## Pseudoinverse — Satır ↔ Kolon Mucizesi ⭐ {#sec-pinv-mucize} A, **satır uzayını kolon uzayına** bire bir eşler. **İspat:** $\mathbf{x}, \mathbf{y}$ satır uzayında, $A\mathbf{x} = A\mathbf{y}$ varsay → $A(\mathbf{x} - \mathbf{y}) = \mathbf{0}$ → $\mathbf{x} - \mathbf{y} \in N(A)$. Ama satır uzayı ve null uzayı **dik tümleyen** (Ders 14) → $\mathbf{x} - \mathbf{y} \in N(A) \cap C(A^T) = \{\mathbf{0}\}$ → $\mathbf{x} = \mathbf{y}$. **$A^+$:** bu eşlemenin tersi — kolon uzayından satır uzayına, null uzayını siler. ## SVD'den A⁺ {#sec-SVD-pinv} $A = U\Sigma V^T$ → $A^+ = V \Sigma^+ U^T$. **$\Sigma^+$:** sıfır-olmayan $\sigma_i$ → $1/\sigma_i$, sıfırlar kalır, şekil $n \times m$. ```{python} #| label: code-pinv #| code-fold: false import numpy as np # Rank 1 örnek A = np.array([[1, 2], [2, 4]], dtype=float) A_pinv = np.linalg.pinv(A) print("A⁺ =\n", A_pinv) print("\nA A⁺ (kolon uzayına projeksiyon):\n", A @ A_pinv) print("\nA⁺ A (satır uzayına projeksiyon):\n", A_pinv @ A) # Least squares: rank-eksik durumda min-norm çözüm b = np.array([3, 6], dtype=float) x = A_pinv @ b print(f"\nmin-norm çözüm x = {x}") print(f"A·x = {A @ x} (b'ye eşit)") ``` ## $\Sigma^+$ ve Projeksiyonlar {#sec-sigma-plus} - **$\Sigma \Sigma^+$** ($m \times m$): köşegende $r$ tane 1, gerisi 0 → **kolon uzayı projeksiyonu**. - **$\Sigma^+ \Sigma$** ($n \times n$): köşegende $r$ tane 1 → **satır uzayı projeksiyonu**. $A^+ A$ = satır uzayı projeksiyonu, $AA^+$ = kolon uzayı projeksiyonu. **$I$ değil, projeksiyon**. ## İstatistik / Least Squares Bağlantısı {#sec-LS-istatistik} Klasik LS tam kolon rank gerektirir. Bağımlı özellikler → $A^T A$ singüler → pseudoinverse devreye girer (en iyi, **minimum-norm** çözüm). > *"Statisticians discovered: oh boy, this is the thing we needed all our lives."* — Strang, 30:56 ## Bu Dersin Özeti {#sec-ozet} 1. **Dört durum**. 2. **Yanlış taraf → projeksiyon**. 3. **A satır↔kolon mucizesi** (ispat: dik tümleyen). 4. **$A^+ = V\Sigma^+ U^T$**. 5. **$A^+A$, $AA^+$ = projeksiyon**. 6. Rank-eksik LS / regresyon. ::: {.callout-important title="Tek bir cümle"} Bir matrisin tersi rank'e bağlı: tam → $A^{-1}$, sol/sağ ters dikdörtgende, **$A^+ = V\Sigma^+ U^T$** genelde. $A$ satır uzayını kolon uzayına bire bir eşler; $A^+$ bunun tersi. **Pseudoinverse = least squares + minimum-norm motoru.** ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: Sol ters ne zaman, formül?"} Tam kolon rank ($r = n < m$). $(A^T A)^{-1} A^T$. ::: ::: {.callout-note collapse="true" title="Soru 2: Sağ ters? Kaç çözüm?"} Tam satır rank ($r = m < n$). Her $\mathbf{b}$ için **sonsuz** çözüm. ::: ::: {.callout-note collapse="true" title="Soru 3: Dikdörtgen niye iki taraflı tersi yok?"} Bir null uzay var → vektör sıfıra gider → ters geri getiremez. ::: ::: {.callout-note collapse="true" title="Soru 4: A⁺ neden satır↔kolon tersi?"} Dik tümleyen ispatı: $\mathbf{x} - \mathbf{y} \in N(A) \cap C(A^T) = \{\mathbf{0}\}$. $A^+ A$ = satır projeksiyon, $A A^+$ = kolon projeksiyon. ::: ::: {.callout-note collapse="true" title="Soru 5: SVD'den A⁺?"} $A^+ = V\Sigma^+ U^T$, $\Sigma^+$ = $\sigma \to 1/\sigma$ (nonzero), şekil $n \times m$. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $A = (1, 1)^T$ (2×1) → sol ters. **Egzersiz 2.** $A = (1, 1)$ (1×2) → sağ ters. **Egzersiz 3.** $\Sigma = \text{diag}(4, 0)$ → $\Sigma^+$, $\Sigma^+ \Sigma$. **Egzersiz 4.** *(Python)* `pinv` ile rank-eksik LS. **Egzersiz 5.** *İspatla:* $A^+ A$ satır uzayına projeksiyon (idempotent, simetrik). ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 34: Final İncelemesi** — tüm kursun bir araya gelişi. ::: {.callout-warning title="Ders 34 öncesi"} - Egzersiz 5. - `pinv` ile birkaç matrise dene. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Durum | Koşul | Ters | |-------|-------|------| | **Tam** | $r = m = n$ | $A^{-1}$ | | **Sol** | $r = n < m$ | $(A^T A)^{-1} A^T$ | | **Sağ** | $r = m < n$ | $A^T (AA^T)^{-1}$ | | **Pseudo** | $r < m, n$ | $V\Sigma^+ U^T$ | | **$A^+ A$** | — | Satır uzayı projeksiyon | | **$A A^+$** | — | Kolon uzayı projeksiyon | | **$\Sigma^+$** | — | $\sigma \to 1/\sigma$ | | **Mucize** | — | $A$ satır↔kolon bire bir | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="4 köprü"} 1. **`pinv` = regresyon motoru** → LS + min-norm. 2. **Rank-eksik → ridge** ($A^T A + \lambda I$). 3. **Truncated pinv** → ill-conditioned problem (deblurring, ters problem). 4. **Modern overparametrize** → sağ ters + min-norm; gradient descent **implicit regularization**. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} Ters rank'e bağlı: dört durum. **$A^+ = V\Sigma^+ U^T$** = satır↔kolon bire-bir tersi. **Min-norm least squares motoru** — `np.linalg.pinv`. :::

Durum	Koşul	Ters
İki taraflı	\(r = m = n\)	\(A^{-1}\)
Sol	\(r = n < m\)	\((A^T A)^{-1} A^T\)
Sağ	\(r = m < n\)	\(A^T (AA^T)^{-1}\)
Pseudoinverse	\(r < m, n\)	\(A^+ = V\Sigma^+ U^T\)

35.1 Bu Derste Ne Var?

35.2 Dört Durum

35.3 Sol Ters — Tam Kolon Rank

35.4 Sağ Ters — Tam Satır Rank

35.5 Yanlış Tarafa → Projeksiyon

35.6 Pseudoinverse — Satır ↔︎ Kolon Mucizesi ⭐

35.7 SVD’den A⁺

35.8 \(\Sigma^+\) ve Projeksiyonlar

35.9 İstatistik / Least Squares Bağlantısı

35.10 Bu Dersin Özeti

35.11 Kontrol Soruları

35.12 Egzersizler

35.13 Sonraki Ders İçin Hazırlık

35.14 Anahtar Kavramlar (Cheat Sheet)

35.15 ML Bağlantıları Özeti