15 Ortogonal Vektörler ve Alt-Uzaylar

90 derece bölümü — temel teorem 2. kısım

Bölüm bilgisi

Strang’in videosu: YouTube — Lecture 14: Orthogonal Vectors and Subspaces (≈48 dk)
OCW sayfası: MIT 18.06SC — Lecture 14
Okuma süresi: ≈40 dk

15.1 Bu Derste Ne Var?

Yeni bölüm: ortogonallik. Ders 13’ün sonundaki “satır uzayı ⊥ null uzayı” sezgisi burada tam teori.

$\mathbf{x}^T \mathbf{y} = 0$ — Pisagor.
Ortogonal alt-uzaylar.
Temel teorem 2. kısım: satır ⊥ null, kolon ⊥ sol null — ortogonal tümleyen.
$A^T A$ — çözümsüz $A\mathbf{x} = \mathbf{b}$ için least squares hazırlık.

“Row space is orthogonal to the null space.” — Strang, 20:49

flowchart LR
    subgraph RN["R^n (girdi)"]
        ROW["C(Aᵀ) satır uzayı<br/>boyut r"] -.perp.- NA["N(A) null<br/>boyut n-r"]
    end

    subgraph RM["R^m (çıktı)"]
        COL["C(A) kolon uzayı<br/>boyut r"] -.perp.- LN["N(Aᵀ) sol null<br/>boyut m-r"]
    end

    AB["A·x = b çözümsüz<br/>(b ∉ C(A))"] --> PROJ["Dik izdüşüm:<br/>b → Ax̂ ∈ C(A)"]
    PROJ --> NE["⭐ AᵀAx̂ = Aᵀb<br/>(normal denklemler)"]
    NE --> ML["Lineer regresyon<br/>PCA, kernel methods"]

    style NE fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px

flowchart LR
    subgraph RN["R^n (girdi)"]
        ROW["C(Aᵀ) satır uzayı<br/>boyut r"] -.perp.- NA["N(A) null<br/>boyut n-r"]
    end

    subgraph RM["R^m (çıktı)"]
        COL["C(A) kolon uzayı<br/>boyut r"] -.perp.- LN["N(Aᵀ) sol null<br/>boyut m-r"]
    end

    AB["A·x = b çözümsüz<br/>(b ∉ C(A))"] --> PROJ["Dik izdüşüm:<br/>b → Ax̂ ∈ C(A)"]
    PROJ --> NE["⭐ AᵀAx̂ = Aᵀb<br/>(normal denklemler)"]
    NE --> ML["Lineer regresyon<br/>PCA, kernel methods"]

    style NE fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px

Şekil 15.1: Dört alt-uzay = iki dik çift. R^n ve R^m ortogonal tümleyenlere ayrışır; AᵀA least squares anahtarı.

Builder Notu — Diklik ML’in Geometrik Dili

$\mathbf{x}^T \mathbf{y} = 0$ = cosine similarity = 0; embedding’lerde “ilgisiz” yönler.
Ortogonal ayrışım = SVD, PCA temeli; veriyi dik bileşenlere ayır.
Satır ⊥ null = projeksiyon, pseudoinverse, “sinyal + gürültü” ayrımı.
$A^T A$ = normal denklemler / Gram matrisi / kovaryans; least squares + lineer regresyon + kernel methods + PCA çekirdeği.

15.2 Ortogonal Vektörler — $\mathbf{x}^T \mathbf{y} = 0$

\[ \mathbf{x}^T \mathbf{y} = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n = 0 \iff \mathbf{x} \perp \mathbf{y} \]

Örnek: $\mathbf{x} = (1, 2, 3), \mathbf{y} = (2, -1, 0)$. $\mathbf{x}^T \mathbf{y} = 2 - 2 + 0 = 0$ ✓.

15.3 Pisagor ve Uzunluk

\[ \|\mathbf{x}\|^2 = \mathbf{x}^T \mathbf{x} = x_1^2 + \cdots + x_n^2 \]

\[ \|\mathbf{x} + \mathbf{y}\|^2 = \mathbf{x}^T \mathbf{x} + \mathbf{y}^T \mathbf{y} + 2 \mathbf{x}^T \mathbf{y} \]

Pisagor ($\|\mathbf{x}\|^2 + \|\mathbf{y}\|^2 = \|\mathbf{x}+\mathbf{y}\|^2$) $\iff$ $\mathbf{x}^T \mathbf{y} = 0$.

Builder Notu: Normalize edilmiş vektörlerde $\mathbf{x}^T \mathbf{y}$ = cosine similarity. Semantik arama, öneri, kontrastif öğrenme.

15.4 Ortogonal Alt-Uzaylar

$S \perp T$: $S$’deki her vektör $T$’deki her vektöre dik. Yalnızca $\mathbf{0}$’da kesişebilirler (sıfır-olmayan ortak vektör kendine dik olamaz, $\mathbf{v}^T \mathbf{v} > 0$).

Tahta-zemin örneği: $\mathbb{R}^3$’te iki düzlem — fiziksel olarak 90°’de buluşsalar bile alt-uzay olarak ortogonal değil, çünkü ortak bir doğruları var.

“Those two planes aren’t orthogonal.” — Strang, 18:25

Builder Notu: Bağımsızlık ≠ diklik. Gerçek diklik (PCA bileşenleri, ortogonal başlatma, Stiefel manifoldu) çok daha güçlü ve sayısal kararlılık + yorumlanabilirlik sağlar.

15.5 Satır Uzayı ⊥ Null Uzayı

$\mathbf{x} \in N(A)$ → $A\mathbf{x} = \mathbf{0}$:

\[ A\mathbf{x} = \begin{pmatrix} \text{satır}_1 \cdot \mathbf{x} \\ \vdots \\ \text{satır}_m \cdot \mathbf{x} \end{pmatrix} = \mathbf{0} \]

Her satır $\cdot \mathbf{x} = 0$ → $\mathbf{x}$ her satıra dik → tüm satır uzayına dik.

Aynı argüman $A^T$’ye: kolon uzayı ⊥ sol null uzayı.

15.6 Ortogonal Tümleyen ⭐

Diklik + boyut: satır uzayı ve null uzayı ortogonal tümleyen — null uzayı, satır uzayına dik olan TÜM vektörleri içerir.

\[ \dim(\text{satır}) + \dim(\text{null}) = r + (n - r) = n \]

“The null space contains all, not just some, vectors that are perpendicular to the row space.” — Strang, 32:42

Örnek: $A = (1, 2, 5)$ ($1 \times 3$). Satır uzayı = $(1, 2, 5)$ yönündeki doğru. Null uzayı = $(1, 2, 5)$’e dik düzlem. Doğru + dik düzlem = $\mathbb{R}^3$.

Builder Notu: Bir vektör satır bileşeni + null bileşeni olarak tek biçimde ayrışır → projeksiyonun, PCA’nın, pseudoinverse’in geometrik motoru. “Sinyal + gürültü” çoğu zaman ortogonal ayrışım.

15.7 Temel Teorem 2. Kısım

Girdi uzayı $\mathbb{R}^n$:

\[ C(A^T) \perp N(A), \quad r + (n - r) = n \]

Çıktı uzayı $\mathbb{R}^m$:

\[ C(A) \perp N(A^T), \quad r + (m - r) = m \]

“We’ve carved up n-dimensional space into two subspaces, and they’re orthogonal complements.” — Strang, 33:23

15.8 En İyi Çözüm Problemi — Least Squares Motivasyonu

Tipik: 1000 ölçüm (denklem), 6 parametre. $m \gg n$ → çoğu $\mathbf{b}$ için $\mathbf{b} \notin C(A)$ → tam çözüm yok + gürültü.

Kötü: denklemleri at, kare sistem bırak.

İyi: tüm ölçümleri kullan, gürültü/bilgi ayır, en iyi tahmin bul.

“I want to separate the noise from the information.” — Strang, 37:05

Çözüm: $\mathbf{b}$’yi $C(A)$’ya izdüşür (Ders 15-16):

\[ \boxed{A^T A \, \hat{\mathbf{x}} = A^T \mathbf{b}} \quad (\text{normal denklemler}) \]

Builder Notu: Bu lineer regresyon. $m$ örnek, $n$ özellik, $m \gg n$, gürültülü $\mathbf{b}$. Denetimli öğrenmenin prototipi.

15.9 AᵀA Özellikleri

Kare ($n \times n$).
Simetrik ($(A^T A)^T = A^T A$).
$\text{rank}(A^T A) = \text{rank}(A)$, $N(A^T A) = N(A)$.

“A transpose A is invertible exactly if A has independent columns.” — Strang, 48:51

Niye $N(A^T A) = N(A)$? $A^T A \mathbf{x} = \mathbf{0}$ → $\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 = 0$ → $A\mathbf{x} = \mathbf{0}$.

import numpy as np
from scipy.linalg import null_space

A = np.array([[1, 1], [1, 2], [1, 5]], dtype=float)
AtA = A.T @ A
print("A^T A =\n", AtA)
print("simetrik mi?", np.allclose(AtA, AtA.T))
print("det =", np.linalg.det(AtA))
print(f"rank(A) = {np.linalg.matrix_rank(A)}, rank(A^T A) = {np.linalg.matrix_rank(AtA)}")

Builder Notu — AᵀA Her Yerde

Lineer regresyon kapalı-form: $\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}$.
Gram matrisi: girişler kolon çiftlerinin dot product’ları; kernel methods çekirdeği.
Kovaryans: merkezlenmiş veri için $A^T A / (m-1)$; PCA bunun özvektörleri.
Multicollinearity → $A^T A$ tekil → ridge ($A^T A + \lambda I$) düzeltir.

15.10 Bu Dersin Özeti

$\mathbf{x}^T \mathbf{y} = 0$.
Pisagor.
Ortogonal alt-uzaylar.
Tahta-zemin: ayrıklık ≠ diklik.
Satır ⊥ null (Ax = 0 ispatı).
Ortogonal tümleyen: dik olan TÜM vektörler.
Temel teorem 2. kısım.
En iyi çözüm: dik izdüşüm.
Normal denklemler $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$.
$A^T A$ tersinir ⟺ kolonlar bağımsız.

Tek bir cümle

Dört alt-uzay boyutlarıyla değil, diklikleriyle de tanımlanır: satır ⊥ null, kolon ⊥ sol null (ortogonal tümleyen). $A^T A$ çözümsüz sistemleri en iyi anlamda çözmenin (least squares) anahtarı.

15.11 Kontrol Soruları

Soru 1: x = (1,1,1,1), y = (1,-1,2,-2) dik mi? Pisagor.

$\mathbf{x}^T \mathbf{y} = 1 - 1 + 2 - 2 = 0$ ✓.

Pisagor: $\|\mathbf{x}\|^2 = 4, \|\mathbf{y}\|^2 = 10$. $\mathbf{x} + \mathbf{y} = (2, 0, 3, -1)$, $\|.\|^2 = 4 + 0 + 9 + 1 = 14 = 4 + 10$ ✓.

Soru 2: A = (2, 1, 2). Satır ve null uzayı ortogonal tümleyen mi?

Satır uzayı: $(2, 1, 2)$ doğrultusu, dim 1.
Null uzayı: $2x_1 + x_2 + 2x_3 = 0$ → $(2, 1, 2)$’ye dik düzlem, dim $n - r = 2$.

Tümleyen: $1 + 2 = 3 = n$ ✓. Null uzayı $(2, 1, 2)$’ye dik her vektörü içerir.

Soru 3: A = ((1,2),(2,4),(3,6)) için AᵀA tersinir mi?

$\mathbf{c}_2 = 2\mathbf{c}_1$ → bağımlı → rank 1.

$A^T A$ tersinir ⟺ kolonlar bağımsız. Hayır, tersinir değil (rank 1, tekil).

$A^T A = \begin{pmatrix} 14 & 28 \\ 28 & 56 \end{pmatrix}$, $\det = 784 - 784 = 0$ ✓.

Ridge: $A^T A + \lambda I$ tersinir.

Soru 4: Lineer regresyon neden AᵀAx̂ = Aᵀb? Ortogonallikle bağı?

$m \gg n$, gürültülü $\mathbf{b}$ → $\mathbf{b} \notin C(A)$.

En iyi tahmin: $A\hat{\mathbf{x}}$ = $\mathbf{b}$’nin $C(A)$’ya dik izdüşümü. Hata $\mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}$ kolon uzayına dik → her kolona dik:

\[ A^T (\mathbf{b} - A\hat{\mathbf{x}}) = 0 \implies A^T A \hat{\mathbf{x}} = A^T \mathbf{b} \]

Kolonlar bağımsız → $\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}$ benzersiz least squares.

Denetimli öğrenmenin lineer prototipi; ortogonallik “en iyi”yi (dik projeksiyon) tanımlar.

15.12 Egzersizler

Egzersiz 1. $(1, 2, 2, 1)$’e dik vektörler $\mathbb{R}^4$’te hangi alt-uzay? Boyut, baz.

Egzersiz 2. $A = \begin{pmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{pmatrix}$ — satır ve null ortogonal tümleyen mi (boyut + diklik kontrol)?

Egzersiz 3. Hangi $A$ için $A^T A$ tersinir değil?

1. $\begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$
1. $\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$
1. $(1, 2, 3)^T$

Egzersiz 4. (Python) $A^T A$ ve diklik kontrolü.

Egzersiz 5. İspatla: $N(A^T A) = N(A)$. (İpucu: $A^T A \mathbf{x} = \mathbf{0}$ → $\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 = 0$.)

15.13 Sonraki Ders İçin Hazırlık

Ders 15: Alt-Uzaylara Projeksiyon

Doğruya projeksiyon: $\mathbf{p} = \frac{\mathbf{a}^T \mathbf{b}}{\mathbf{a}^T \mathbf{a}} \mathbf{a}$.
Projeksiyon matrisi $P$ ($P^2 = P, P^T = P$).
Alt-uzaya projeksiyon → normal denklemler.

Ders 15 öncesi

Egzersiz 5 ($N(A^T A) = N(A)$) kritik.
A.T @ A ile diklik ilişkilerini doğrula.

15.14 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım	Strang’da
Ortogonal vektör	$\mathbf{x}^T \mathbf{y} = 0$	4m20
Pisagor	$\\|\mathbf{x}\\|^2 + \\|\mathbf{y}\\|^2 = \\|\mathbf{x}+\mathbf{y}\\|^2 \iff \mathbf{x}^T \mathbf{y} = 0$	5m41
Uzunluk	$\\|\mathbf{x}\\|^2 = \mathbf{x}^T \mathbf{x}$	7m25
Ortogonal alt-uzay	Sadece $\mathbf{0}$’da kesişir	16m17
Satır ⊥ null	$A\mathbf{x} = \mathbf{0}$ her satıra diklik	20m49
Ortogonal tümleyen	Dik olan TÜM vektörler	32m17
Normal denklemler	$A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$	34m21
$A^T A$ tersinir	⟺ kolonlar bağımsız	48m51

15.15 ML Bağlantıları Özeti

7 köprü

$\mathbf{x}^T \mathbf{y} = 0$ = cos sim 0 → Embedding, kontrastif öğrenme.
Ortogonal ayrışım → SVD, PCA.
Satır ⊥ null → Projeksiyon, pseudoinverse, sinyal/gürültü.
$A^T A$ = normal / Gram / kov → Lineer regresyon, kernel, PCA.
Ortogonal tümleyen → Bir vektörün dik ayrışımı; boyut indirgemede atılan.
$A^T A$ tersinir = bağımsız özellik → Ridge multicollinearity’yi düzeltir.
Ortogonal kısıt → RNN/normalizing flow, Stiefel manifold optim.

Tek bir şey alıp gideceksen

$\mathbf{x}^T \mathbf{y} = 0$ → dik. Dört alt-uzay dik çiftler (ortogonal tümleyen). $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ — çözümsüz $A\mathbf{x} = \mathbf{b}$’yi en iyi anlamda çözmenin temeli.

--- title: "Ortogonal Vektörler ve Alt-Uzaylar" subtitle: "90 derece bölümü — temel teorem 2. kısım" --- ::: {.callout-note title="Bölüm bilgisi"} - **Strang'in videosu:** [YouTube — Lecture 14: Orthogonal Vectors and Subspaces](https://www.youtube.com/watch?v=YzZUIYRCE38) (≈48 dk) - **OCW sayfası:** [MIT 18.06SC — Lecture 14](https://ocw.mit.edu/courses/18-06sc-linear-algebra-fall-2011/resources/orthogonal-vectors-and-subspaces/) - **Okuma süresi:** ≈40 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} Yeni bölüm: **ortogonallik**. Ders 13'ün sonundaki "satır uzayı ⊥ null uzayı" sezgisi burada tam teori. 1. $\mathbf{x}^T \mathbf{y} = 0$ — Pisagor. 2. Ortogonal alt-uzaylar. 3. **Temel teorem 2. kısım**: satır ⊥ null, kolon ⊥ sol null — **ortogonal tümleyen**. 4. $A^T A$ — çözümsüz $A\mathbf{x} = \mathbf{b}$ için least squares hazırlık. > *"Row space is orthogonal to the null space."* — Strang, 20:49 ```{mermaid} %%| label: fig-concept-map %%| fig-cap: "Dört alt-uzay = iki dik çift. R^n ve R^m ortogonal tümleyenlere ayrışır; AᵀA least squares anahtarı." flowchart LR subgraph RN["R^n (girdi)"] ROW["C(Aᵀ) satır uzayı boyut r"] -.perp.- NA["N(A) null boyut n-r"] end subgraph RM["R^m (çıktı)"] COL["C(A) kolon uzayı boyut r"] -.perp.- LN["N(Aᵀ) sol null boyut m-r"] end AB["A·x = b çözümsüz (b ∉ C(A))"] --> PROJ["Dik izdüşüm: b → Ax̂ ∈ C(A)"] PROJ --> NE["⭐ AᵀAx̂ = Aᵀb (normal denklemler)"] NE --> ML["Lineer regresyon PCA, kernel methods"] style NE fill:#fff3e0,stroke:#e67e22,stroke-width:3px style ML fill:#fce4ec,stroke:#c2185b,stroke-width:2px ``` ::: {.callout-tip title="Builder Notu — Diklik ML'in Geometrik Dili"} - $\mathbf{x}^T \mathbf{y} = 0$ = **cosine similarity = 0**; embedding'lerde "ilgisiz" yönler. - **Ortogonal ayrışım** = SVD, PCA temeli; veriyi dik bileşenlere ayır. - **Satır ⊥ null** = projeksiyon, pseudoinverse, "sinyal + gürültü" ayrımı. - **$A^T A$** = normal denklemler / Gram matrisi / kovaryans; least squares + lineer regresyon + kernel methods + PCA çekirdeği. ::: ## Ortogonal Vektörler — $\mathbf{x}^T \mathbf{y} = 0$ {#sec-ortogonal} $$ \mathbf{x}^T \mathbf{y} = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n = 0 \iff \mathbf{x} \perp \mathbf{y} $$ Örnek: $\mathbf{x} = (1, 2, 3), \mathbf{y} = (2, -1, 0)$. $\mathbf{x}^T \mathbf{y} = 2 - 2 + 0 = 0$ ✓. ## Pisagor ve Uzunluk {#sec-pisagor} $$ \|\mathbf{x}\|^2 = \mathbf{x}^T \mathbf{x} = x_1^2 + \cdots + x_n^2 $$ $$ \|\mathbf{x} + \mathbf{y}\|^2 = \mathbf{x}^T \mathbf{x} + \mathbf{y}^T \mathbf{y} + 2 \mathbf{x}^T \mathbf{y} $$ Pisagor ($\|\mathbf{x}\|^2 + \|\mathbf{y}\|^2 = \|\mathbf{x}+\mathbf{y}\|^2$) $\iff$ $\mathbf{x}^T \mathbf{y} = 0$. **Builder Notu:** Normalize edilmiş vektörlerde $\mathbf{x}^T \mathbf{y}$ = **cosine similarity**. Semantik arama, öneri, kontrastif öğrenme. ## Ortogonal Alt-Uzaylar {#sec-ortogonal-altuzay} $S \perp T$: $S$'deki her vektör $T$'deki her vektöre dik. **Yalnızca $\mathbf{0}$'da kesişebilirler** (sıfır-olmayan ortak vektör kendine dik olamaz, $\mathbf{v}^T \mathbf{v} > 0$). **Tahta-zemin örneği:** $\mathbb{R}^3$'te iki düzlem — fiziksel olarak 90°'de buluşsalar bile **alt-uzay olarak ortogonal değil**, çünkü ortak bir doğruları var. > *"Those two planes aren't orthogonal."* — Strang, 18:25 **Builder Notu:** **Bağımsızlık ≠ diklik**. Gerçek diklik (PCA bileşenleri, ortogonal başlatma, Stiefel manifoldu) çok daha güçlü ve sayısal kararlılık + yorumlanabilirlik sağlar. ## Satır Uzayı ⊥ Null Uzayı {#sec-row-perp-null} $\mathbf{x} \in N(A)$ → $A\mathbf{x} = \mathbf{0}$: $$ A\mathbf{x} = \begin{pmatrix} \text{satır}_1 \cdot \mathbf{x} \\ \vdots \\ \text{satır}_m \cdot \mathbf{x} \end{pmatrix} = \mathbf{0} $$ Her satır $\cdot \mathbf{x} = 0$ → $\mathbf{x}$ her satıra dik → tüm satır uzayına dik. Aynı argüman $A^T$'ye: **kolon uzayı ⊥ sol null uzayı**. ## Ortogonal Tümleyen ⭐ {#sec-tumleyen} Diklik + boyut: satır uzayı ve null uzayı **ortogonal tümleyen** — null uzayı, satır uzayına dik olan **TÜM** vektörleri içerir. $$ \dim(\text{satır}) + \dim(\text{null}) = r + (n - r) = n $$ > *"The null space contains all, not just some, vectors that are perpendicular to the row space."* — Strang, 32:42 **Örnek:** $A = (1, 2, 5)$ ($1 \times 3$). Satır uzayı = $(1, 2, 5)$ yönündeki doğru. Null uzayı = $(1, 2, 5)$'e dik düzlem. Doğru + dik düzlem = $\mathbb{R}^3$. **Builder Notu:** Bir vektör satır bileşeni + null bileşeni olarak **tek biçimde** ayrışır → projeksiyonun, PCA'nın, pseudoinverse'in geometrik motoru. "Sinyal + gürültü" çoğu zaman ortogonal ayrışım. ## Temel Teorem 2. Kısım {#sec-temel-teorem-2} **Girdi uzayı $\mathbb{R}^n$:** $$ C(A^T) \perp N(A), \quad r + (n - r) = n $$ **Çıktı uzayı $\mathbb{R}^m$:** $$ C(A) \perp N(A^T), \quad r + (m - r) = m $$ > *"We've carved up n-dimensional space into two subspaces, and they're orthogonal complements."* — Strang, 33:23 ## En İyi Çözüm Problemi — Least Squares Motivasyonu {#sec-LS-motivasyon} **Tipik:** 1000 ölçüm (denklem), 6 parametre. $m \gg n$ → çoğu $\mathbf{b}$ için $\mathbf{b} \notin C(A)$ → tam çözüm yok + gürültü. **Kötü:** denklemleri at, kare sistem bırak. **İyi:** tüm ölçümleri kullan, gürültü/bilgi ayır, en iyi tahmin bul. > *"I want to separate the noise from the information."* — Strang, 37:05 **Çözüm:** $\mathbf{b}$'yi $C(A)$'ya **izdüşür** (Ders 15-16): $$ \boxed{A^T A \, \hat{\mathbf{x}} = A^T \mathbf{b}} \quad (\text{normal denklemler}) $$ **Builder Notu:** Bu **lineer regresyon**. $m$ örnek, $n$ özellik, $m \gg n$, gürültülü $\mathbf{b}$. Denetimli öğrenmenin prototipi. ## AᵀA Özellikleri {#sec-AtA} - **Kare** ($n \times n$). - **Simetrik** ($(A^T A)^T = A^T A$). - **$\text{rank}(A^T A) = \text{rank}(A)$, $N(A^T A) = N(A)$**. > *"A transpose A is invertible exactly if A has independent columns."* — Strang, 48:51 **Niye $N(A^T A) = N(A)$?** $A^T A \mathbf{x} = \mathbf{0}$ → $\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 = 0$ → $A\mathbf{x} = \mathbf{0}$. ```{python} #| label: code-AtA #| code-fold: false import numpy as np from scipy.linalg import null_space A = np.array([[1, 1], [1, 2], [1, 5]], dtype=float) AtA = A.T @ A print("A^T A =\n", AtA) print("simetrik mi?", np.allclose(AtA, AtA.T)) print("det =", np.linalg.det(AtA)) print(f"rank(A) = {np.linalg.matrix_rank(A)}, rank(A^T A) = {np.linalg.matrix_rank(AtA)}") ``` ::: {.callout-tip title="Builder Notu — AᵀA Her Yerde"} - **Lineer regresyon kapalı-form:** $\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}$. - **Gram matrisi:** girişler kolon çiftlerinin dot product'ları; kernel methods çekirdeği. - **Kovaryans:** merkezlenmiş veri için $A^T A / (m-1)$; **PCA** bunun özvektörleri. - **Multicollinearity** → $A^T A$ tekil → **ridge** ($A^T A + \lambda I$) düzeltir. ::: ## Bu Dersin Özeti {#sec-ozet} 1. $\mathbf{x}^T \mathbf{y} = 0$. 2. **Pisagor**. 3. **Ortogonal alt-uzaylar**. 4. **Tahta-zemin**: ayrıklık ≠ diklik. 5. **Satır ⊥ null** (Ax = 0 ispatı). 6. **Ortogonal tümleyen**: dik olan TÜM vektörler. 7. **Temel teorem 2. kısım**. 8. **En iyi çözüm**: dik izdüşüm. 9. **Normal denklemler** $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$. 10. **$A^T A$ tersinir** ⟺ kolonlar bağımsız. ::: {.callout-important title="Tek bir cümle"} Dört alt-uzay boyutlarıyla değil, **diklikleriyle de** tanımlanır: satır ⊥ null, kolon ⊥ sol null (ortogonal tümleyen). **$A^T A$** çözümsüz sistemleri en iyi anlamda çözmenin (least squares) anahtarı. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: x = (1,1,1,1), y = (1,-1,2,-2) dik mi? Pisagor."} $\mathbf{x}^T \mathbf{y} = 1 - 1 + 2 - 2 = 0$ ✓. Pisagor: $\|\mathbf{x}\|^2 = 4, \|\mathbf{y}\|^2 = 10$. $\mathbf{x} + \mathbf{y} = (2, 0, 3, -1)$, $\|.\|^2 = 4 + 0 + 9 + 1 = 14 = 4 + 10$ ✓. ::: ::: {.callout-note collapse="true" title="Soru 2: A = (2, 1, 2). Satır ve null uzayı ortogonal tümleyen mi?"} - Satır uzayı: $(2, 1, 2)$ doğrultusu, dim 1. - Null uzayı: $2x_1 + x_2 + 2x_3 = 0$ → $(2, 1, 2)$'ye dik düzlem, dim $n - r = 2$. **Tümleyen:** $1 + 2 = 3 = n$ ✓. Null uzayı $(2, 1, 2)$'ye dik **her** vektörü içerir. ::: ::: {.callout-note collapse="true" title="Soru 3: A = ((1,2),(2,4),(3,6)) için AᵀA tersinir mi?"} $\mathbf{c}_2 = 2\mathbf{c}_1$ → bağımlı → rank 1. $A^T A$ tersinir ⟺ kolonlar bağımsız. **Hayır, tersinir değil** (rank 1, tekil). $A^T A = \begin{pmatrix} 14 & 28 \\ 28 & 56 \end{pmatrix}$, $\det = 784 - 784 = 0$ ✓. Ridge: $A^T A + \lambda I$ tersinir. ::: ::: {.callout-note collapse="true" title="Soru 4: Lineer regresyon neden AᵀAx̂ = Aᵀb? Ortogonallikle bağı?"} $m \gg n$, gürültülü $\mathbf{b}$ → $\mathbf{b} \notin C(A)$. **En iyi tahmin:** $A\hat{\mathbf{x}}$ = $\mathbf{b}$'nin $C(A)$'ya **dik izdüşümü**. Hata $\mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}$ kolon uzayına dik → her kolona dik: $$ A^T (\mathbf{b} - A\hat{\mathbf{x}}) = 0 \implies A^T A \hat{\mathbf{x}} = A^T \mathbf{b} $$ Kolonlar bağımsız → $\hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b}$ benzersiz least squares. Denetimli öğrenmenin lineer prototipi; ortogonallik "en iyi"yi (dik projeksiyon) tanımlar. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $(1, 2, 2, 1)$'e dik vektörler $\mathbb{R}^4$'te hangi alt-uzay? Boyut, baz. **Egzersiz 2.** $A = \begin{pmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{pmatrix}$ — satır ve null ortogonal tümleyen mi (boyut + diklik kontrol)? **Egzersiz 3.** Hangi $A$ için $A^T A$ tersinir değil? - (a) $\begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$ - (b) $\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$ - (c) $(1, 2, 3)^T$ **Egzersiz 4.** *(Python)* $A^T A$ ve diklik kontrolü. **Egzersiz 5.** *İspatla:* $N(A^T A) = N(A)$. (İpucu: $A^T A \mathbf{x} = \mathbf{0}$ → $\mathbf{x}^T A^T A \mathbf{x} = \|A\mathbf{x}\|^2 = 0$.) ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 15: Alt-Uzaylara Projeksiyon** - Doğruya projeksiyon: $\mathbf{p} = \frac{\mathbf{a}^T \mathbf{b}}{\mathbf{a}^T \mathbf{a}} \mathbf{a}$. - Projeksiyon matrisi $P$ ($P^2 = P, P^T = P$). - Alt-uzaya projeksiyon → normal denklemler. ::: {.callout-warning title="Ders 15 öncesi"} - Egzersiz 5 ($N(A^T A) = N(A)$) kritik. - `A.T @ A` ile diklik ilişkilerini doğrula. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | Strang'da | |--------|-------|-----------| | **Ortogonal vektör** | $\mathbf{x}^T \mathbf{y} = 0$ | 4m20 | | **Pisagor** | $\|\mathbf{x}\|^2 + \|\mathbf{y}\|^2 = \|\mathbf{x}+\mathbf{y}\|^2 \iff \mathbf{x}^T \mathbf{y} = 0$ | 5m41 | | **Uzunluk** | $\|\mathbf{x}\|^2 = \mathbf{x}^T \mathbf{x}$ | 7m25 | | **Ortogonal alt-uzay** | Sadece $\mathbf{0}$'da kesişir | 16m17 | | **Satır ⊥ null** | $A\mathbf{x} = \mathbf{0}$ her satıra diklik | 20m49 | | **Ortogonal tümleyen** | Dik olan TÜM vektörler | 32m17 | | **Normal denklemler** | $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ | 34m21 | | **$A^T A$ tersinir** | ⟺ kolonlar bağımsız | 48m51 | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="7 köprü"} 1. **$\mathbf{x}^T \mathbf{y} = 0$ = cos sim 0** → Embedding, kontrastif öğrenme. 2. **Ortogonal ayrışım** → SVD, PCA. 3. **Satır ⊥ null** → Projeksiyon, pseudoinverse, sinyal/gürültü. 4. **$A^T A$ = normal / Gram / kov** → Lineer regresyon, kernel, PCA. 5. **Ortogonal tümleyen** → Bir vektörün dik ayrışımı; boyut indirgemede atılan. 6. **$A^T A$ tersinir = bağımsız özellik** → Ridge multicollinearity'yi düzeltir. 7. **Ortogonal kısıt** → RNN/normalizing flow, Stiefel manifold optim. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} $\mathbf{x}^T \mathbf{y} = 0$ → dik. Dört alt-uzay dik çiftler (ortogonal tümleyen). $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ — çözümsüz $A\mathbf{x} = \mathbf{b}$'yi en iyi anlamda çözmenin temeli. :::

15.1 Bu Derste Ne Var?

15.2 Ortogonal Vektörler — \(\mathbf{x}^T \mathbf{y} = 0\)

15.3 Pisagor ve Uzunluk

15.4 Ortogonal Alt-Uzaylar

15.5 Satır Uzayı ⊥ Null Uzayı

15.6 Ortogonal Tümleyen ⭐

15.7 Temel Teorem 2. Kısım

15.8 En İyi Çözüm Problemi — Least Squares Motivasyonu

15.9 AᵀA Özellikleri

15.10 Bu Dersin Özeti

15.11 Kontrol Soruları

15.12 Egzersizler

15.13 Sonraki Ders İçin Hazırlık

15.14 Anahtar Kavramlar (Cheat Sheet)

15.15 ML Bağlantıları Özeti