12 Matris Uzayları, Rank 1 ve Küçük Dünya Grafikleri

Matrisler/fonksiyonlar/graflar vektör; uvᵀ tüm matrislerin atomu

Bölüm bilgisi

Strang’in videosu: YouTube — Lecture 11: Matrix Spaces, Rank 1, Small World Graphs (≈50 dk)
OCW sayfası: MIT 18.06SC — Lecture 11
Okuma süresi: ≈40 dk

12.1 Bu Derste Ne Var?

“Rank one matrices are the building blocks for all matrices.” — Strang, 24:19

Matris uzayları — simetrik, üst üçgensel, diagonal; boyut formülü.
Fonksiyon uzayları — ODE çözümleri = vektör uzayı.
Rank 1 matrisler — $A = \mathbf{u}\mathbf{v}^T$, tüm matrislerin yapı taşı.
Küçük dünya grafikleri — altı derece ayrım, Ders 12’ye köprü.

flowchart LR
    VS["Vektör uzayı"] --> MS["Matris uzayı M<br/>(3×3 → dim 9)"]
    VS --> FS["Fonksiyon uzayı<br/>(cos, sin → dim 2)"]
    VS --> GS["Graf yapıları"]

    MS --> RANK1["⭐ Rank 1: A = uvᵀ"]
    RANK1 --> SUM["Her A = Σ uᵢvᵢᵀ<br/>(r terim)"]
    SUM --> SVD["SVD<br/>(Ders 29)"]
    SUM --> LORA["⚡ LoRA<br/>düşük-rank ΔW"]

    style RANK1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style LORA fill:#fce4ec,stroke:#c2185b,stroke-width:2px

flowchart LR
    VS["Vektör uzayı"] --> MS["Matris uzayı M<br/>(3×3 → dim 9)"]
    VS --> FS["Fonksiyon uzayı<br/>(cos, sin → dim 2)"]
    VS --> GS["Graf yapıları"]

    MS --> RANK1["⭐ Rank 1: A = uvᵀ"]
    RANK1 --> SUM["Her A = Σ uᵢvᵢᵀ<br/>(r terim)"]
    SUM --> SVD["SVD<br/>(Ders 29)"]
    SUM --> LORA["⚡ LoRA<br/>düşük-rank ΔW"]

    style RANK1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:2px
    style LORA fill:#fce4ec,stroke:#c2185b,stroke-width:2px

Şekil 12.1: Vektör kavramı matrislerden fonksiyonlara/graflara uzanır; rank-1 uvᵀ tüm matrislerin atomu — SVD/LoRA çekirdeği.

Builder Notu — uvᵀ Her Yerde

Attention $QK^T$ dış-çarpım yapısı; düşük-rank yaklaşım hızlandırma (Linformer, Performer).
Embedding outer product’lar — matris faktorizasyonu tabanlı öneri sistemleri.
LoRA: $\Delta W = BA$ (birkaç rank-1) → $n^2$ yerine $2nr$ parametre.
Fonksiyon uzayları → Fourier, wavelet, RKHS, Gaussian process.
Grafikler → GNN (adjacency), PageRank (özvektör), küçük dünya topoloji.

12.2 Matris Uzayı M

$3 \times 3$ matrisler vektör uzayı (matris çarpımı umursanmaz, sadece toplama/skalerle çarpma):

\[ \dim M = 9 \]

Standart baz: 9 matris, her birinde tek bir 1.

“Our space is practically the same as nine-dimensional space.” — Strang, 4:40

12.3 Alt-Uzaylar — Simetrik, Üst Üçgensel, Diagonal

Alt-uzay	Serbest parametre	Boyut
Simetrik $S$	köşegen (3) + üst (3)	6
Üst üçgensel $U$	köşegen (3) + üst (3)	6
Diagonal $D$	sadece köşegen	3

12.4 Boyut Formülü — Kesişim ve Toplam

$S \cap U$: hem simetrik hem üst üçgensel → alt = üst = 0 → diagonal. $S \cap U = D$, dim 3.

$S + U$: tüm $s + u$ kombinasyonları → tüm $M$, dim 9.

\[ \boxed{\dim S + \dim U = \dim(S \cap U) + \dim(S + U)} \]

\[ 6 + 6 = 3 + 9 \checkmark \]

İçerme-dışlama’nın vektör uzayı versiyonu.

Builder Notu — Yapısal Kısıtlar = Alt-Uzaylar

Simetrik: kovaryans/kernel/attention.
Diagonal: ölçekleme katmanları (LayerNorm gain, diagonal Fisher).
Üst üçgensel: nedensel maskeler, Cholesky çarpanları.

Simetrik kısıt: $n^2$ yerine $n(n+1)/2$ parametre.

12.5 Fonksiyon Uzayları — ODE Çözümleri

\[ \frac{d^2 y}{dx^2} + y = 0 \implies y = c_1 \cos x + c_2 \sin x \]

Çözümler vektör uzayı: $\text{span}\{\cos x, \sin x\}$, dim 2 (ikinci mertebe denklem → 2 boyut).

“Cosine and sine — they’re like the special solutions … the dimension of the solution space will be two, because we have a second-order equation.” — Strang, 17:44

cos ve sin fonksiyonlar, ama toplanıp ölçeklendikleri için lineer cebrin tüm dili (baz, boyut, bağımsızlık) onlara da uygulanır.

Builder Notu: Fourier modları (sin/cos), wavelet’ler, kernel methods’un RKHS’i, Gaussian process’ler — hep sonsuz boyutlu fonksiyon vektör uzayları.

12.6 Rank 1 Matrisler — $A = \mathbf{u}\mathbf{v}^T$ ⭐

\[ A = \begin{pmatrix} 1 & 4 & 5 \\ 2 & 8 & 10 \end{pmatrix} \]

$r_2 = 2 r_1$ → rank 1. Tüm satırlar $(1, 4, 5)$’in katı, tüm kolonlar $(1, 2)$’nin katı.

\[ A = \begin{pmatrix} 1 \\ 2 \end{pmatrix} \begin{pmatrix} 1 & 4 & 5 \end{pmatrix} = \mathbf{u} \mathbf{v}^T \]

Dış çarpım (outer product). Her rank-1 matris bu biçimde.

import numpy as np

A = np.array([[1, 4, 5], [2, 8, 10]], dtype=float)
print("rank =", np.linalg.matrix_rank(A))

u = np.array([1, 2])
v = np.array([1, 4, 5])
print("u v^T =\n", np.outer(u, v))   # = A

# SVD ile rank-1 ayrışım
U, s, Vt = np.linalg.svd(A)
print("tekil değerler =", s)          # sadece ilki sıfırdan farklı
A1 = s[0] * np.outer(U[:, 0], Vt[0, :])
print("rank-1 yeniden inşa:\n", A1)

12.7 Rank 1 = Yapı Taşı

Her rank $r$ matris, $r$ tane rank-1 matrisin toplamı:

\[ A = \mathbf{u}_1 \mathbf{v}_1^T + \mathbf{u}_2 \mathbf{v}_2^T + \cdots + \mathbf{u}_r \mathbf{v}_r^T \]

“Rank one matrices are the building blocks for all matrices.” — Strang, 24:19

Bu ayrışım = SVD (Ders 29):

\[ A = \sigma_1 \mathbf{u}_1 \mathbf{v}_1^T + \sigma_2 \mathbf{u}_2 \mathbf{v}_2^T + \cdots \]

— terimleri tekil değer büyüklüğüne göre sıralar (Eckart–Young: en büyük $k$ terim = en iyi rank-$k$ yaklaşım).

Builder Notu — LoRA’nın Matematiği

LoRA: Bir $n \times n$ ağırlık güncellemesi $\Delta W$’yi tam matris ($n^2$ parametre) yerine düşük-rank ($r \ll n$):

\[ \Delta W = B A, \quad B \in \mathbb{R}^{n \times r}, A \in \mathbb{R}^{r \times n} \]

= $r$ rank-1 dış-çarpımın toplamı, $2nr$ parametre. Fine-tuning değişimi pratikte düşük etkin rank’e sahip → çok az kayıpla. Rank-1 = yapı taşı sezgisi LoRA’nın doğrudan matematiği.

12.8 Sabit Rank Alt-Uzay Değil

“Tüm rank-$k$ matrisler” alt-uzay mı? Hayır.

\[ \text{rank}(A + B) \leq \text{rank}(A) + \text{rank}(B) \]

İki rank-1 toplandığında genelde rank 2 olur. Toplamada kapalı değil → alt-uzay değil.

Builder Notu: Düşük-rank kısıtı non-convex → matris tamamlama, LoRA eğitimi zor problemler; nükleer norm gevşetmesi numarası gerekir.

12.9 Toplamı Sıfır Alt-Uzayı

\[ S = \{\mathbf{v} \in \mathbb{R}^4 : v_1 + v_2 + v_3 + v_4 = 0\} \]

Bu $N(A)$, $A = (1, 1, 1, 1)$ için. $A$ rank 1, $\dim N(A) = n - r = 4 - 1 = 3$.

Baz (özel çözümler):

\[ (-1, 1, 0, 0)^T, \; (-1, 0, 1, 0)^T, \; (-1, 0, 0, 1)^T \]

Builder Notu: “Merkezleme” alt-uzayı. Bir veriyi ortalamadan çıkarmak onu bu alt-uzaya izdüşürür. Softmax gradyanı, simpleks kısıtları, contrast kodlamaları burada yaşar. Tek satırlık matris = bir kısıt bir boyut “yer”.

12.10 Dört Alt-Uzay — $A = (1,1,1,1)$ Örneği

$A$ ($1 \times 4$, rank 1):

$C(A^T)$: $(1, 1, 1, 1)$’in katları, $\mathbb{R}^4$’te, boyut 1.
$N(A)$: toplamı sıfır olanlar, boyut 3. ($1 + 3 = 4$ ✓)
$C(A)$: $\mathbb{R}^1$’in tamamı, boyut 1.
$N(A^T)$: sadece sıfır, boyut 0. ($1 + 0 = 1$ ✓)

“The basis of the smallest subspace is the empty set. The number of members in the empty set is zero — that’s the dimension.” — Strang, 38:49

12.11 Küçük Dünya Grafikleri

Graf = düğümler + kenarlar (kalkülüsteki “grafik” değil, ağ yapısı). Klasik örnek: insanlar düğüm, arkadaşlık kenar.

Altı derece ayrım: Rastgele iki insan ortalama ~6 arkadaşlık adımıyla bağlı.

“Six degrees of separation … with a few shortcuts, the distances come down dramatically.” — Strang, 43:46

Bir graf bir incidence matrisi ($m$ kenar × $n$ düğüm) ile temsil edilir. Lineer cebir bu matris üzerinde işler (Ders 12).

Builder Notu: GNN komşuluk matrisi üzerinde mesaj geçirir; PageRank web grafının özvektör problemi (Ders 21+); küçük dünya / ölçeksiz topoloji sosyal/nöral ağların temeli.

12.12 Bu Dersin Özeti

$M$ ($3 \times 3$) → dim 9.
Alt-uzaylar: simetrik (6), üst üçgensel (6), diagonal (3).
Boyut formülü: $\dim S + \dim U = \dim(S \cap U) + \dim(S + U)$.
Fonksiyon uzayları: ODE çözümleri, $\text{span}\{\cos, \sin\} = 2$.
Rank 1: $A = \mathbf{u}\mathbf{v}^T$.
Her matris = $r$ rank-1 toplamı (SVD özü).
Sabit rank ≠ alt-uzay ($\text{rank}(A+B) \leq r_A + r_B$).
Toplamı sıfır: $N((1,1,1,1))$, dim $n - 1$.
Boş baz: sıfır boyutlu uzayın bazı boş küme.
Grafikler: altı derece, incidence matrisi (Ders 12).

Tek bir cümle

Vektör uzayı matrislerden fonksiyonlara/graflara uzanır; rank-1 ($\mathbf{u}\mathbf{v}^T$) tüm matrislerin atomudur ve her matris $r$ rank-1 teriminin toplamıdır — SVD, PCA ve LoRA’nın ortak çekirdeği.

12.13 Kontrol Soruları

Soru 1: 2×2 simetrik matrisler — boyut ve baz.

Köşegen (2) + üst (1, alt yansır) → boyut 3.

\[ \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}, \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix}, \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix} \]

Soru 2: A = ((2,6),(3,9),(1,3)) rank 1 mi? uvᵀ?

$\mathbf{c}_2 = 3\mathbf{c}_1$ → rank 1.

\[ A = \begin{pmatrix} 2 \\ 3 \\ 1 \end{pmatrix} \begin{pmatrix} 1 & 3 \end{pmatrix} \]

Soru 3: Tüm 3×3 rank-2 matrisler alt-uzay mı?

Hayır.

Sıfır matris (rank 0) bu kümede değil → orijin yok → alt-uzay olamaz.
İki rank-2 toplamı rank 0, 1, 2, 3 olabilir → toplamada kapalı değil.

Sabit rank kümeleri non-convex. Düşük-rank optimizasyonu bu yüzden zor.

Soru 4: LoRA neden rank-1 (düşük-rank) yazar?

Tam $\Delta W$ → $n^2$ parametre. Ama her rank-$r$ matris $r$ rank-1 toplamı:

\[ \Delta W = B A = \sum_{i=1}^{r} \mathbf{b}_i \mathbf{a}_i^T \]

$B \in \mathbb{R}^{n \times r}, A \in \mathbb{R}^{r \times n}$ → $2nr$ parametre, $n^2$’den çok küçük.

Fine-tuning değişimi pratikte düşük etkin rank → birkaç önemli yön. SVD’nin “en büyük $k$ terimi tut” sezgisinin LoRA versiyonu.

12.14 Egzersizler

Egzersiz 1. $3 \times 3$ antisimetrik ($A^T = -A$) matrislerin boyutu, baz. (İpucu: köşegen?)

Egzersiz 2. $A = \begin{pmatrix} 3 & 6 & 9 \\ 1 & 2 & 3 \\ 2 & 4 & 6 \end{pmatrix}$ rank? rank 1 ise $\mathbf{u}\mathbf{v}^T$.

Egzersiz 3. $S, U \subset \mathbb{R}^8$; $\dim S = 5, \dim U = 6$. $\dim(S \cap U)$ en az kaç? (Boyut formülü + $\dim(S+U) \leq 8$.)

Egzersiz 4. (Python) Rank-1 SVD ayrışımı.

Egzersiz 5. İspatla: $A = \mathbf{u}\mathbf{v}^T$ ($\mathbf{u}, \mathbf{v} \neq \mathbf{0}$) → rank 1. (İpucu: her kolon $\mathbf{u}$’nun katı.) SVD’nin tek terimli hâli.

12.15 Sonraki Ders İçin Hazırlık

Ders 12: Graflar, Ağlar ve Incidence Matrisleri

Incidence matrisi ($m$ kenar × $n$ düğüm).
Dört alt-uzay grafta: null (potansiyeller), sol null (çevrimler).
Kirchhoff yasaları, Euler formülü.

Ders 12 öncesi

Egzersiz 5 (rank-1 → SVD habercisi) kritik.
np.outer ve np.linalg.svd ile rank-1 dene.

12.16 Anahtar Kavramlar (Cheat Sheet)

Kavram	Tanım	Strang’da
Matris uzayı $M$	3×3 → dim 9	3m59
Simetrik / üst üçgensel	Her biri dim 6	6m13
Diagonal	dim 3 ($S \cap U = D$)	8m36
Boyut formülü	$\dim S + \dim U = \dim(S\cap U) + \dim(S+U)$	13m48
Fonksiyon uzayı	ODE çözümleri, dim 2	14m43
Rank 1 = $\mathbf{u}\mathbf{v}^T$	Dış çarpım	23m06
Yapı taşı	Her rank-$r$ matris = $r$ rank-1 toplamı	24m19
rank toplamı	$\text{rank}(A+B) \leq r_A + r_B$	27m35
Toplamı sıfır	$N((1,1,1,1))$, dim $n-1$	29m21
Altı derece	Küçük dünya, graf	43m46

12.17 ML Bağlantıları Özeti

7 köprü

Rank 1 = dış çarpım → Attention $QK^T$, embedding outer products, matris faktorizasyonu.
Rank-1 toplamı = SVD → Görüntü sıkıştırma, gürültü giderme.
LoRA = düşük-rank güncelleme → Fine-tuning standart yöntemi.
Fonksiyon uzayları → Fourier, wavelet, RKHS, GP.
Boyut formülü → İçerme-dışlama, özellik alt-uzayları muhasebesi.
Sabit rank non-convex → Düşük-rank optim zorluğu, nükleer norm.
Grafikler + matrisler → GNN, PageRank, küçük dünya topoloji.

Tek bir şey alıp gideceksen

Vektör uzayı matrislerden fonksiyonlara/graflara genelleşir; rank-1 ($\mathbf{u}\mathbf{v}^T$) tüm matrislerin atomu — her matris $r$ rank-1 toplamı (SVD, PCA, LoRA çekirdeği).

--- title: "Matris Uzayları, Rank 1 ve Küçük Dünya Grafikleri" subtitle: "Matrisler/fonksiyonlar/graflar vektör; uvᵀ tüm matrislerin atomu" --- ::: {.callout-note title="Bölüm bilgisi"} - **Strang'in videosu:** [YouTube — Lecture 11: Matrix Spaces, Rank 1, Small World Graphs](https://www.youtube.com/watch?v=2IdtqGM6KWU) (≈50 dk) - **OCW sayfası:** [MIT 18.06SC — Lecture 11](https://ocw.mit.edu/courses/18-06sc-linear-algebra-fall-2011/resources/matrix-spaces-rank-1-small-world-graphs/) - **Okuma süresi:** ≈40 dk ::: ## Bu Derste Ne Var? {#sec-bu-derste} > *"Rank one matrices are the building blocks for all matrices."* — Strang, 24:19 1. **Matris uzayları** — simetrik, üst üçgensel, diagonal; boyut formülü. 2. **Fonksiyon uzayları** — ODE çözümleri = vektör uzayı. 3. **Rank 1 matrisler** — $A = \mathbf{u}\mathbf{v}^T$, tüm matrislerin yapı taşı. 4. **Küçük dünya grafikleri** — altı derece ayrım, Ders 12'ye köprü. ```{mermaid} %%| label: fig-concept-map %%| fig-cap: "Vektör kavramı matrislerden fonksiyonlara/graflara uzanır; rank-1 uvᵀ tüm matrislerin atomu — SVD/LoRA çekirdeği." flowchart LR VS["Vektör uzayı"] --> MS["Matris uzayı M (3×3 → dim 9)"] VS --> FS["Fonksiyon uzayı (cos, sin → dim 2)"] VS --> GS["Graf yapıları"] MS --> RANK1["⭐ Rank 1: A = uvᵀ"] RANK1 --> SUM["Her A = Σ uᵢvᵢᵀ (r terim)"] SUM --> SVD["SVD (Ders 29)"] SUM --> LORA["⚡ LoRA düşük-rank ΔW"] style RANK1 fill:#fff3e0,stroke:#e67e22,stroke-width:3px style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:2px style LORA fill:#fce4ec,stroke:#c2185b,stroke-width:2px ``` ::: {.callout-tip title="Builder Notu — uvᵀ Her Yerde"} - **Attention** $QK^T$ dış-çarpım yapısı; düşük-rank yaklaşım hızlandırma (Linformer, Performer). - **Embedding outer product'lar** — matris faktorizasyonu tabanlı öneri sistemleri. - **LoRA**: $\Delta W = BA$ (birkaç rank-1) → $n^2$ yerine $2nr$ parametre. - **Fonksiyon uzayları** → Fourier, wavelet, RKHS, Gaussian process. - **Grafikler** → GNN (adjacency), PageRank (özvektör), küçük dünya topoloji. ::: ## Matris Uzayı M {#sec-M} $3 \times 3$ matrisler vektör uzayı (matris çarpımı umursanmaz, sadece toplama/skalerle çarpma): $$ \dim M = 9 $$ Standart baz: 9 matris, her birinde tek bir 1. > *"Our space is practically the same as nine-dimensional space."* — Strang, 4:40 ## Alt-Uzaylar — Simetrik, Üst Üçgensel, Diagonal {#sec-alt-uzaylar} | Alt-uzay | Serbest parametre | Boyut | |----------|-------------------|-------| | Simetrik $S$ | köşegen (3) + üst (3) | **6** | | Üst üçgensel $U$ | köşegen (3) + üst (3) | **6** | | Diagonal $D$ | sadece köşegen | **3** | ## Boyut Formülü — Kesişim ve Toplam {#sec-boyut-formulu} $S \cap U$: hem simetrik hem üst üçgensel → alt = üst = 0 → diagonal. **$S \cap U = D$**, dim 3. $S + U$: tüm $s + u$ kombinasyonları → tüm $M$, dim 9. $$ \boxed{\dim S + \dim U = \dim(S \cap U) + \dim(S + U)} $$ $$ 6 + 6 = 3 + 9 \checkmark $$ İçerme-dışlama'nın vektör uzayı versiyonu. ::: {.callout-tip title="Builder Notu — Yapısal Kısıtlar = Alt-Uzaylar"} - **Simetrik:** kovaryans/kernel/attention. - **Diagonal:** ölçekleme katmanları (LayerNorm gain, diagonal Fisher). - **Üst üçgensel:** nedensel maskeler, Cholesky çarpanları. Simetrik kısıt: $n^2$ yerine $n(n+1)/2$ parametre. ::: ## Fonksiyon Uzayları — ODE Çözümleri {#sec-fonksiyon-uzayi} $$ \frac{d^2 y}{dx^2} + y = 0 \implies y = c_1 \cos x + c_2 \sin x $$ Çözümler vektör uzayı: $\text{span}\{\cos x, \sin x\}$, **dim 2** (ikinci mertebe denklem → 2 boyut). > *"Cosine and sine — they're like the special solutions ... the dimension of the solution space will be two, because we have a second-order equation."* — Strang, 17:44 cos ve sin fonksiyonlar, ama toplanıp ölçeklendikleri için lineer cebrin tüm dili (baz, boyut, bağımsızlık) onlara da uygulanır. **Builder Notu:** Fourier modları (sin/cos), wavelet'ler, **kernel methods**'un RKHS'i, Gaussian process'ler — hep sonsuz boyutlu fonksiyon vektör uzayları. ## Rank 1 Matrisler — $A = \mathbf{u}\mathbf{v}^T$ ⭐ {#sec-rank-1} $$ A = \begin{pmatrix} 1 & 4 & 5 \\ 2 & 8 & 10 \end{pmatrix} $$ $r_2 = 2 r_1$ → rank 1. Tüm satırlar $(1, 4, 5)$'in katı, tüm kolonlar $(1, 2)$'nin katı. $$ A = \begin{pmatrix} 1 \\ 2 \end{pmatrix} \begin{pmatrix} 1 & 4 & 5 \end{pmatrix} = \mathbf{u} \mathbf{v}^T $$ **Dış çarpım (outer product).** Her rank-1 matris bu biçimde. ```{python} #| label: code-outer-product #| code-fold: false import numpy as np A = np.array([[1, 4, 5], [2, 8, 10]], dtype=float) print("rank =", np.linalg.matrix_rank(A)) u = np.array([1, 2]) v = np.array([1, 4, 5]) print("u v^T =\n", np.outer(u, v)) # = A # SVD ile rank-1 ayrışım U, s, Vt = np.linalg.svd(A) print("tekil değerler =", s) # sadece ilki sıfırdan farklı A1 = s[0] * np.outer(U[:, 0], Vt[0, :]) print("rank-1 yeniden inşa:\n", A1) ``` ## Rank 1 = Yapı Taşı {#sec-yapi-tasi} **Her rank $r$ matris, $r$ tane rank-1 matrisin toplamı:** $$ A = \mathbf{u}_1 \mathbf{v}_1^T + \mathbf{u}_2 \mathbf{v}_2^T + \cdots + \mathbf{u}_r \mathbf{v}_r^T $$ > *"Rank one matrices are the building blocks for all matrices."* — Strang, 24:19 Bu ayrışım = **SVD** (Ders 29): $$ A = \sigma_1 \mathbf{u}_1 \mathbf{v}_1^T + \sigma_2 \mathbf{u}_2 \mathbf{v}_2^T + \cdots $$ — terimleri tekil değer büyüklüğüne göre sıralar (Eckart–Young: en büyük $k$ terim = en iyi rank-$k$ yaklaşım). ::: {.callout-tip title="Builder Notu — LoRA'nın Matematiği"} **LoRA:** Bir $n \times n$ ağırlık güncellemesi $\Delta W$'yi tam matris ($n^2$ parametre) yerine düşük-rank ($r \ll n$): $$ \Delta W = B A, \quad B \in \mathbb{R}^{n \times r}, A \in \mathbb{R}^{r \times n} $$ = $r$ rank-1 dış-çarpımın toplamı, $2nr$ parametre. Fine-tuning değişimi pratikte düşük etkin rank'e sahip → çok az kayıpla. **Rank-1 = yapı taşı** sezgisi LoRA'nın doğrudan matematiği. ::: ## Sabit Rank Alt-Uzay Değil {#sec-rank-non-subspace} "Tüm rank-$k$ matrisler" alt-uzay mı? **Hayır.** $$ \text{rank}(A + B) \leq \text{rank}(A) + \text{rank}(B) $$ İki rank-1 toplandığında genelde **rank 2** olur. Toplamada kapalı değil → alt-uzay değil. **Builder Notu:** Düşük-rank kısıtı **non-convex** → matris tamamlama, LoRA eğitimi zor problemler; **nükleer norm gevşetmesi** numarası gerekir. ## Toplamı Sıfır Alt-Uzayı {#sec-toplam-sifir} $$ S = \{\mathbf{v} \in \mathbb{R}^4 : v_1 + v_2 + v_3 + v_4 = 0\} $$ Bu $N(A)$, $A = (1, 1, 1, 1)$ için. $A$ rank 1, $\dim N(A) = n - r = 4 - 1 = 3$. Baz (özel çözümler): $$ (-1, 1, 0, 0)^T, \; (-1, 0, 1, 0)^T, \; (-1, 0, 0, 1)^T $$ **Builder Notu:** "Merkezleme" alt-uzayı. Bir veriyi ortalamadan çıkarmak onu bu alt-uzaya izdüşürür. Softmax gradyanı, simpleks kısıtları, contrast kodlamaları burada yaşar. Tek satırlık matris = bir kısıt bir boyut "yer". ## Dört Alt-Uzay — $A = (1,1,1,1)$ Örneği {#sec-dort-uzay-ornek} $A$ ($1 \times 4$, rank 1): - $C(A^T)$: $(1, 1, 1, 1)$'in katları, $\mathbb{R}^4$'te, **boyut 1**. - $N(A)$: toplamı sıfır olanlar, **boyut 3**. ($1 + 3 = 4$ ✓) - $C(A)$: $\mathbb{R}^1$'in tamamı, **boyut 1**. - $N(A^T)$: sadece sıfır, **boyut 0**. ($1 + 0 = 1$ ✓) > *"The basis of the smallest subspace is the empty set. The number of members in the empty set is zero — that's the dimension."* — Strang, 38:49 ## Küçük Dünya Grafikleri {#sec-kucuk-dunya} Graf = **düğümler** + **kenarlar** (kalkülüsteki "grafik" değil, ağ yapısı). Klasik örnek: insanlar düğüm, arkadaşlık kenar. **Altı derece ayrım:** Rastgele iki insan ortalama ~6 arkadaşlık adımıyla bağlı. > *"Six degrees of separation ... with a few shortcuts, the distances come down dramatically."* — Strang, 43:46 Bir graf bir **incidence matrisi** ($m$ kenar × $n$ düğüm) ile temsil edilir. Lineer cebir bu matris üzerinde işler (Ders 12). **Builder Notu:** **GNN** komşuluk matrisi üzerinde mesaj geçirir; **PageRank** web grafının özvektör problemi (Ders 21+); **küçük dünya / ölçeksiz** topoloji sosyal/nöral ağların temeli. ## Bu Dersin Özeti {#sec-ozet} 1. **$M$** ($3 \times 3$) → dim 9. 2. **Alt-uzaylar**: simetrik (6), üst üçgensel (6), diagonal (3). 3. **Boyut formülü**: $\dim S + \dim U = \dim(S \cap U) + \dim(S + U)$. 4. **Fonksiyon uzayları**: ODE çözümleri, $\text{span}\{\cos, \sin\} = 2$. 5. **Rank 1**: $A = \mathbf{u}\mathbf{v}^T$. 6. **Her matris** = $r$ rank-1 toplamı (SVD özü). 7. **Sabit rank ≠ alt-uzay** ($\text{rank}(A+B) \leq r_A + r_B$). 8. **Toplamı sıfır**: $N((1,1,1,1))$, dim $n - 1$. 9. **Boş baz**: sıfır boyutlu uzayın bazı boş küme. 10. **Grafikler**: altı derece, incidence matrisi (Ders 12). ::: {.callout-important title="Tek bir cümle"} Vektör uzayı matrislerden fonksiyonlara/graflara uzanır; **rank-1 ($\mathbf{u}\mathbf{v}^T$)** tüm matrislerin atomudur ve her matris $r$ rank-1 teriminin toplamıdır — **SVD, PCA ve LoRA**'nın ortak çekirdeği. ::: ## Kontrol Soruları {#sec-sorular} ::: {.callout-note collapse="true" title="Soru 1: 2×2 simetrik matrisler — boyut ve baz."} Köşegen (2) + üst (1, alt yansır) → **boyut 3**. $$ \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}, \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix}, \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix} $$ ::: ::: {.callout-note collapse="true" title="Soru 2: A = ((2,6),(3,9),(1,3)) rank 1 mi? uvᵀ?"} $\mathbf{c}_2 = 3\mathbf{c}_1$ → rank 1. $$ A = \begin{pmatrix} 2 \\ 3 \\ 1 \end{pmatrix} \begin{pmatrix} 1 & 3 \end{pmatrix} $$ ::: ::: {.callout-note collapse="true" title="Soru 3: Tüm 3×3 rank-2 matrisler alt-uzay mı?"} **Hayır.** 1. Sıfır matris (rank 0) bu kümede değil → orijin yok → alt-uzay olamaz. 2. İki rank-2 toplamı rank 0, 1, 2, 3 olabilir → toplamada kapalı değil. Sabit rank kümeleri non-convex. Düşük-rank optimizasyonu bu yüzden zor. ::: ::: {.callout-note collapse="true" title="Soru 4: LoRA neden rank-1 (düşük-rank) yazar?"} Tam $\Delta W$ → $n^2$ parametre. Ama her rank-$r$ matris $r$ rank-1 toplamı: $$ \Delta W = B A = \sum_{i=1}^{r} \mathbf{b}_i \mathbf{a}_i^T $$ $B \in \mathbb{R}^{n \times r}, A \in \mathbb{R}^{r \times n}$ → $2nr$ parametre, $n^2$'den çok küçük. Fine-tuning değişimi pratikte düşük etkin rank → birkaç önemli yön. SVD'nin "en büyük $k$ terimi tut" sezgisinin LoRA versiyonu. ::: ## Egzersizler {#sec-egzersizler} **Egzersiz 1.** $3 \times 3$ antisimetrik ($A^T = -A$) matrislerin boyutu, baz. (İpucu: köşegen?) **Egzersiz 2.** $A = \begin{pmatrix} 3 & 6 & 9 \\ 1 & 2 & 3 \\ 2 & 4 & 6 \end{pmatrix}$ rank? rank 1 ise $\mathbf{u}\mathbf{v}^T$. **Egzersiz 3.** $S, U \subset \mathbb{R}^8$; $\dim S = 5, \dim U = 6$. $\dim(S \cap U)$ en az kaç? (Boyut formülü + $\dim(S+U) \leq 8$.) **Egzersiz 4.** *(Python)* Rank-1 SVD ayrışımı. **Egzersiz 5.** *İspatla:* $A = \mathbf{u}\mathbf{v}^T$ ($\mathbf{u}, \mathbf{v} \neq \mathbf{0}$) → rank 1. (İpucu: her kolon $\mathbf{u}$'nun katı.) SVD'nin tek terimli hâli. ## Sonraki Ders İçin Hazırlık {#sec-sonraki} **Ders 12: Graflar, Ağlar ve Incidence Matrisleri** - **Incidence matrisi** ($m$ kenar × $n$ düğüm). - Dört alt-uzay grafta: null (potansiyeller), sol null (çevrimler). - **Kirchhoff yasaları**, Euler formülü. ::: {.callout-warning title="Ders 12 öncesi"} - Egzersiz 5 (rank-1 → SVD habercisi) kritik. - `np.outer` ve `np.linalg.svd` ile rank-1 dene. ::: ## Anahtar Kavramlar (Cheat Sheet) {#sec-cheat-sheet} | Kavram | Tanım | Strang'da | |--------|-------|-----------| | **Matris uzayı $M$** | 3×3 → dim 9 | 3m59 | | **Simetrik / üst üçgensel** | Her biri dim 6 | 6m13 | | **Diagonal** | dim 3 ($S \cap U = D$) | 8m36 | | **Boyut formülü** | $\dim S + \dim U = \dim(S\cap U) + \dim(S+U)$ | 13m48 | | **Fonksiyon uzayı** | ODE çözümleri, dim 2 | 14m43 | | **Rank 1 = $\mathbf{u}\mathbf{v}^T$** | Dış çarpım | 23m06 | | **Yapı taşı** | Her rank-$r$ matris = $r$ rank-1 toplamı | 24m19 | | **rank toplamı** | $\text{rank}(A+B) \leq r_A + r_B$ | 27m35 | | **Toplamı sıfır** | $N((1,1,1,1))$, dim $n-1$ | 29m21 | | **Altı derece** | Küçük dünya, graf | 43m46 | ## ML Bağlantıları Özeti {#sec-ml-baglantilar} ::: {.callout-tip title="7 köprü"} 1. **Rank 1 = dış çarpım** → Attention $QK^T$, embedding outer products, matris faktorizasyonu. 2. **Rank-1 toplamı = SVD** → Görüntü sıkıştırma, gürültü giderme. 3. **LoRA = düşük-rank güncelleme** → Fine-tuning standart yöntemi. 4. **Fonksiyon uzayları** → Fourier, wavelet, RKHS, GP. 5. **Boyut formülü** → İçerme-dışlama, özellik alt-uzayları muhasebesi. 6. **Sabit rank non-convex** → Düşük-rank optim zorluğu, nükleer norm. 7. **Grafikler + matrisler** → GNN, PageRank, küçük dünya topoloji. ::: ::: {.callout-important title="Tek bir şey alıp gideceksen"} Vektör uzayı matrislerden fonksiyonlara/graflara genelleşir; **rank-1 ($\mathbf{u}\mathbf{v}^T$)** tüm matrislerin atomu — her matris $r$ rank-1 toplamı (SVD, PCA, LoRA çekirdeği). :::

12 Matris Uzayları, Rank 1 ve Küçük Dünya Grafikleri

12.1 Bu Derste Ne Var?

12.2 Matris Uzayı M

12.3 Alt-Uzaylar — Simetrik, Üst Üçgensel, Diagonal

12.4 Boyut Formülü — Kesişim ve Toplam

12.5 Fonksiyon Uzayları — ODE Çözümleri

12.6 Rank 1 Matrisler — \(A = \mathbf{u}\mathbf{v}^T\) ⭐

12.7 Rank 1 = Yapı Taşı

12.8 Sabit Rank Alt-Uzay Değil

12.9 Toplamı Sıfır Alt-Uzayı

12.10 Dört Alt-Uzay — \(A = (1,1,1,1)\) Örneği

12.11 Küçük Dünya Grafikleri

12.12 Bu Dersin Özeti

12.13 Kontrol Soruları

12.14 Egzersizler

12.15 Sonraki Ders İçin Hazırlık

12.16 Anahtar Kavramlar (Cheat Sheet)

12.17 ML Bağlantıları Özeti