14  Quiz 1 İncelemesi

Ders 1-12 toplu tekrar — rank, x_p + x_n, alt-uzay testleri

NotBölüm bilgisi

14.1 Bu Derste Ne Var?

Tekrar oturumu. Yeni kavram yok; eski quiz sorularıyla Chapter 1-3 birleştirilir.

  1. Boyut sayma: span, rank, dört alt-uzay.
  2. Ters mühendislik: tam çözüm → matrisi geri çıkar.
  3. Doğru/yanlış mantığı: alt-uzay testleri, B² = 0 tuzakları.
  4. Önizleme: satır uzayı ⊥ null uzayı (Ders 14).

“This particular plus null space pattern goes throughout mathematics of linear systems… it spreads everywhere.” — Strang, 36:31

flowchart LR
    RANK["rank r<br/>her şeyi belirler"] --> DIM["dim C(A)=r<br/>dim N(A)=n-r<br/>dim N(Aᵀ)=m-r"]
    RANK --> SOL["Çözüm sayısı<br/>(0, 1, ∞)"]
    XP["x_p + x_n<br/>tam çözüm kalıbı"] --> ML["Regularization<br/>min-norm seçimi"]
    PERP["⭐ Satır ⊥ null<br/>(Ders 14 önizleme)"] --> SVD["SVD, least squares,<br/>pseudoinverse"]

    style PERP fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    RANK["rank r<br/>her şeyi belirler"] --> DIM["dim C(A)=r<br/>dim N(A)=n-r<br/>dim N(Aᵀ)=m-r"]
    RANK --> SOL["Çözüm sayısı<br/>(0, 1, ∞)"]
    XP["x_p + x_n<br/>tam çözüm kalıbı"] --> ML["Regularization<br/>min-norm seçimi"]
    PERP["⭐ Satır ⊥ null<br/>(Ders 14 önizleme)"] --> SVD["SVD, least squares,<br/>pseudoinverse"]

    style PERP fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style SVD fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 14.1: Quiz 1 ana temaları: rank her şeyi belirler; x_p + x_n her yerde.

14.2 Span ve Boyut

Soru: \(\mathbf{u}, \mathbf{v}, \mathbf{w}\) sıfır-olmayan \(\mathbb{R}^7\)’de. Span boyutu?

Cevap: 1, 2 veya 3. En fazla 3 (vektör sayısı), en az 1 (hepsi sıfır-olmayan).

Genel: \(k\) vektörün span’ı en fazla \(k\) boyut = bağımsız sayısı (rank).

14.3 Blok Matrisler ve Rank

\(U\) (\(5 \times 3\), rank 3 = full column).

(a) \(N(U) = \{\mathbf{0}\}\) (full column rank).

(b) \(\begin{pmatrix} U \\ 2U \end{pmatrix}\) (\(10 \times 3\)): 2U birinin katı → eliminasyonda sıfırlanır → rank 3.

(c) \(\begin{pmatrix} U & U \\ U & 0 \end{pmatrix}\) (\(10 \times 6\)): blok eliminasyonu → 2 bağımsız \(U\) → rank 6.

“That has rank six, I can tell.” — Strang, 8:56

Builder Notu: Derin öğrenmede blok-yapılı ağırlık matrisleri (multi-head attention, blok-diagonal katmanlar). “Tekrarlı blok rank katmaz” sezgisi weight tying’in etkin rank’i nasıl sınırladığını verir.

14.4 Dört Alt-Uzayın Boyutları

C \(10 \times 6\), rank 6 → \(\dim N(C^T) = m - r = 10 - 6 = 4\).

Formüller (\(m \times n\), rank \(r\)):

  • \(\dim C(A) = r\)
  • \(\dim C(A^T) = r\)
  • \(\dim N(A) = n - r\)
  • \(\dim N(A^T) = m - r\)

14.5 Ters Mühendislik — Çözümden Matrise

\(A\mathbf{x} = (2, 4, 2)^T\) tam çözüm: \(\mathbf{x}_p = (2, 0, 0)\) + \(c(1, 1, 0) + d(0, 0, 1)\). \(A\) nedir?

  • Null uzayında 2 vektör → \(\dim N = 2\), \(n = 3\)rank 1.
  • \((0, 0, 1) \in N(A)\) → 3. kolon = \(\mathbf{0}\).
  • \((1, 1, 0) \in N(A)\) → kolon₁ + kolon₂ = \(\mathbf{0}\) → kolon₂ = −kolon₁.
  • \(\mathbf{x}_p = (2, 0, 0)\)\(2 \cdot\) kolon₁ = \((2, 4, 2)\) → kolon₁ = \((1, 2, 1)\).

\[ A = \begin{pmatrix} 1 & -1 & 0 \\ 2 & -2 & 0 \\ 1 & -1 & 0 \end{pmatrix} \]

Builder Notu: Bu “çözümden modeli geri çıkarma” = kimliklenebilirlik (identifiability) sorusu. Null uzayı büyükse model tam belirlenemez (birden çok parametre aynı çıktıyı).

14.6 Çözülebilirlik

\(A\mathbf{x} = \mathbf{b}\) ancak \(\mathbf{b} \in C(A) = \{c(1,2,1)^T\}\).

14.7 Doğru/Yanlış

(a) Kare \(A\), \(N(A) = \{\mathbf{0}\}\)\(N(A^T) = ?\) → Kare matriste \(N(A) = \{\mathbf{0}\} \iff\) tersinir \(\iff N(A^T) = \{\mathbf{0}\}\).

(b) 5×5 tersinir matrisler alt-uzay mı?HAYIR. Sıfır matris tersinir değil.

(c) 5×5 singular matrisler alt-uzay mı?HAYIR. İki singular toplam tersinir olabilir:

\[ \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix} + \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix} = I \]

Builder Notu: Tersinir matrisler = manifold (GL grubu); alt-uzay değil. Normalizing flows, RNN stabilizasyonu manifold optimizasyonu gerektirir.

14.8 B² = 0 ve Çarpım Null Uzayı

(a) \(B^2 = 0\)\(B = 0\)? YANLIŞ. Nilpotent örnek:

\[ B = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}, \quad B^2 = 0 \]

(b) \(C\) tersinir → \(N(CD) = N(D)\). \(CD\mathbf{x} = \mathbf{0} \iff D\mathbf{x} = \mathbf{0}\).

Builder Notu: Soldan tersinir çarpım = preconditioning, whitening, baz değişimi — çözümü değiştirmez ama optimizasyonu iyileştirir.

14.9 Satır vs Kolon Uzayı

(a) Kare için satır = kolon uzayı? YANLIŞ. \(A = \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}\) — satır \((0,1)\), kolon \((1,0)\) katları. Boyutları aynı (\(r\)), uzaylar farklı. Simetrik ise eşit.

(b) \(A\) ve \(-A\) aynı dört alt-uzay? EVET.

(c) Aynı dört alt-uzay → \(A = cB\)? YANLIŞ. İki tersinir \(6 \times 6\) aynı alt-uzaylara sahip (\(C = \mathbb{R}^6\), \(N = \{\mathbf{0}\}\)) ama farklı matris.

14.10 Satır Operasyonları

Satır takası neyi korur?

  • Satır uzayı ✓ (kümesi aynı)
  • Null uzayı ✓ (\(A\mathbf{x} = \mathbf{0}\) aynı)
  • Kolon uzayı ✗ (değişir)

“The row space does stay the same. And the null space stays the same. Column space would be a wrong answer.” — Strang, 43:53

Bu yüzden kolon uzayı bazı için orijinal \(A\)’nın pivot kolonlarını alırız.

14.11 Satır Uzayı ⊥ Null Uzayı — Ders 14 Önizleme ⭐

Soru: \((1, 2, 3)\) neden hem satır hem null uzayında olamaz?

\[ (1, 2, 3) \cdot (1, 2, 3) = 14 \neq 0 \]

Ama null uzayında olsaydı bu çarpım sıfır olurdu. Çelişki → bir vektör hem satır hem null’da olamaz (sıfır hariç).

“The null space is perpendicular to the row space.” — Strang, 47:14

Chapter 4 ortogonallik burada başlıyor.

14.12 Bu Tekrarın Özeti

  1. Span boyutu — bağımsız sayısı.
  2. Blok rank — tekrar katmaz.
  3. Dört boyut formülü.
  4. Ters mühendislik — çözüm → kolonlar.
  5. Çözülebilirlik = \(\mathbf{b} \in C(A)\).
  6. Alt-uzay testi — sıfır + kapalılık.
  7. Tuzaklar\(B^2 = 0 \not\Rightarrow B = 0\); \(N(CD) = N(D)\) tersinir \(C\).
  8. Satır ≠ kolon uzayı (genel).
  9. Satır takası satır + null korur.
  10. Satır ⊥ null (Ders 14).
ÖnemliTek bir cümle

Rank her şeyi belirler (boyut, çözüm sayısı); tam çözüm = \(\mathbf{x}_p + \mathbf{x}_n\); ve satır uzayı ⊥ null uzayı — Chapter 4’ün kapısı.

14.13 Kontrol Soruları

\(m = 7, n = 4, r = 3\).

  • \(\dim C(A) = 3\) (\(\mathbb{R}^7\)’de)
  • \(\dim C(A^T) = 3\) (\(\mathbb{R}^4\)’te)
  • \(\dim N(A) = 1\)
  • \(\dim N(A^T) = 4\)

\(r < m\) → bazı \(\mathbf{b}\) için 0 çözüm; \(r < n\) → çözüm varsa \(\infty\). 0 veya \(\infty\).

  • \((0,0,1) \in N\) → 3. kolon = \(\mathbf{0}\).
  • \((1,-1,0) \in N\) → kolon₁ = kolon₂.
  • \(\mathbf{x}_p = (3,0,0)\)\(3 \cdot\) kolon₁ = \((1, 2)\) → kolon₁ = \((1/3, 2/3)\).

\[ A = \begin{pmatrix} 1/3 & 1/3 & 0 \\ 2/3 & 2/3 & 0 \end{pmatrix} \]

rank 1, \(\dim N = 2\) ✓.

Doğru. İz lineer: \(\text{tr}(A + B) = \text{tr}(A) + \text{tr}(B)\), \(\text{tr}(cA) = c \cdot \text{tr}(A)\).

  • Sıfır matris izi 0 → içerir.
  • Toplamada/çarpmada kapalı.

Boyut: \(9 - 1 = 8\) (1 kısıt = 1 boyut yer). Bu, \(\mathfrak{sl}(n)\) Lie cebiri uzayı.

  • Null: \(PA\mathbf{x} = \mathbf{0} \iff A\mathbf{x} = \mathbf{0}\) → korunur.
  • Satır uzayı: \(P\)’nin satırları \(A\)’nın satırlarının komb. → korunur.
  • Kolon uzayı: değişir.

ML:

  • Preconditioning: \(PA\mathbf{x} = P\mathbf{b}\) → çözüm aynı, yakınsama hızlı.
  • Whitening: veriyi tersinirle ölçekle → lineer yapı korunur, optimizasyon iyi.
  • Baz değişimi (Ders 31): problemin özü değişmez.

14.14 Egzersizler

Egzersiz 1. 4×7, rank 4 — dört boyut, \(A\mathbf{x} = \mathbf{b}\) çözüm durumu.

Egzersiz 2. \(A\mathbf{x} = (4, 8)^T\) tam çözüm \((2, 0, 0) + c(1, -2, 0) + d(0, 1, 1)\)\(A\) (\(2 \times 3\)).

Egzersiz 3. Doğru/Yanlış:

    1. \(N(A) = \{\mathbf{0}\}\) → kolonlar bağımsız.
    1. 3×3 simetrik matrisler alt-uzay mı?
    1. \(A^2 = I\)\(A = I\) veya \(A = -I\).
    1. Satır takası kolon uzayını korur.

Egzersiz 4. (Python) Boyut sayımı ve çözülebilirlik testleri.

Egzersiz 5. İspatla: Bir vektör hem satır hem null uzayındaysa sıfırdır. (İpucu: \(\mathbf{v} = A^T \mathbf{z}\) ve \(A\mathbf{v} = \mathbf{0}\)\(\mathbf{v}^T \mathbf{v} = 0\).) Ders 14’ün tam ifadesi.

14.15 Sonraki Ders İçin Hazırlık

Ders 14: Ortogonal Vektörler ve Alt-Uzaylar

  • \(\mathbf{x}^T \mathbf{y} = 0\), Pisagor.
  • Ortogonal alt-uzaylar.
  • Satır ⊥ null, kolon ⊥ sol null.
  • \(A^T A\) matrisi.
UyarıDers 14 öncesi
  • Ders 1-12 egzersizlerini gözden geçir.
  • matrix_rank ile boyut sayımı ve çözülebilirlik pratik.
  • Ana cümleyi tekrar oku.

14.16 Sınav Formülleri (Cheat Sheet)

Soru tipi Anahtar Strang’da
Span boyutu En fazla \(k\); bağımsız sayısı 1m47
Full column null \(r = n\)\(N(A) = \{\mathbf{0}\}\) 3m03
Blok rank Tekrar katmaz 4m31
Dört boyut \(r, r, n-r, m-r\) 9m08
Çözümden matrise \(\mathbf{x}_p\) → kolon; null → ilişki 11m05
Çözülebilirlik \(\mathbf{b} \in C(A)\) 16m44
Kare N={0} \(\iff\) tersinir 18m46
Alt-uzay testi Sıfır + kapalılık 19m20
\(N(CD) = N(D)\) \(C\) tersinir 30m02
Satır takası Satır + null korur 43m29
Satır ⊥ null Sadece \(\mathbf{0}\)’da kesişir 47m14

14.17 ML Bağlantıları Özeti

İpucu7 köprü
  1. Boyut sayma refleksi → serbestlik dereceleri teşhisi.
  2. \(\mathbf{x}_p + \mathbf{x}_n\) → regularization, min-norm.
  3. Tersinir sol çarpım null korur → preconditioning, whitening.
  4. Satır ⊥ null → SVD, LS, pseudoinverse zemini.
  5. Ters mühendislik = identifiability → null büyükse model belirsiz.
  6. Tersinir = manifold → Riemannian/manifold optimizasyon.
  7. Blok rank → weight tying / parametre paylaşımı.
ÖnemliTek bir şey alıp gideceksen

Rank tek başına sistemin kaderini belirler; tam çözüm \(\mathbf{x}_p + \mathbf{x}_n\); satır uzayı ⊥ null uzayı — Chapter 4 (ortogonallik) ve SVD’nin başlangıcı.