9  Ax = b Çözme — Tam Çözüm ve Rank

x = x_p + x_n; rank her şeyi söyler

NotBölüm bilgisi

9.1 Bu Derste Ne Var?

Ders 7’de \(A\mathbf{x} = \mathbf{0}\)’ı çözdük. Ders 8 sağ tarafı sıfırdan farklı yapıp \(A\mathbf{x} = \mathbf{b}\)’nin tam çözümünü kuruyor.

  1. Çözülebilirlik: \(\mathbf{b} \in C(A)\).
  2. Tam çözüm = \(\mathbf{x}_p + \mathbf{x}_n\): bir particular + tüm null uzayı.
  3. Rank her şeyi söyler: \(r\) ile \(m, n\) ilişkisi çözüm sayısını (0, 1, \(\infty\)) belirler.

“The rank tells you everything about the number of solutions.” — Strang, 46:55

flowchart LR
    AB["A·x = b"] --> SOLV["b ∈ C(A)?"]
    SOLV -- evet --> XP["x_p (particular)<br/>serbest = 0, pivotları çöz"]
    XP --> XALL["⭐ x = x_p + x_n<br/>(afin: orijinden geçmez)"]
    SOLV -- hayır --> LS["Least squares<br/>(Ders 16)"]

    AB --> RANK["rank r vs m, n"]
    RANK --> C1["r = m = n → tek çözüm"]
    RANK --> C2["r = n < m → 0 veya 1"]
    RANK --> C3["r = m < n → ∞"]
    RANK --> C4["r < m, r < n → 0 veya ∞"]

    style XALL fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style LS fill:#fce4ec,stroke:#c2185b,stroke-width:2px
flowchart LR
    AB["A·x = b"] --> SOLV["b ∈ C(A)?"]
    SOLV -- evet --> XP["x_p (particular)<br/>serbest = 0, pivotları çöz"]
    XP --> XALL["⭐ x = x_p + x_n<br/>(afin: orijinden geçmez)"]
    SOLV -- hayır --> LS["Least squares<br/>(Ders 16)"]

    AB --> RANK["rank r vs m, n"]
    RANK --> C1["r = m = n → tek çözüm"]
    RANK --> C2["r = n < m → 0 veya 1"]
    RANK --> C3["r = m < n → ∞"]
    RANK --> C4["r < m, r < n → 0 veya ∞"]

    style XALL fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style LS fill:#fce4ec,stroke:#c2185b,stroke-width:2px
Şekil 9.1: Tam çözüm = particular + null. Rank–m–n ilişkisi çözüm sayısını belirler.
İpucuBuilder Notu — ML’de Tam Çözüm
  • \(\mathbf{x}_p + \mathbf{x}_n\) ML’in her yerinde: regularization (min \(\|\mathbf{x}\|\)) sonsuz çözüm arasından en küçük normlu’yu seçer.
  • Full column rank (\(r = n\)) = injektif → girdi tek biçimde kodlanır; \(A^T A\) tersinir.
  • Full row rank (\(r = m\)) = sürjektif → her hedef üretilebilir, sonsuz çözüm; aşırı-parametrize ağların tipik hali.
  • Az/çok-belirtilmiş ayrımı: \(n > m\) (deep learning rejimi) vs \(m > n\) (klasik regresyon).

9.2 Augmented Matris [A | b]

\(\mathbf{b}\)’yi \(A\)’ya fazladan kolon olarak ekle. Strang’in örneği, \(\mathbf{b} = (1, 5, 6)^T\):

\[ [A \mid \mathbf{b}] = \left[\begin{array}{cccc|c} 1 & 2 & 2 & 2 & 1 \\ 2 & 4 & 6 & 8 & 5 \\ 3 & 6 & 8 & 10 & 6 \end{array}\right] \]

Eliminasyon (\(r_2 - 2r_1, r_3 - 3r_1, r_3 - r_2\)):

\[ \to \left[\begin{array}{cccc|c} 1 & 2 & 2 & 2 & 1 \\ 0 & 0 & 2 & 4 & 3 \\ 0 & 0 & 0 & 0 & 0 \end{array}\right] \]

Son satır: sol sıfır + sağ sıfır → tutarlı.

9.3 Çözülebilirlik

Genel \(\mathbf{b} = (b_1, b_2, b_3)\) ile son satır \(0 = b_3 - b_2 - b_1\) derdi. \(b_1 + b_2 = b_3\) ise çözülebilir.

İki dil:

  • Kolon dili: \(\mathbf{b} \in C(A)\).
  • Satır dili: Satırların sıfır kombinasyonu (\(r_3 - r_2 - r_1 = \mathbf{0}\)) \(\mathbf{b}\)’de de sıfır vermeli (\(b_3 - b_2 - b_1 = 0\)).

“Solvable exactly when b is in the column space of A.” — Strang, 8:10

Builder Notu: \(m > n\)’de \(\mathbf{b}\) neredeyse hiç \(C(A)\)’da olmaz → tam çözüm yok → least squares (\(A^T A \mathbf{x} = A^T \mathbf{b}\), Ders 16).

9.4 Particular Çözüm — Serbest Değişkenleri Sıfırla

\(x_2 = x_4 = 0\) (serbest). Kalan: \(x_1 + 2x_3 = 1, 2x_3 = 3\).

\(x_3 = 3/2\), \(x_1 = 1 - 3 = -2\).

\[ \mathbf{x}_p = \begin{pmatrix} -2 \\ 0 \\ 3/2 \\ 0 \end{pmatrix} \]

9.5 Tam Çözüm = \(\mathbf{x}_p\) + \(N(A)\)

\(A\mathbf{x}_p = \mathbf{b}\), \(A\mathbf{x}_n = \mathbf{0}\)\(A(\mathbf{x}_p + \mathbf{x}_n) = \mathbf{b}\). Null uzayı serbestçe eklenir.

Ders 7’den iki özel çözüm \(\mathbf{s}_1 = (-2, 1, 0, 0)^T\), \(\mathbf{s}_2 = (2, 0, -2, 1)^T\):

\[ \mathbf{x} = \mathbf{x}_p + c_1 \mathbf{s}_1 + c_2 \mathbf{s}_2 \]

Dikkat: \(\mathbf{x}_p\)’nin önünde katsayı yok — bir sabit nokta + bir alt-uzay.

Geometri: Çözüm kümesi \(\mathbf{x}_p + N(A)\) — orijinden geçmez (afin), kaymış düzlem.

“It’s like a subspace, but it’s been shifted away from the origin.” — Strang, 23:56

import numpy as np

A = np.array([[1, 2, 2, 2], [2, 4, 6, 8], [3, 6, 8, 10]], dtype=float)
b = np.array([1, 5, 6], dtype=float)
x, res, rank, sv = np.linalg.lstsq(A, b, rcond=None)
print("rank =", rank)
print("bir çözüm x =", np.round(x, 4))
print("A @ x =", np.round(A @ x, 4))     # b'ye eşit

# Tutarsiz b
b_bad = np.array([1, 5, 99], dtype=float)
_, res_bad, *_ = np.linalg.lstsq(A, b_bad, rcond=None)
print("tutarsız b için residual =", res_bad)
İpucuBuilder Notu — Regularization

“Bir özel çözüm + homojen çözümler” kalıbı lineer diferansiyel denklemlerde de aynen geçer. ML’de az-belirtilmiş sistemlerde sonsuz çözüm; ridge / L2 (min \(\|\mathbf{x}\|\)) bu aileden tekini — genelde en küçük normlu olanı — seçer. Gradient descent çoğu zaman implicit olarak min-norm çözüme yakınsar.

9.6 Rank ve Boyut İlişkileri

Her zaman: \(r \leq m\) ve \(r \leq n\) (her satırda/kolonda en fazla 1 pivot).

Üç önemli durum:

Durum \(R\) biçimi Çözüm sayısı
\(r = m = n\) \(R = I\) Her zaman 1
\(r = n < m\) (full column) \(\binom{I}{0}\) 0 veya 1
\(r = m < n\) (full row) \([I \ F]\) (sıfır satır yok)
\(r < m, r < n\) \([I, F]\) + sıfır satırlar 0 veya ∞

Özet mantık:

  • Sıfır satır var mı? → çözülebilirlik koşulu (0 olabilir).
  • Serbest değişken var mı? → benzersizlik (∞ olabilir).

9.7 Full Column Rank (\(r = n\))

Her kolonda pivot, serbest değişken yok → \(N(A) = \{\mathbf{0}\}\) → çözüm varsa tek.

Tipik: “uzun-ince” matris (\(m > n\)). Örnek \(4 \times 2\):

\[ A = \begin{pmatrix} 1 & 3 \\ 2 & 1 \\ 6 & 1 \\ 5 & 1 \end{pmatrix} \to R = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 0 & 0 \\ 0 & 0 \end{pmatrix} \]

Rastgele \(\mathbf{b}\) → 0 çözüm; \(\mathbf{b} \in C(A)\) → 1 çözüm.

Builder Notu: = injektif kodlama; \(A^T A\) tersinir → least squares benzersiz (Ders 16).

9.8 Full Row Rank (\(r = m\))

Her satırda pivot, sıfır satır yok → her \(\mathbf{b}\) için çözüm; \(n - m\) serbest değişken → sonsuz çözüm.

Tipik: “kısa-geniş” (\(m < n\)). Önceki örneğin transpozu \(2 \times 4\):

\[ A^T = \begin{pmatrix} 1 & 2 & 6 & 5 \\ 3 & 1 & 1 & 1 \end{pmatrix} \to R = [I \mid F] \]

Builder Notu: = sürjektif → her hedef üretilir; aşırı-parametrize ağların hali. Sonsuz çözüm = eğitim verisini mükemmel ezberleme kapasitesi → regularization / implicit bias şart.

9.9 \(r = m = n\) — Tersinir

Kare + tam rank. \(R = I\). \(N(A) = \{\mathbf{0}\}\), her \(\mathbf{b}\) için tek çözüm \(\mathbf{x} = A^{-1}\mathbf{b}\).

Chapter 2’nin tüm hikayesi — şimdi onu daha genel rank manzarasının bir köşesi olarak görüyoruz.

9.10 Bu Dersin Özeti

  1. Augmented matris \([A \mid \mathbf{b}]\).
  2. Çözülebilirlik: \(\mathbf{b} \in C(A)\).
  3. Particular: serbest = 0, pivotları çöz.
  4. Tam çözüm: \(\mathbf{x}_p + \mathbf{x}_n\).
  5. Geometri: afin küme (kaymış alt-uzay).
  6. Rank ilişkileri: \(r \leq m\), \(r \leq n\).
  7. Full column (\(r = n\)): 0 veya 1.
  8. Full row (\(r = m\)): ∞.
  9. \(r = m = n\): tersinir, tek.
  10. Rank her şeyi söyler.
ÖnemliTek bir cümle

\(A\mathbf{x} = \mathbf{b}\) tam çözümü = \(\mathbf{x}_p + N(A)\); bir sistemin 0, 1 veya \(\infty\) çözümü olduğu sadece rank \(r\) ile \(m, n\) ilişkisine bağlıdır.

9.11 Kontrol Soruları

Pivotlar kolon 1, 2; serbest \(x_3\). \(x_3 = 0\): \(x_1 + x_2 = 3\), \(x_2 = 2\)\(x_2 = 2, x_1 = 1\).

\[ \mathbf{x}_p = (1, 2, 0)^T \]

Null uzayı için \(x_3 = 1\): \(x_2 + 2 = 0 \to x_2 = -2\); \(x_1 - 2 + 1 = 0 \to x_1 = 1\). \(\mathbf{s} = (1, -2, 1)^T\):

\[ \mathbf{x} = (1, 2, 0)^T + c(1, -2, 1)^T \]

Nokta + doğru. Sonsuz çözüm.

\(r = 3 = m\)full row rank. Sıfır satır yok → her \(\mathbf{b}\) çözülür. \(n - r = 2\) serbest → null 2 boyutlu.

Sonuç: her \(\mathbf{b}\) için sonsuz çözüm. 0 imkânsız (varlık garanti), 1 imkânsız (serbest var).

Çözüm \(\mathbf{x}_p + N(A)\) = sonsuz nokta. Bir kriter lazım.

Min \(\|\mathbf{x}\|\) orijine en yakın noktayı seçer — null uzayı bileşenini, \(\mathbf{x}_p\)’nin null’a dik kısmıyla dengeleyip kalanı atar.

  • Ridge / L2 tam bunu yapar.
  • Gradient descent (sıfırdan başlatılmışsa) çoğu lineer problemde implicit olarak min-norm’a yakınsar → aşırı-parametrize ağların gizemli genellemesinin bir parçası.

9.12 Egzersizler

Egzersiz 1. \(A = ((1,2,0,1),(0,0,1,2))\), \(\mathbf{b} = (3, 1)^T\) — tam çözüm.

Egzersiz 2. \(A = ((1,1),(1,2),(1,3))\) için genel \(\mathbf{b} = (b_1, b_2, b_3)\) cinsinden çözülebilirlik koşulu.

Egzersiz 3. Her matris için \((m, n, r)\) → çözüm sınıfı:

    1. 3×3, rank 3
    1. 2×4, rank 2
    1. 4×2, rank 2
    1. 3×4, rank 2

Egzersiz 4. (Python) np.linalg.lstsq ile az/çok-belirtilmiş sistemleri dene; rank ve residual’a bak.

Egzersiz 5. İspatla: \(A\) full column rank (\(r = n\)) ise, \(A\mathbf{x} = \mathbf{b}\)’nin en fazla bir çözümü vardır. (İpucu: iki çözüm \(\mathbf{x}_1, \mathbf{x}_2\)\(\mathbf{x}_1 - \mathbf{x}_2 \in N(A) = \{\mathbf{0}\}\).) Ders 9’daki lineer bağımsızlık habercisi.

9.13 Sonraki Ders İçin Hazırlık

Ders 9: Lineer Bağımsızlık, Baz ve Boyut — kursun en kilit dersi.

  • Bağımsızlık: vektörler ne zaman “yeni yön” katar?
  • Span, baz, boyut.
  • Rank ile bağlantı.
UyarıDers 9 öncesi
  • Egzersizleri çöz, özellikle 5 (bağımsızlık habercisi).
  • lstsq ile rank çıktısını gözle.

9.14 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
Augmented \([A \mid \mathbf{b}]\) \(\mathbf{b}\) kolon olarak eklenir 3m17
Çözülebilirlik \(\mathbf{b} \in C(A)\) 8m10
Particular Serbest = 0, pivotları çöz 11m50
Tam çözüm \(\mathbf{x}_p + \mathbf{x}_n\) 16m20
Kaymış alt-uzay Afin, orijinden geçmez 23m56
Rank ilişkileri \(r \leq m, r \leq n\) 25m09
Full column \(r = n\); 0 veya 1 26m49
Full row \(r = m\); ∞ 36m23
\(r = m = n\) Tersinir, \(R = I\) 40m53
Rank her şeyi söyler Çözüm sayısı = \(f(r, m, n)\) 46m55

9.15 ML Bağlantıları Özeti

İpucu7 köprü
  1. \(\mathbf{x}_p + \mathbf{x}_n\) → regularization → Min \(\|\mathbf{x}\|\) aile içinden teki seçer.
  2. Full column = injektif → Girdi tek-biçimli kodlanır; \(A^T A\) tersinir.
  3. Full row = sürjektif → Aşırı-parametrize ağ; sonsuz çözüm, ezberleme kapasitesi.
  4. Çözülebilirlik → least squares\(m > n\)’de en-yakın çözüm (Ders 16).
  5. Rank = etkin boyut → Veri/ağırlık matrisinin gerçek bilgi içeriği; LoRA, PCA.
  6. Afin çözüm kümesi → Optimizasyonda “düz vadi”; null yönlerde kayıp değişmez.
  7. Under/over-determined\(n > m\) (DL) vs \(m > n\) (klasik); rank teşhis eder.
ÖnemliTek bir şey alıp gideceksen

\(A\mathbf{x} = \mathbf{b}\) tam çözümü = \(\mathbf{x}_p + \mathbf{x}_n\); çözüm sayısı (0, 1, \(\infty\)) yalnız rank \(r\) ile \(m, n\) ilişkisine bağlı — rank sistemin kaderini özetler.