10  Lineer Bağımsızlık, Baz ve Boyut

Kursun kilit dersi — dört kavram bir arada

NotBölüm bilgisi

10.1 Bu Derste Ne Var?

“This is a key lecture, this is where we get these ideas of linear independence, the space they span, a basis, and the dimension.” — Strang, 0:21

Şimdiye dek sezgisel kullandığımız dört kelime burada kesin tanım kazanıyor:

  1. Lineer bağımsızlık — hiçbir kombinasyon \(\mathbf{0}\) vermez (sıfır kombinasyonu hariç).
  2. Span — vektör kümesinin tüm kombinasyonları.
  3. Baz — bağımsız + spanlayan.
  4. Boyut — bir bazdaki vektör sayısı.

Temel teorem: \(\dim C(A) = r\), \(\dim N(A) = n - r\)rank-nullity.

flowchart LR
    IND["Bağımsızlık<br/>N(A) = {0}"] --> BASIS["⭐ Baz<br/>(bağımsız + spanlayan)"]
    SPAN["Span<br/>(tüm kombinasyonlar)"] --> BASIS
    BASIS --> DIM["Boyut<br/>(bazdaki vektör sayısı)"]
    DIM --> RNULL["dim C(A) = r<br/>dim N(A) = n - r"]
    RNULL --> RN["⭐ Rank-nullity:<br/>r + (n-r) = n"]
    RN --> ML["LoRA, PCA<br/>düşük-rank yaklaşım"]

    style BASIS fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style RN fill:#fce4ec,stroke:#c2185b,stroke-width:3px
flowchart LR
    IND["Bağımsızlık<br/>N(A) = {0}"] --> BASIS["⭐ Baz<br/>(bağımsız + spanlayan)"]
    SPAN["Span<br/>(tüm kombinasyonlar)"] --> BASIS
    BASIS --> DIM["Boyut<br/>(bazdaki vektör sayısı)"]
    DIM --> RNULL["dim C(A) = r<br/>dim N(A) = n - r"]
    RNULL --> RN["⭐ Rank-nullity:<br/>r + (n-r) = n"]
    RN --> ML["LoRA, PCA<br/>düşük-rank yaklaşım"]

    style BASIS fill:#fff3e0,stroke:#e67e22,stroke-width:3px
    style RN fill:#fce4ec,stroke:#c2185b,stroke-width:3px
Şekil 10.1: Bağımsızlık + span = baz. Baz vektör sayısı = boyut. Boyutlar rank-nullity ile bağlanır.
İpucuBuilder Notu — ML’in Alfabesi
  • Bağımsızlık = multicollinearity yokluğu. Bağımlı özellikler \(A^T A\)’yı tekilleştirir.
  • Baz = koordinat sistemi. PCA/Fourier/wavelet — aynı bilgi, farklı eksenler.
  • Boyut = içsel boyut. Manifold hipotezi: yüksek boyutlu veri düşük boyutta yaşar.
  • rank = \(\dim C(A)\) → veri matrisinin gerçek bilgi içeriği.

10.2 \(n > m\) ⟹ Null Uzayı Boş Değil

Kolon sayısı satır sayısından fazlaysa, \(A\mathbf{x} = \mathbf{0}\)’ın sıfırdan farklı çözümü her zaman vardır. En fazla \(m\) pivot olur; \(n > m\) → en az bir serbest değişken → \(N(A) \neq \{\mathbf{0}\}\).

“More unknowns than equations, then there are some non-zero x’s such that Ax is zero.” — Strang, 2:15

Bu, “\(m\) boyutlu uzayda \(m\)’den fazla vektör daima bağımlıdır” sonucunu getirecek.

10.3 Lineer Bağımsızlık

\(\mathbf{x}_1, \dots, \mathbf{x}_n\) bağımsızdır \(\iff\)

\[ c_1 \mathbf{x}_1 + \cdots + c_n \mathbf{x}_n = \mathbf{0} \implies c_1 = \cdots = c_n = 0 \]

Sıfırı elde etmenin tek yolu her şeyi 0 ile çarpmak.

Örnekler:

  • \(\mathbf{v}\) ve \(2\mathbf{v}\): bağımlı (\(2\mathbf{v} - 1 \cdot (2\mathbf{v}) = \mathbf{0}\)).
  • İçinde \(\mathbf{0}\) olan her küme bağımlı (\(0 \cdot \mathbf{v} + 5 \cdot \mathbf{0} = \mathbf{0}\)).
  • \(\mathbb{R}^2\)’de 3 vektör: her zaman bağımlı (\(n > m\)).

10.4 Matris Dili — Bağımsızlık ⟺ \(N(A) = \{\mathbf{0}\}\)

Vektörleri \(A\)’nın kolonları yap. Kombinasyon = \(A\mathbf{c}\). Dolayısıyla:

\[ \text{kolonlar bağımsız} \iff N(A) = \{\mathbf{0}\} \iff r = n \]

“The columns are independent if the null space of A is the zero vector.” — Strang, 14:30

Kare matris için: bağımsız \(\iff\) tersinir.

Builder Notu: np.linalg.matrix_rank(A) == n → kolonlar bağımsız. Bağımlı kolonlar \(A^T A\)’yı tekilleştirir → regresyon kütüphaneleri ya kolonu atar ya da ridge (\(\lambda I\) ekleyerek) by-pass eder.

10.5 Span

\[ \text{span}(\mathbf{v}_1, \dots, \mathbf{v}_l) = \{c_1 \mathbf{v}_1 + \cdots + c_l \mathbf{v}_l : c_i \in \mathbb{R}\} \]

Vektörleri içeren en küçük alt-uzay. Bir matrisin kolonları \(C(A)\)’yı spanlar.

Span ve bağımsızlık birbirinden bağımsız özellikler: spanlamak için yeterli, bağımlı olabilir; ya da bağımsız olabilir, spanlamaz. Baz ikisini birden ister.

10.6 Baz (Basis)

Bir uzayın bazı: aynı anda

  1. Bağımsız (fazla vektör yok).
  2. Spanlayan (eksik vektör yok).

“A basis is a sequence of vectors with two properties: they are independent, and they span the space.” — Strang, 22:14

\(\mathbb{R}^3\) standart bazı: \(\mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3\) → birim matris.

Test: \(\mathbb{R}^n\)’de \(n\) vektör baz \(\iff\) kolon yapan \(n \times n\) matris tersinir.

İpucuBuilder Notu — Baz = Koordinat Sistemi

Baz seçimi = koordinat sistemi seçimi. Aynı embedding’i PCA bazında, Fourier modlarında, wavelet’lerde göstermek aynı bilgiyi farklı eksenlerde sunar. PCA verinin en çok değiştiği yönleri baz yapar; sıkıştırmanın özü budur (Ders 31 baz değişimi).

10.7 Baz Tek Değil — Ama Boyut Sabit

\(\mathbb{R}^3\) için sonsuz baz var (her tersinir \(3 \times 3\)). Ama her bazda tam 3 vektör.

“There are many, many bases, but they all have the same number of vectors.” — Strang, 34:18

Sezgi: Az vektörle spanlayamazsın (boşluk kalır); çok vektörle bağımsız olamazsın (tekrar olur). “Tam doğru” sayı = boyut.

10.8 Boyut

\[ \dim(\text{uzay}) = \text{bir bazdaki vektör sayısı} \]

  • \(\dim \mathbb{R}^n = n\).
  • \(\mathbb{R}^3\)’te düzlem \(\to 2\), doğru \(\to 1\), \(\{\mathbf{0}\} \to 0\).

Boyut uzayın özelliğidir, matrisin değil. “Alt-uzayın boyutu” → evet. “Matrisin boyutu” → yok.

10.9 Temel Teorem — rank-nullity

\[ A = \begin{pmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \end{pmatrix} \]

Pivot kolonlar 1 ve 2; kolon 3 = 1 + 2, kolon 4 = kolon 1.

(1) \(\dim C(A) = r\). Pivot kolonlar \(C(A)\) için baz oluşturur.

(2) \(\dim N(A) = n - r\). Özel çözümler \(N(A)\) için baz.

\[ \boxed{\dim C(A) + \dim N(A) = r + (n - r) = n} \]

Rank-nullity teoremi — Ders 7’deki sezginin tam ispatı.

import numpy as np

A = np.array([[1, 2, 3, 1], [1, 1, 2, 1], [1, 2, 3, 1]], dtype=float)
r = np.linalg.matrix_rank(A)
n = A.shape[1]
print(f"rank = dim C(A) = {r}")
print(f"dim N(A) = n - r = {n - r}")
print(f"rank-nullity: r + (n-r) = {r + (n-r)} == n = {n}")
İpucuBuilder Notu — Boyut Muhasebesi

\(\dim C(A) = r\) = etkin boyut (matrix_rank); \(\dim N(A) = n - r\) = fazlalık. Bir lineer katmanın “kaç boyut taşıdığı + kaç boyut yuttuğu = girdi boyutu” muhasebesidir; LoRA, PCA düşük-rank yaklaşımlar bunu sömürür.

10.10 Bu Dersin Özeti

  1. \(n > m\)\(N(A) \neq \{\mathbf{0}\}\).
  2. Bağımsızlık — hiçbir sıfır-olmayan kombinasyon \(\mathbf{0}\) vermez.
  3. Matris dili — bağımsız \(\iff N(A) = \{\mathbf{0}\}\) \(\iff r = n\).
  4. Span, baz (bağımsız + spanlayan), boyut (baz vektör sayısı).
  5. Rⁿ’de n vektör baz \(\iff\) kare matris tersinir.
  6. dim C(A) = \(r\), dim N(A) = \(n - r\).
  7. Rank-nullity: \(r + (n - r) = n\).
ÖnemliTek bir cümle

Baz = bağımsızlık + spanlama (ne eksik, ne fazla); boyut = baz vektör sayısı. Bir matris için \(\dim C(A) = r\), \(\dim N(A) = n - r\) — lineer cebrin boyut muhasebesinin kalbi.

10.11 Kontrol Soruları

\(1 \cdot (1,1,0) - 1 \cdot (0,1,1) = (1, 0, -1)\) = 3. vektör. Yani:

\[ \mathbf{v}_1 - \mathbf{v}_2 - \mathbf{v}_3 = \mathbf{0} \]

Bağımlı. Matris tekil, rank 2, \(\mathbb{R}^3\) spanlamaz.

\(\mathbf{c}_2 = 2\mathbf{c}_1\) → bağımlı. \(\mathbf{c}_3\) bağımsız. Pivot kolonlar 1 ve 3:

\[ \text{baz} = \{(1, 2, 3)^T, (3, 1, 4)^T\}, \quad \dim C(A) = r = 2 \]

\(\mathbb{R}^3\) içinde bir düzlem.

Evet. Spanlamasalardı, span dışından bir vektör eklenip 4 bağımsız vektör elde edilirdi; ama 3 boyutta 4 bağımsız vektör olamaz → çelişki → spanlar.

Kural: Doğru sayıda (\(=\) boyut) vektör varsa, “bağımsızlık” ile “spanlama” birbirini getirir — sadece birini kontrol et.

\(C(A)\) boyutu \(< n\), \(N(A) \neq \{\mathbf{0}\}\):

  • \(A^T A\) tekil → normal denklemler \((A^T A)^{-1} A^T \mathbf{b}\) → tek çözüm yok; katsayılar belirsiz.
  • Bir özelliğin ağırlığını artırıp diğerininkini azaltarak aynı tahmin → null yönleri.
  • Çözümler: bağımlı kolonu at, ya da ridge (\(\lambda I\) ekle) ile \(A^T A + \lambda I\)’yı tersinir yap, ya da PCA ile bağımsız baza geç.

İçsel boyut (rank) kaç bağımsız özelliğin olduğunu söyler.

10.12 Egzersizler

Egzersiz 1. \((1, 2, 3)\), \((1, 0, 1)\), \((1, 4, 5)\) bağımsız mı? Matrise koy, rank bul.

Egzersiz 2. \(A = \begin{pmatrix} 1 & 2 & 1 & 1 \\ 2 & 4 & 3 & 0 \\ 1 & 2 & 2 & -1 \end{pmatrix}\)\(C(A)\) ve \(N(A)\) için baz ve boyut. Rank-nullity’yi doğrula.

Egzersiz 3. \(\mathbb{R}^4\)’te 5 vektör bağımsız olabilir mi? 3 vektör \(\mathbb{R}^4\)’ü spanlayabilir mi? (Boyut argümanı.)

Egzersiz 4. (Python) Rank-nullity’yi farklı matrislerde doğrula.

Egzersiz 5. İspatla: \(n \times n\) matris tersinir \(\iff\) kolonları \(\mathbb{R}^n\) için baz. (İpucu: tersinir \(\iff N(A) = \{\mathbf{0}\}\) \(\iff\) bağımsız; \(n\) bağımsız vektör \(\mathbb{R}^n\)’i spanlar.)

10.13 Sonraki Ders İçin Hazırlık

Ders 10: Dört Temel Alt-Uzay

Bir matrisin dört alt-uzayı:

  • \(C(A) \subset \mathbb{R}^m\), boyut \(r\)
  • \(N(A) \subset \mathbb{R}^n\), boyut \(n - r\)
  • \(C(A^T) \subset \mathbb{R}^n\), boyut \(r\) (satır uzayı)
  • \(N(A^T) \subset \mathbb{R}^m\), boyut \(m - r\) (sol null)
UyarıDers 10 öncesi
  • Egzersizleri çöz, özellikle 5 (tersinir \(\iff\) baz).
  • matrix_rank ile rank-nullity’yi birkaç matriste doğrula.

10.14 Anahtar Kavramlar (Cheat Sheet)

Kavram Tanım Strang’da
\(n > m\) gerçeği Kolon > satır → null boş değil 2m15
Bağımsızlık Hiçbir non-zero komb. = \(\mathbf{0}\) 6m06
Matris dili Bağımsız \(\iff N(A) = \{\mathbf{0}\}\) \(\iff r = n\) 14m30
Span Tüm kombinasyonlar 19m24
Baz Bağımsız + spanlayan 22m14
Baz ⟺ tersinir Rⁿ’de \(n\) vektör baz \(\iff\) kare tersinir 30m06
Baz sayısı sabit Tüm bazlar aynı boyutta 34m18
Boyut Bazdaki vektör sayısı 36m33
\(\dim C(A) = r\) Pivot kolonlar = \(C(A)\) bazı 41m55
\(\dim N(A) = n - r\) Özel çözümler = \(N(A)\) bazı 49m09

10.15 ML Bağlantıları Özeti

İpucu7 köprü
  1. Bağımsızlık = multicollinearity yokluğu\(A^T A\) tersinir, katsayılar belirli.
  2. Baz = koordinat sistemi → PCA, Fourier, wavelet, öğrenilmiş embedding.
  3. Boyut = içsel boyut → Manifold hipotezi.
  4. rank = \(\dim C(A)\) = etkin boyutmatrix_rank; veri/ağırlığın gerçek bilgisi.
  5. Span = erişilebilir uzay\(C(W)\).
  6. Rank-nullity → Parametre muhasebesi: taşınan + yutulan = girdi.
  7. Düşük rank = sıkıştırma\(\dim C(A) \ll n\) → LoRA, PCA.
ÖnemliTek bir şey alıp gideceksen

Baz, bir uzayı tam doğru sayıda bağımsız vektörle tanımlar; boyut bu sayıdır, seçilen baza bağlı değildir. Bir matris için \(\dim C(A) = r\), \(\dim N(A) = n - r\) — boyut muhasebesinin kalbi.