NYU Derin Öğrenme — LeCun & Canziani (DLSP20)

Enerji-Tabanlı Modellerden Öz-Denetimli Öğrenmeye — Türkçe Notlar

Yazar

Phase 2

Yayınlanma Tarihi

2026-06-07

1 Bu kitap nedir?

Bu, NYU Deep Learning — Spring 2020 (DLSP20) ders serisinin Türkçe ders notlarıdır. Ders iki hocalıdır: Yann LeCun (Lecture — teorik, araştırma-sınırı bakışı) ve Alfredo Canziani (Practicum — pratik, canlı PyTorch). Hedef, videoları izlerken paralel okunabilecek; sonradan tek başına da yeterli olabilecek bir referans seti üretmek.

Bu, Phase 2’nin en teorik kursudur. LeCun’un omurga teması tek cümlede özetlenebilir: bir sinir ağını “girdiyi çıktıya çeviren fonksiyon” olarak görmek kısıtlayıcıdır; asıl güçlü çerçeve, cevapları bir enerji fonksiyonunun minimumları yapan enerji-tabanlı modellerdir (energy-based models, EBM). Kurs, perceptron’dan başlayıp bu fikre — ve oradan öz-denetimli öğrenmeye (self-supervised learning), graf ağlarına ve yapılandırılmış tahmine — tırmanır.

Her hafta bir Builder Notu katmanı taşır: kavramın hem geriye (lineer cebir, olasılık, calculus — kardeş kurslar) hem de ileriye (production, modern araştırma; EBM → JEPA gibi post-2020 köprüler) bağlantısı. Bu seriyi “ezberlenecek DL teorisi” olarak değil, temelden kurarak anlama disipliniyle okuyoruz: önce sezgi, sonra matematik, sonra kod.

Kaynak

Ders: NYU-DLSP20 (atcold.github.io) — Yann LeCun & Alfredo Canziani (NYU Courant / Center for Data Science)
YouTube playlist: NYU Deep Learning SP20
Sürüm: Spring 2020 (DLSP20) — COVID-19 dönemi kaydı (Mart 2020)
Çeviri ve genişletme: Phase 2 (TR + ML Builder köprüleri)

2 Nasıl Okumalı

Sıralı oku. Kurs kümülatiftir — her hafta bir öncekinin kurduğu kavramı ve dili kullanır. İlk hafta derin öğrenmenin ne olduğunu ve lineer cebir motivasyonunu kurar; ortadaki haftalar ConvNet / RNN / optimizasyon temelini atar; Hafta 7-9 kursun teorik omurgasıdır (EBM, autoencoder, VAE, GAN — hepsi tek enerji çerçevesinde); son haftalar SSL, NLP/Transformer, GCN ve büyük sentezi (varyasyonel serbest enerji = VAE) getirir.

Her hafta iki hocayı tek sayfada birleştirir: önce LeCun (Lecture) büyük resmi ve teoriyi çizer, bir geçiş köprüsü gelir, sonra Canziani (Practicum) aynı fikri somut koda ve geometriye oturtur. Quote’lar hocaya göre ayrı işaretlenir (— LeCun, X:XX / — Canziani, X:XX), misafir hocalar adıyla verilir.

Pratik bir tavsiye

Önce videoyu izle (Lecture ≈1.5–2 saat + Practicum ≈50–60 dk), sonra buradaki Türkçe haftayı oku, en sonunda kontrol sorularını toggle’ı açmadan cevapla ve PyTorch egzersizlerini çalıştır. LeCun “neden”i, Canziani “nasıl”ı verir; ikisi birleşince kavram yerine oturur.

3 14 Hafta + 1 Bonus

Kurs perceptron’dan başlayıp modern araştırma-sınırına tırmanır. Her hafta = LeCun Lecture + Canziani Practicum (misafir hocalar parantezde).

Hafta	Konu	Hoca(lar)
1	Derin Öğrenmeye Giriş ve Lineer Cebir Motivasyonu	LeCun + Canziani
2	Gradient Descent, Backprop ve Yapay Sinir Ağları	LeCun + Canziani
3	Evrişimli Ağlar (ConvNets) ve Doğal Sinyaller	LeCun + Canziani
4	Konvolüsyon Cebiri (Toeplitz) ve Optimizasyon	Canziani + Defazio (konuk)
5	1B/2B Konvolüsyon ve Otomatik Türev (autograd)	Canziani
6	Diziler — RNN, LSTM ve Attention	LeCun + Canziani
7	Enerji-Tabanlı Modeller (EBM) ve Autoencoder	LeCun + Canziani
8	Karşıtsal SSL, Sparse Coding ve VAE	LeCun + Canziani
9	Sparse Coding, Dünya Modelleri ve GAN	LeCun + Canziani
10	Görüde Öz-Denetimli Öğrenme (PIRL/MoCo) ve PPUU	Misra (konuk) + Canziani
11	Aktivasyon/Kayıp Fonksiyonları ve PPUU	LeCun + Canziani
12	NLP — Transformer Dil Modelleri ve Attention	Lewis (konuk) + Canziani
13	Graf Evrişimli Ağlar (GCN)	Bresson (konuk) + Canziani
14	Yapılandırılmış Tahmin ve Düzenlileştirme	LeCun + Canziani
Bonus	Transfer Learning (PyTorch Lightning)	Falcon (konuk)

Not: Phase 2 pilotu Hafta 1 ile başlar. Diğer haftalar aynı şablonla eklenecektir.

4 Notasyon

Afin katman: $\mathbf{y} = W\mathbf{x} + \mathbf{b}$ — matris çarpımı (lineer) + öteleme (bias)
Doğrusal çöküş: $W_2(W_1\mathbf{x}) = (W_2 W_1)\mathbf{x} = W'\mathbf{x}$ — nonlinearity olmadan derinlik anlamsızdır
Enerji fonksiyonu: $F(x, y)$ — düşük enerji = uyumlu (x, y); çıkarım $= \arg\min_y F(x, y)$
Enerji ↔︎ olasılık: $P(y) \propto \exp(-\beta E)$, yani $\text{energy} = -\log p$ (sabite kadar) — Boltzmann köprüsü (Stat 110)
SVD: $A = U\Sigma V^\top$ — bir matris = rotation · scaling · rotation; tekil değer $\approx 0 \Rightarrow$ boyut ezme
Serbest enerji (Hafta 14): $F = \langle E \rangle - T \cdot H(q)$ — varyasyonel sentez = VAE

Tüm matematik MathJax 3 ile render ediliyor.

5 Builder Eksen — İki Yön

Her hafta bu bağlantı katmanını taşır

NYU DL kavramı	Köprü
Perceptron / afin katman $W\mathbf{x}+\mathbf{b}$	Geriye: 18.06 matris-vektör + Phase 1 DL
Lineer dönüşüm tipleri + SVD	Geriye: 18.06 (Ders 29 SVD) + 18.065 ileri
EBM enerji $\to$ olasılık	Geriye: Stat 110 Boltzmann, $-\log p$
Backprop / Lagrangian	Geriye: Calculus zincir kuralı + variational
Manifold hipotezi	Geriye: 18.06 altuzay + Stat 110 dağılım geometrisi
EBM	İleriye: JEPA / I-JEPA / V-JEPA (post-2020)
Contrastive SSL	İleriye: BYOL, Barlow Twins, VICReg, MAE (post-2020)
GCN	İleriye: graph transformers, geometric DL

Bir tek şey

Derin öğrenme sihir değildir. Elle tasarlanan öznitelik çıkarıcısını çöpe atıp temsili doğrudan veriden öğrenir; geometrik olarak bu, veri uzayını doğrusal dönüşümler ($W\mathbf{x}+\mathbf{b}$) ve doğrusal-olmamalarla yeniden şekillendirip kıvrık veri manifoldunu ayrıştırılabilir hale getirmektir. LeCun bunu cebirle anlatır, Canziani geometriyle gösterir.

Anakronizm notu (önemli)

DLSP20 Mart 2020’de çekildi. Modern non-contrastive SSL (BYOL, Barlow Twins, VICReg), MAE ve JEPA/I-JEPA/V-JEPA bu kurstan sonra doğdu — derslerde yokturlar. Bu terimler yalnızca “ileriye köprü” Builder Notu olarak, (post-2020, kursta yok) damgasıyla kullanılır. Kursta gerçekten geçen SSL yöntemleri: PIRL, ClusterFit, MoCo, contrastive methods, sparse coding.

6 Yazım Kuralları

Türkçe terminoloji + parantez içinde İngilizce orijinal ilk geçtiğinde: “enerji-tabanlı modeller (energy-based models, EBM)”, “öz-denetimli öğrenme (self-supervised learning, SSL)”, “manifold hipotezi (manifold hypothesis)”.
Hoca alıntıları İngilizce orijinal hâliyle, blockquote içinde, zaman damgasıyla ve hoca etiketiyle verilir (— LeCun, X:XX / — Canziani, X:XX / misafirler adıyla).
Builder Notu callout’ları her ana bölüm sonunda; köprüyü (geriye + ileriye) buraya yazıyoruz.
Öğretim kodu (Canziani’nin PyTorch parçaları) görünür python bloklarında durur; figürler ise kavramı üreten executable hücrelerdir (kod gizli — echo:false — yalnızca görsel görünür; bu kurs math-ağırdır, kod ikincildir).
Kontrol Soruları collapse’lu — cevap kapalı başlar, okur kendi düşündükten sonra açar.
Egzersizler cevapsız — en az bir PyTorch / elle-türetme egzersizi.

Bu kitap hocaların yerine geçmez

Tek başına bu set yetmez — LeCun’un kavramsal çerçevesinin ve Canziani’nin canlı kodlama sezgisinin yerine geçemez. Önce videoyu izle, sonra ilgili haftayı oku, son olarak kodu kendin yaz. Set videoyu destekler, ikame etmez.

--- title: "Önsöz" --- # Bu kitap nedir? Bu, **NYU Deep Learning — Spring 2020 (DLSP20)** ders serisinin Türkçe ders notlarıdır. Ders iki hocalıdır: **Yann LeCun** (Lecture — teorik, araştırma-sınırı bakışı) ve **Alfredo Canziani** (Practicum — pratik, canlı PyTorch). Hedef, videoları izlerken paralel okunabilecek; sonradan tek başına da yeterli olabilecek bir referans seti üretmek. Bu, Phase 2'nin **en teorik** kursudur. LeCun'un omurga teması tek cümlede özetlenebilir: bir sinir ağını "girdiyi çıktıya çeviren fonksiyon" olarak görmek kısıtlayıcıdır; asıl güçlü çerçeve, cevapları bir **enerji fonksiyonunun minimumları** yapan **enerji-tabanlı modellerdir** (energy-based models, EBM). Kurs, perceptron'dan başlayıp bu fikre — ve oradan öz-denetimli öğrenmeye (self-supervised learning), graf ağlarına ve yapılandırılmış tahmine — tırmanır. Her hafta bir **Builder Notu** katmanı taşır: kavramın hem **geriye** (lineer cebir, olasılık, calculus — kardeş kurslar) hem de **ileriye** (production, modern araştırma; EBM → JEPA gibi post-2020 köprüler) bağlantısı. Bu seriyi "ezberlenecek DL teorisi" olarak değil, **temelden kurarak anlama** disipliniyle okuyoruz: önce sezgi, sonra matematik, sonra kod. ::: {.callout-note title="Kaynak"} - **Ders:** [NYU-DLSP20 (atcold.github.io)](https://atcold.github.io/NYU-DLSP20/) — Yann LeCun & Alfredo Canziani (NYU Courant / Center for Data Science) - **YouTube playlist:** [NYU Deep Learning SP20](https://www.youtube.com/playlist?list=PL80I41oVxglKcAHllsU0txr3OuTTaWX2v) - **Sürüm:** Spring 2020 (DLSP20) — COVID-19 dönemi kaydı (Mart 2020) - **Çeviri ve genişletme:** Phase 2 (TR + ML Builder köprüleri) ::: # Nasıl Okumalı Sıralı oku. Kurs kümülatiftir — her hafta bir öncekinin kurduğu kavramı ve **dili** kullanır. İlk hafta derin öğrenmenin ne olduğunu ve lineer cebir motivasyonunu kurar; ortadaki haftalar ConvNet / RNN / optimizasyon temelini atar; **Hafta 7-9 kursun teorik omurgasıdır** (EBM, autoencoder, VAE, GAN — hepsi tek enerji çerçevesinde); son haftalar SSL, NLP/Transformer, GCN ve büyük sentezi (varyasyonel serbest enerji = VAE) getirir. Her hafta **iki hocayı tek sayfada** birleştirir: önce **LeCun** (Lecture) büyük resmi ve teoriyi çizer, bir **geçiş** köprüsü gelir, sonra **Canziani** (Practicum) aynı fikri somut koda ve geometriye oturtur. Quote'lar hocaya göre ayrı işaretlenir (**— LeCun, X:XX** / **— Canziani, X:XX**), misafir hocalar adıyla verilir. ::: {.callout-tip title="Pratik bir tavsiye"} Önce videoyu izle (Lecture ≈1.5–2 saat + Practicum ≈50–60 dk), sonra buradaki Türkçe haftayı oku, en sonunda **kontrol sorularını** toggle'ı açmadan cevapla ve **PyTorch egzersizlerini** çalıştır. LeCun "neden"i, Canziani "nasıl"ı verir; ikisi birleşince kavram yerine oturur. ::: # 14 Hafta + 1 Bonus Kurs perceptron'dan başlayıp modern araştırma-sınırına tırmanır. Her hafta = LeCun Lecture + Canziani Practicum (misafir hocalar parantezde). | Hafta | Konu | Hoca(lar) | |---|------|-----------| | 1 | Derin Öğrenmeye Giriş ve Lineer Cebir Motivasyonu | LeCun + Canziani | | 2 | Gradient Descent, Backprop ve Yapay Sinir Ağları | LeCun + Canziani | | 3 | Evrişimli Ağlar (ConvNets) ve Doğal Sinyaller | LeCun + Canziani | | 4 | Konvolüsyon Cebiri (Toeplitz) ve Optimizasyon | Canziani + Defazio (konuk) | | 5 | 1B/2B Konvolüsyon ve Otomatik Türev (autograd) | Canziani | | 6 | Diziler — RNN, LSTM ve Attention | LeCun + Canziani | | 7 | Enerji-Tabanlı Modeller (EBM) ve Autoencoder | LeCun + Canziani | | 8 | Karşıtsal SSL, Sparse Coding ve VAE | LeCun + Canziani | | 9 | Sparse Coding, Dünya Modelleri ve GAN | LeCun + Canziani | | 10 | Görüde Öz-Denetimli Öğrenme (PIRL/MoCo) ve PPUU | Misra (konuk) + Canziani | | 11 | Aktivasyon/Kayıp Fonksiyonları ve PPUU | LeCun + Canziani | | 12 | NLP — Transformer Dil Modelleri ve Attention | Lewis (konuk) + Canziani | | 13 | Graf Evrişimli Ağlar (GCN) | Bresson (konuk) + Canziani | | 14 | Yapılandırılmış Tahmin ve Düzenlileştirme | LeCun + Canziani | | Bonus | Transfer Learning (PyTorch Lightning) | Falcon (konuk) | > Not: Phase 2 pilotu Hafta 1 ile başlar. Diğer haftalar aynı şablonla eklenecektir. # Notasyon - **Afin katman:** $\mathbf{y} = W\mathbf{x} + \mathbf{b}$ — matris çarpımı (lineer) + öteleme (bias) - **Doğrusal çöküş:** $W_2(W_1\mathbf{x}) = (W_2 W_1)\mathbf{x} = W'\mathbf{x}$ — nonlinearity olmadan derinlik anlamsızdır - **Enerji fonksiyonu:** $F(x, y)$ — düşük enerji = uyumlu (x, y); çıkarım $= \arg\min_y F(x, y)$ - **Enerji ↔ olasılık:** $P(y) \propto \exp(-\beta E)$, yani $\text{energy} = -\log p$ (sabite kadar) — Boltzmann köprüsü (Stat 110) - **SVD:** $A = U\Sigma V^\top$ — bir matris = rotation · scaling · rotation; tekil değer $\approx 0 \Rightarrow$ boyut ezme - **Serbest enerji (Hafta 14):** $F = \langle E \rangle - T \cdot H(q)$ — varyasyonel sentez = VAE Tüm matematik [MathJax 3](https://www.mathjax.org/) ile render ediliyor. # Builder Eksen — İki Yön ::: {.callout-tip title="Her hafta bu bağlantı katmanını taşır"} | NYU DL kavramı | Köprü | |---|---| | Perceptron / afin katman $W\mathbf{x}+\mathbf{b}$ | **Geriye:** 18.06 matris-vektör + Phase 1 DL | | Lineer dönüşüm tipleri + SVD | **Geriye:** 18.06 (Ders 29 SVD) + 18.065 ileri | | EBM enerji $\to$ olasılık | **Geriye:** Stat 110 Boltzmann, $-\log p$ | | Backprop / Lagrangian | **Geriye:** Calculus zincir kuralı + variational | | Manifold hipotezi | **Geriye:** 18.06 altuzay + Stat 110 dağılım geometrisi | | EBM | **İleriye:** JEPA / I-JEPA / V-JEPA (post-2020) | | Contrastive SSL | **İleriye:** BYOL, Barlow Twins, VICReg, MAE (post-2020) | | GCN | **İleriye:** graph transformers, geometric DL | ::: ::: {.callout-important title="Bir tek şey"} Derin öğrenme sihir değildir. Elle tasarlanan öznitelik çıkarıcısını çöpe atıp temsili **doğrudan veriden** öğrenir; geometrik olarak bu, veri uzayını doğrusal dönüşümler ($W\mathbf{x}+\mathbf{b}$) ve doğrusal-olmamalarla yeniden şekillendirip kıvrık veri manifoldunu ayrıştırılabilir hale getirmektir. LeCun bunu cebirle anlatır, Canziani geometriyle gösterir. ::: ::: {.callout-warning title="Anakronizm notu (önemli)"} DLSP20 **Mart 2020'de** çekildi. Modern non-contrastive SSL (BYOL, Barlow Twins, VICReg), MAE ve JEPA/I-JEPA/V-JEPA **bu kurstan sonra** doğdu — derslerde **yokturlar**. Bu terimler yalnızca "ileriye köprü" Builder Notu olarak, **(post-2020, kursta yok)** damgasıyla kullanılır. Kursta gerçekten geçen SSL yöntemleri: PIRL, ClusterFit, MoCo, contrastive methods, sparse coding. ::: # Yazım Kuralları - **Türkçe terminoloji + parantez içinde İngilizce orijinal** ilk geçtiğinde: "enerji-tabanlı modeller (energy-based models, EBM)", "öz-denetimli öğrenme (self-supervised learning, SSL)", "manifold hipotezi (manifold hypothesis)". - **Hoca alıntıları** İngilizce orijinal hâliyle, blockquote içinde, zaman damgasıyla ve hoca etiketiyle verilir (**— LeCun, X:XX** / **— Canziani, X:XX** / misafirler adıyla). - **Builder Notu** callout'ları her ana bölüm sonunda; köprüyü (geriye + ileriye) buraya yazıyoruz. - **Öğretim kodu** (Canziani'nin PyTorch parçaları) görünür `python` bloklarında durur; **figürler** ise kavramı üreten executable hücrelerdir (kod gizli — `echo:false` — yalnızca görsel görünür; bu kurs math-ağırdır, kod ikincildir). - **Kontrol Soruları** collapse'lu — cevap kapalı başlar, okur kendi düşündükten sonra açar. - **Egzersizler** cevapsız — en az bir PyTorch / elle-türetme egzersizi. ::: {.callout-warning title="Bu kitap hocaların yerine geçmez"} Tek başına bu set yetmez — LeCun'un kavramsal çerçevesinin ve Canziani'nin canlı kodlama sezgisinin yerine geçemez. Önce videoyu izle, sonra ilgili haftayı oku, son olarak kodu **kendin yaz**. Set videoyu **destekler**, ikame etmez. :::