From 8eb92055dcdbcf55066cb3dfbdc19317fea07bf0 Mon Sep 17 00:00:00 2001
From: juhyuni <juhy0987@naver.com>
Date: Wed, 27 May 2026 10:12:11 +0900
Subject: [PATCH 1/2] =?UTF-8?q?[DOCS]:=20Boltzmann=20machine=20=EA=B3=84?=
 =?UTF-8?q?=EC=97=B4=20=EB=85=BC=EB=AC=B8=205=ED=8E=B8=20=EC=A0=95?=
 =?UTF-8?q?=EB=A6=AC=20(energy-based=20=EC=8B=A0=EA=B7=9C=20=EC=B9=B4?=
 =?UTF-8?q?=ED=85=8C=EA=B3=A0=EB=A6=AC)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

- docs/papers/energy-based/ 신규 디렉토리 + 5편 md 작성:
  - 1985-boltzmann-machine-hinton: Ackley+Hinton+Sejnowski, BM 원조 (energy + Gibbs sampling + contrastive update)
  - 1986-harmony-theory-smolensky: Smolensky, RBM 원조 (bipartite + conditional independence)
  - 2002-contrastive-divergence-hinton: Hinton, CD-1 (RBM 실용 학습 breakthrough)
  - 2006-dbn-hinton: Hinton+Osindero+Teh, DBN (layer-wise pre-training + 딥러닝 부활)
  - 2009-dbm-salakhutdinov: Salakhutdinov+Hinton, DBM (all-layer undirected)
- README.md 갱신: 디렉토리 구조 + 패러다임 분류 표 + Energy-based 인덱스 섹션 추가
- 시사점은 graph energy + paradigm 연결 관점으로 작성:
  - BM 의 E = -Σ w_ij s_i s_j 와 HybridGraphLinear 의 adj·W 구조 등가성
  - RBM bipartite 와 HybridGraphLinear input↔output channel 의 일치
  - CD-1 의 "biased but practical" 과 Phase 15 prune 의 magnitude proxy 철학
  - DBN/DBM 의 layer-wise growth 와 Phase 16 후보 (Net2Net/LiGO) 의 historical precursor
  - DBM 의 layer-wise differentiation 과 Phase 17 (attention vs FFN 차등 prune) motivation
- papers-lint 통과 (45 → 50편)
---
 docs/papers/README.md                         |  17 ++-
 .../1985-boltzmann-machine-hinton.md          |  95 +++++++++++++++
 .../1986-harmony-theory-smolensky.md          |  91 +++++++++++++++
 .../2002-contrastive-divergence-hinton.md     |  95 +++++++++++++++
 docs/papers/energy-based/2006-dbn-hinton.md   | 107 +++++++++++++++++
 .../energy-based/2009-dbm-salakhutdinov.md    | 110 ++++++++++++++++++
 6 files changed, 514 insertions(+), 1 deletion(-)
 create mode 100644 docs/papers/energy-based/1985-boltzmann-machine-hinton.md
 create mode 100644 docs/papers/energy-based/1986-harmony-theory-smolensky.md
 create mode 100644 docs/papers/energy-based/2002-contrastive-divergence-hinton.md
 create mode 100644 docs/papers/energy-based/2006-dbn-hinton.md
 create mode 100644 docs/papers/energy-based/2009-dbm-salakhutdinov.md

diff --git a/docs/papers/README.md b/docs/papers/README.md
index 258e837..e0d2f8f 100644
--- a/docs/papers/README.md
+++ b/docs/papers/README.md
@@ -15,6 +15,7 @@ GraphLM 의 핵심 패러다임은 **training-time dynamic parameter count** (
 | `graph/`, `hybrid/` (기존 8편) | **data-as-graph** | **Baseline reference 보존** — 직접 채택 대상 아님. "데이터를 graph 로" 의 비교군. |
 | `computation-graph/` (sparse activation 6편) | **computation-as-graph (sparse activation 위주)** | **부분적 reference** — MoE/MoD/UT 6편은 \"고정 총량 + 동적 활성\" 이라 본 프로젝트 1순위가 아님. AutoFormer (NAS) / GHN-3 (arch-as-graph) 는 architecture-as-graph 측면 보조 정렬. |
 | `computation-graph/` (dynamic param 22편 + function-level dynamic 7편) ⭐ | **training-time dynamic param count (THIS)** | **1순위 큐레이션** — Growing Networks (5) / DST (5) / DARTS (1) / Adaptive Trigger (5) / Resource·Deployment (6) / **Function-level dynamic (7 신규)** |
+| `energy-based/` (5편) | **graph energy reference** | **historical foundation** — Boltzmann machine / RBM / DBN / DBM 의 *graph edge weight 학습* 시초. paradigm 의 `HybridGraphLinear` dual-gated edge 와 구조적 등가성. |
 | `lm/` (미사용) | LM 일반 | 필요 시 활성화 |
 
 신규 논문 요약 추가 시 **dynamic parameter count 계열** (Growing / DST / DARTS) 을 우선한다. sparse activation (MoE 류) 와 data-as-graph 는 둘 다 reference 자료 — 직접적 baseline 가치가 명확할 때만 추가.
@@ -27,7 +28,9 @@ docs/papers/
 ├── _template.md      # 신규 요약 시 복사할 표준 템플릿
 ├── graph/            # 순수 그래프 방법 (GCN, GAT, GraphSAGE 등)
 ├── lm/               # 순수 언어 모델 (BERT, GPT, T5 등)
-└── hybrid/           # 그래프 + LM 결합 / multimodal
+├── hybrid/           # 그래프 + LM 결합 / multimodal
+├── computation-graph/ # computation-as-graph (sparse activation + dynamic param count + function-level)
+└── energy-based/     # graph energy 표현 (Boltzmann machine, RBM, DBN, DBM)
 ```
 
 신규 카테고리가 필요하면 같은 깊이로 디렉토리를 추가하고 본 README 의 표를 갱신한다.
@@ -195,6 +198,18 @@ docs/papers/
 | [computation-graph/2021-modular-transformer-csordas.md](computation-graph/2021-modular-transformer-csordas.md) | 2021 | Are Neural Nets Modular? | Differentiable weight mask 로 Transformer functional modularity 정량 측정 (post-hoc) |
 | [computation-graph/2018-modular-networks-kirsch.md](computation-graph/2018-modular-networks-kirsch.md) | 2018 | Modular Networks | Hard routing + 학습 가능 (Gumbel-Softmax) — emergent specialization |
 
+### Energy-based (graph energy reference, historical foundation)
+
+> Boltzmann machine 계열의 *graph edge weight 학습* 시초 — `HybridGraphLinear` 의 `adj_outer · adj_inner · W` 의 dual-gated edge 와 구조적 등가성. paradigm 의 *graph energy 표현* + *layer-wise progressive growth* 의 historical roots.
+
+| 파일 | 연도 | 모델/방법 | 한줄 요약 |
+|---|---|---|---|
+| [energy-based/1985-boltzmann-machine-hinton.md](energy-based/1985-boltzmann-machine-hinton.md) | 1985 | Boltzmann Machine | Stochastic graph energy model — `E = -Σ w_ij s_i s_j` + Gibbs sampling + contrastive update (positive/negative phase) |
+| [energy-based/1986-harmony-theory-smolensky.md](energy-based/1986-harmony-theory-smolensky.md) | 1986 | Harmonium (RBM 원조) | Bipartite restricted BM, conditional independence 활용 — paradigm 의 bipartite directed graph 와 등가 구조 |
+| [energy-based/2002-contrastive-divergence-hinton.md](energy-based/2002-contrastive-divergence-hinton.md) | 2002 | Contrastive Divergence (CD-1) | RBM 실용 학습 breakthrough — k-step Markov chain 으로 negative phase 근사. "biased but practical" 의 historical 시조 |
+| [energy-based/2006-dbn-hinton.md](energy-based/2006-dbn-hinton.md) | 2006 | Deep Belief Network | Layer-wise greedy pre-training + variational bound 보장 — 딥러닝 부활 catalyst, Phase 16 후보 (Net2Net/LiGO) 의 historical precursor |
+| [energy-based/2009-dbm-salakhutdinov.md](energy-based/2009-dbm-salakhutdinov.md) | 2009 | Deep Boltzmann Machine | 모든 layer 가 undirected RBM — Phase 14 의 full graph block 과 구조적 등가, Phase 17 (layer-wise 차등 prune) 의 motivation |
+
 ## 작성 원칙
 
 - **요약은 자기 언어로** — 논문 abstract 복붙 금지. 본인이 이해한 표현으로 재기술
diff --git a/docs/papers/energy-based/1985-boltzmann-machine-hinton.md b/docs/papers/energy-based/1985-boltzmann-machine-hinton.md
new file mode 100644
index 0000000..e723afc
--- /dev/null
+++ b/docs/papers/energy-based/1985-boltzmann-machine-hinton.md
@@ -0,0 +1,95 @@
+---
+title: "A Learning Algorithm for Boltzmann Machines"
+authors: "Ackley, D. H., Hinton, G. E., & Sejnowski, T. J."
+year: 1985
+venue: "Cognitive Science, 9(1): 147-169"
+url: "https://www.cs.toronto.edu/~hinton/absps/cogscibm.pdf"
+doi: "10.1207/s15516709cog0901_7"
+tags: ["energy-based", "boltzmann-machine", "stochastic", "graph-energy", "gibbs-sampling"]
+status: "draft"
+cited_in: []
+---
+
+# Boltzmann Machine (BM) — 원조 energy-based stochastic network
+
+## TL;DR (3줄)
+
+- 노드가 binary stochastic unit 인 fully-connected graph 위에서 energy minimization 으로 학습하는 generative model — Hopfield network 의 stochastic 확장.
+- Simulated annealing 으로 visible/hidden unit 의 결합 분포를 학습, Gibbs sampling 기반 contrastive update rule (positive/negative phase).
+- 학습 신호 = data-clamped state 와 free-running state 의 통계 차이. 1980 년대 neural network 의 graph energy 학습 방법론 확립.
+
+## 핵심 기여
+
+- **Stochastic neural network 정식화**: deterministic Hopfield (1982) 의 일반화. unit 이 `s_i ∈ {0, 1}` 인데 결정값이 아니라 확률적 (`P(s_i = 1) = σ(net_i / T)`).
+- **Energy function**: `E(s) = -Σ_{i<j} w_ij s_i s_j - Σ_i b_i s_i`. graph 의 edge weight `w_ij` 가 학습 대상.
+- **Boltzmann distribution**: `P(s) ∝ exp(-E(s) / T)` — 학습 목표가 데이터의 marginal 분포를 모델 분포에 매칭.
+- **Contrastive learning rule**: `Δw_ij ∝ ⟨s_i s_j⟩_data - ⟨s_i s_j⟩_model` — positive phase (data clamped) vs negative phase (free running) 의 차이.
+- **Hidden units 도입** — visible 만 있던 Hopfield 대비 표현력 확장.
+
+## 방법 요약
+
+- 데이터: binary patterns (당시 toy problems — encoder/decoder, parity 등)
+- 모델: fully-connected undirected graph (`N` units, weights symmetric `w_ij = w_ji`)
+- 학습:
+  - **Simulated annealing** 으로 temperature `T` 를 점진적으로 낮추며 thermal equilibrium 도달
+  - Positive phase: visible unit clamped to data, hidden unit 들이 equilibrium 으로 수렴 → `⟨s_i s_j⟩_data` 측정
+  - Negative phase: 모든 unit free, equilibrium 도달 → `⟨s_i s_j⟩_model` 측정
+  - Weight update: `Δw_ij = η (⟨s_i s_j⟩_data - ⟨s_i s_j⟩_model)`
+- 핵심 수식:
+  $$ E(s) = -\sum_{i<j} w_{ij} s_i s_j - \sum_i b_i s_i $$
+  $$ P(s) = \frac{\exp(-E(s)/T)}{Z}, \quad Z = \sum_{s'} \exp(-E(s')/T) $$
+
+## 실험 / 결과
+
+- 벤치마크: encoder/decoder task (4-2-4, 8-3-8 patterns), shifter task, parity check
+- 주요 수치: 작은 toy 문제에서 hidden unit 활용한 internal representation 학습 성공 입증
+- 재현성 메모: 1985 hardware 한계로 모든 결과가 매우 작은 scale. 본 논문의 의의는 framework 자체이지 수치적 SOTA 가 아님
+
+## 한계 / 비판적 시각
+
+- **계산 비용 막대**: 매 weight update 마다 simulated annealing 2 phase 실행 필요 → 사실상 큰 network 에 불가능
+- **Equilibrium 가정의 비현실성**: 실제 simulation 에서 true equilibrium 도달 어려움 → 학습 instability
+- **fully-connected 라 scale 안 됨**: weight matrix `O(N²)`
+- 이 한계들이 17 년 후 Hinton 2002 (Contrastive Divergence) 로 일부 해결, Smolensky 1986 (RBM) 로 connectivity 제약 도입
+- **딥러닝 발전 과정에서 한동안 잊혀짐** — 2006 DBN 으로 재부활 (Hinton+Osindero+Teh)
+
+## 본 프로젝트 시사점
+
+> GraphLM 의 paradigm 과 **graph energy 표현의 직접 선조**.
+
+### graph energy 표현의 구조적 유사성
+
+| Boltzmann Machine | GraphLM `HybridGraphLinear` |
+|---|---|
+| `E = -Σ w_ij s_i s_j` (energy via edge weights) | `eff_w = adj_outer · adj_inner · W` (effective edge weight) |
+| graph 의 모든 edge `w_ij` 가 학습 대상 | edge magnitude 가 학습 대상 (adj_outer, adj_inner) |
+| symmetric undirected graph | directed bipartite (input → output channels) |
+| binary stochastic units | continuous deterministic units (Transformer hidden) |
+| Boltzmann distribution 학습 | gradient descent 로 loss 최소화 |
+
+- **공통점**: graph edge weight 가 학습 대상이라는 핵심 — paradigm 의 magnitude rule (≈ 1.0 sweet spot) 의 historical motivation.
+- **차이점**: BM 은 stochastic + sampling-based, paradigm 은 deterministic + gradient-based. BM 의 contrastive update 가 explicit `⟨s_i s_j⟩` 통계인 반면, paradigm 의 backprop 은 chain rule 의 implicit 통계 추정.
+
+### dynamic 위상 변화의 BM 관점
+
+- Phase 15 의 edge prune (mask=0) 은 BM 에서 `w_ij → -∞` 시 `s_i, s_j` 간 interaction 차단과 등가.
+- BM 의 학습은 energy landscape 의 모양 자체를 학습 — paradigm 의 *topology + magnitude 동시 학습* 의 mathematical precursor.
+- **차용할 아이디어**: BM 의 positive/negative phase 의 contrastive 통계 → paradigm 에서 *학습된 connectivity 의 importance metric* 으로 활용 가능 (어떤 edge 가 data-driven activity 와 prior activity 의 차이가 큰가).
+
+### 채택하지 않을 부분
+
+- Sampling-based learning 자체는 paradigm 에 도입하지 않음 — Transformer 의 deterministic forward 와 mismatch.
+- Symmetric weight 제약도 부적합 (Transformer 는 asymmetric directed).
+
+### 후속 실험 가설
+
+- BM 의 `⟨s_i s_j⟩_data - ⟨s_i s_j⟩_model` 통계와 유사한 *adj importance metric* 을 정의해 Phase 15 prune 의 magnitude 기준 외 대안 평가 — 학습 동안 활성도 차이가 큰 edge 우선 보존.
+
+## 참고 / 인용
+
+- 공식 코드: 1985 paper, 코드 없음
+- 관련 논문:
+  - [Smolensky 1986 (RBM 원조)](1986-harmony-theory-smolensky.md)
+  - [Hinton 2002 (CD-1)](2002-contrastive-divergence-hinton.md)
+  - Hopfield 1982 (deterministic 전신, 외부 reference)
+- 본 프로젝트 내 인용 위치: paradigm reference (cited_in 비어있음, 향후 사용 시 갱신)
diff --git a/docs/papers/energy-based/1986-harmony-theory-smolensky.md b/docs/papers/energy-based/1986-harmony-theory-smolensky.md
new file mode 100644
index 0000000..4d213f2
--- /dev/null
+++ b/docs/papers/energy-based/1986-harmony-theory-smolensky.md
@@ -0,0 +1,91 @@
+---
+title: "Information Processing in Dynamical Systems: Foundations of Harmony Theory"
+authors: "Smolensky, P."
+year: 1986
+venue: "Parallel Distributed Processing, Vol. 1, Chapter 6 (MIT Press)"
+url: "https://stanford.edu/~jlmcc/papers/PDP/Volume%201/Chap6_PDP86.pdf"
+tags: ["energy-based", "rbm-origin", "harmonium", "bipartite", "restricted-boltzmann"]
+status: "draft"
+cited_in: []
+---
+
+# Harmonium (RBM 원조) — bipartite restricted Boltzmann machine
+
+## TL;DR (3줄)
+
+- "Harmonium" 이라는 bipartite stochastic network 제안 — visible layer 와 hidden layer 의 connection 만 허용, 같은 layer 안 connection 금지 (= 후일 RBM).
+- 인지과학 framework "harmony theory" 의 일환 — 표현의 *harmony* (= 음의 energy) 를 최대화.
+- BM (Hinton+Sejnowski 1985) 의 fully-connected 한계를 bipartite 제약으로 완화 → conditional independence 활용한 효율적 inference 의 수학적 기반 제공.
+
+## 핵심 기여
+
+- **Bipartite restricted Boltzmann machine 정식화**: visible `v ∈ {0,1}^V` ↔ hidden `h ∈ {0,1}^H`, weights `W ∈ R^{V×H}`, intra-layer connection 없음.
+- **Harmony function** = `-E(v, h) = Σ_ij w_ij v_i h_j + Σ_i a_i v_i + Σ_j b_j h_j`
+- **Conditional independence**: bipartite 구조 덕분에 `P(h | v) = ∏_j P(h_j | v)`, `P(v | h) = ∏_i P(v_i | h)` — Gibbs sampling 한 step 이 한 layer 전체 병렬 가능.
+- **인지과학적 motivation**: 인간의 perception/cognition 을 "전반적 harmony 최대화" 로 설명하는 connectionist framework.
+
+## 방법 요약
+
+- 데이터: cognitive task 예시 (linguistic / perceptual patterns)
+- 모델: 2-layer bipartite undirected graph
+  - visible `v` (data dimension)
+  - hidden `h` (latent feature)
+  - weight `W` (only cross-layer)
+- 학습: 본 chapter 는 framework 정의가 주, 실용적 학습 알고리즘은 Hinton 1985 의 contrastive divergence 가 응용 (직접 학습 알고리즘 제시 X)
+- 핵심 수식:
+  $$ E(v, h) = -v^\top W h - a^\top v - b^\top h $$
+  $$ P(v, h) = \frac{\exp(-E(v, h))}{Z}, \quad P(h_j = 1 | v) = \sigma(W_{:j}^\top v + b_j) $$
+
+## 실험 / 결과
+
+- 인지과학 framework 위주 — 양적 벤치마크보다 정성적 설명력 강조
+- 실용적 학습은 후속 연구로 위임됨 (Hinton 2002 의 CD-1 이 RBM 학습의 critical breakthrough)
+- 1986 당시에는 큰 impact 못 받았으나 2000년대 RBM 부활과 함께 historical foundation 으로 재조명
+
+## 한계 / 비판적 시각
+
+- **학습 알고리즘 부재**: 이론적 framework 만 제시, 실용적 weight update rule 없음 → 17 년간 RBM 은 거의 사용되지 않음
+- **인지과학 framework 의 모호성**: harmony theory 의 더 큰 ambition (cognition 통합) 은 후속 입증 못 함
+- **연결성 제약의 cost**: bipartite 제약으로 BM 대비 표현력 감소 (intra-layer correlation 표현 불가)
+- 이 한계를 stack 으로 보완한 것이 후일 DBN (Hinton+Osindero+Teh 2006)
+
+## 본 프로젝트 시사점
+
+> Paradigm 의 **bipartite/layer-restricted graph 구조** 와 직접 정렬 — `HybridGraphLinear` 의 input ↔ output channel 도 정확히 RBM 의 v ↔ h 와 같은 bipartite topology.
+
+### 구조적 등가성
+
+| Harmonium / RBM | GraphLM `HybridGraphLinear` |
+|---|---|
+| visible `v` ∈ {0,1}^V | input channel `x` ∈ R^{in_features} |
+| hidden `h` ∈ {0,1}^H | output channel `y` ∈ R^{out_features} |
+| weight `W` ∈ R^{V×H}, bipartite | weight `W` 와 dual adj — bipartite directed |
+| `P(h | v)` factorizes (conditional independence) | forward 가 explicit `y = f(W, x)` |
+| `P(v, h) ∝ exp(-E)` | (deterministic, energy 직접 정의 없음) |
+
+- **공통점**: bipartite topology 라 inter-layer routing 만 학습. paradigm 의 layer-by-layer Transformer block 도 같은 패턴.
+- **차이점**: RBM 은 undirected joint distribution, paradigm 은 directed conditional mapping.
+
+### 차용 가능 아이디어
+
+- **Conditional independence trick**: RBM 의 layer-wise parallelism 은 modern Transformer 의 layer-by-layer forward 와 본질적으로 같은 효율성 패턴.
+- **Energy 관점**: paradigm 의 forward `y = (adj_outer · adj_inner · W) · x` 를 energy 관점으로 재해석하면 — *low-energy state = high prediction probability* 의 해석 framework 가 RBM 으로부터 유도 가능.
+
+### Phase 15 prune 의 RBM 해석
+
+- Phase 15 의 edge prune 은 RBM 에서 특정 `(v_i, h_j)` connection 의 `w_ij → 0` 과 등가.
+- RBM 학습 후 작은 `|w_ij|` edge 는 contribution 미미 → "자연 sparsity 등장 가능" 의 historical 증거 (DBN 연구에서 확인됨).
+- 본 paradigm 의 *30% almost-free prune 구간* 은 RBM 의 low-magnitude weight 자연 발생과 mathematical 일치.
+
+### 후속 실험 가설
+
+- RBM 의 pre-training 패러다임 (DBN stack 학습) 처럼, paradigm 에서도 *layer-wise progressive growth + prune* 이 효과적일 가능성 — Phase 16 후보 (RigL/Net2Net) 의 historical foundation.
+
+## 참고 / 인용
+
+- 공식 코드: 1986 paper, 코드 없음 (이론적 framework)
+- 관련 논문:
+  - [BM 원조 (Hinton+Sejnowski 1985)](1985-boltzmann-machine-hinton.md)
+  - [CD-1 (Hinton 2002)](2002-contrastive-divergence-hinton.md) — RBM 실용 학습
+  - [DBN (Hinton+Osindero+Teh 2006)](2006-dbn-hinton.md) — RBM stack
+- 본 프로젝트 내 인용 위치: paradigm bipartite reference (향후)
diff --git a/docs/papers/energy-based/2002-contrastive-divergence-hinton.md b/docs/papers/energy-based/2002-contrastive-divergence-hinton.md
new file mode 100644
index 0000000..edf4ea1
--- /dev/null
+++ b/docs/papers/energy-based/2002-contrastive-divergence-hinton.md
@@ -0,0 +1,95 @@
+---
+title: "Training Products of Experts by Minimizing Contrastive Divergence"
+authors: "Hinton, G. E."
+year: 2002
+venue: "Neural Computation, 14(8): 1771-1800"
+url: "https://www.cs.toronto.edu/~hinton/absps/nccd.pdf"
+doi: "10.1162/089976602760128018"
+tags: ["energy-based", "contrastive-divergence", "rbm", "product-of-experts", "gibbs-sampling"]
+status: "draft"
+cited_in: []
+---
+
+# Contrastive Divergence (CD-1) — RBM 실용 학습 breakthrough
+
+## TL;DR (3줄)
+
+- Boltzmann machine 학습의 계산 병목 (negative phase 의 long-run Gibbs sampling) 을 **k step 만의 짧은 Markov chain** 으로 근사하는 contrastive divergence (CD-k) 제안.
+- "Product of experts" framework — 여러 expert 분포의 곱을 normalization 하는 모델 학습. RBM 이 핵심 사례.
+- CD-1 (단 1 step!) 으로도 RBM 학습이 실용적 수준으로 작동 → 1986 RBM 의 17 년 휴면을 깨운 catalyst, 후일 DBN/DBM 가능하게 함.
+
+## 핵심 기여
+
+- **Contrastive divergence loss**: `CD_k = KL(P_0 || P_∞) - KL(P_k || P_∞)` ≈ `⟨log p(v)⟩_data - ⟨log p(v)⟩_k step` — true gradient 의 biased 근사이지만 작동.
+- **CD-1 의 surprising efficacy**: `k=1` (data → 1 Gibbs step) 만으로도 의미 있는 학습 가능 → 계산 비용 huge 감소.
+- **Product of experts (PoE)**: `P(v) ∝ ∏_m p_m(v)` 형태의 모델 일반화 — RBM 은 각 hidden unit 이 expert.
+- **RBM 학습 recipe 정착**: 후일 모든 DBN/DBM/RBM 연구의 표준 학습 알고리즘으로 등극.
+
+## 방법 요약
+
+- 데이터: handwritten digits, natural images, language modeling 등 다양한 적용
+- 모델: RBM (visible-hidden bipartite) — 학습 대상
+- 학습 (CD-1):
+  1. **Positive phase**: data `v_0` 클램프 → hidden activation `h_0 ~ P(h|v_0)` 샘플링 → `⟨v_0 h_0^\top⟩` 계산
+  2. **Negative phase (k=1)**: hidden `h_0` 로부터 visible 재구성 `v_1 ~ P(v|h_0)` → 다시 hidden `h_1 ~ P(h|v_1)` → `⟨v_1 h_1^\top⟩` 계산
+  3. **Weight update**: `ΔW = η (⟨v_0 h_0^\top⟩ - ⟨v_1 h_1^\top⟩)`
+- 핵심 수식:
+  $$ \Delta w_{ij} \approx \eta \left( \langle v_i h_j \rangle_{\text{data}} - \langle v_i h_j \rangle_{k\text{-step}} \right) $$
+
+## 실험 / 결과
+
+- 벤치마크: MNIST digit generation, image patches, document modeling
+- 주요 수치: 기존 BM 의 모방 불가능했던 큰 RBM 학습이 처음 가능해짐 (수천 unit scale)
+- CD-1 의 bias 분석: theoretically biased 이지만 실용적으로 작동 — Carreira-Perpinan & Hinton 2005 후속 분석으로 확인
+
+## 한계 / 비판적 시각
+
+- **CD-k 의 theoretical bias**: true gradient 가 아니라 근사 — 학습이 항상 likelihood 를 증가시키지 않을 수 있음
+- **convergence 의 정성적 보장 부재**: 실용적 작동은 입증되었으나 분석적 guarantee 없음
+- **modern deep learning 과의 거리**: backprop 기반 end-to-end 학습이 표준이 된 후 RBM/CD 의 직접 사용 감소
+- 그러나 historical 의의는 명확 — 2006 DBN 의 기술적 가능성 제공
+
+## 본 프로젝트 시사점
+
+> Paradigm 의 **gradient estimation efficiency** 측면의 historical 시조.
+
+### CD-1 의 "biased but practical" 철학
+
+- CD-1 의 본질 = *완벽한 gradient 대신 짧은 sampling 으로 적당한 근사 → 실용성 우선*
+- Paradigm 의 Phase 15 prune 도 비슷한 철학: *정확한 importance 측정 대신 magnitude 라는 proxy 사용*
+- "Biased but practical" 의 가치 — perfectionism 보다 작동하는 simple rule.
+
+### graph energy + gradient 연결
+
+| Contrastive Divergence | GraphLM paradigm |
+|---|---|
+| `⟨v_i h_j⟩_data - ⟨v_i h_j⟩_model` (statistic difference) | `∂L/∂W` via backprop (gradient) |
+| Markov chain 으로 model statistics 근사 | 단일 forward + backward 로 gradient 정확 계산 |
+| edge importance 추정 (positive vs negative phase 차이) | edge importance 추정 (gradient magnitude 또는 weight magnitude) |
+
+- **공통점**: edge importance 를 *통계적 차이* 로 측정.
+- **차이점**: CD 는 sampling, paradigm 은 backprop. Modern hardware 에서 backprop 의 비용이 sampling 만큼 가능해진 후 CD 는 niche 로.
+
+### Phase 15 prune 의 CD 관점 재해석
+
+- Phase 15 의 `prune_by_magnitude` 는 *현재 모델의 edge 중요도 = magnitude* 라는 한 가지 metric 만 사용.
+- CD 의 *data-driven vs prior-driven 차이* 를 도입하면 — 학습 중 *data 에 반응하는 edge* vs *prior 에서 안정적인 edge* 의 구분 가능.
+- **차용할 아이디어**: prune 의 importance metric 으로 magnitude 외 *데이터 의존성* 추가 — 가령 batch 별 gradient 의 variance.
+
+### 채택하지 않을 부분
+
+- Sampling 자체는 paradigm 에 도입하지 않음 (Transformer deterministic forward 와 mismatch, 위 Hinton+Sejnowski 1985 와 같은 이유).
+- CD-1 의 학습률 / scheduler 등 RBM-specific recipe 는 비적용.
+
+### 후속 실험 가설
+
+- Phase 15 prune 의 metric 으로 *gradient variance 기반 importance* (= "이 edge 가 batch 마다 얼마나 다른 신호를 받는가") 추가 — CD 의 statistical difference 와 spirit 일치.
+
+## 참고 / 인용
+
+- 공식 코드: Hinton lab 의 RBM toolkit (Matlab, 후일 다양한 framework 로 포팅)
+- 관련 논문:
+  - [Smolensky 1986 (RBM 원조)](1986-harmony-theory-smolensky.md)
+  - [DBN (Hinton+Osindero+Teh 2006)](2006-dbn-hinton.md) — CD 의 stacked 활용
+  - [DBM (Salakhutdinov+Hinton 2009)](2009-dbm-salakhutdinov.md) — multi-layer CD
+- 본 프로젝트 내 인용 위치: importance metric reference (향후)
diff --git a/docs/papers/energy-based/2006-dbn-hinton.md b/docs/papers/energy-based/2006-dbn-hinton.md
new file mode 100644
index 0000000..baed5b0
--- /dev/null
+++ b/docs/papers/energy-based/2006-dbn-hinton.md
@@ -0,0 +1,107 @@
+---
+title: "A Fast Learning Algorithm for Deep Belief Nets"
+authors: "Hinton, G. E., Osindero, S., & Teh, Y. W."
+year: 2006
+venue: "Neural Computation, 18(7): 1527-1554"
+url: "https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf"
+doi: "10.1162/neco.2006.18.7.1527"
+tags: ["energy-based", "dbn", "deep-learning-resurrection", "layer-wise-pretraining", "stacked-rbm"]
+status: "draft"
+cited_in: []
+---
+
+# Deep Belief Network (DBN) — 딥러닝 부활의 시발점
+
+## TL;DR (3줄)
+
+- 여러 RBM 을 **layer-wise greedy pre-training** 후 wake-sleep / fine-tune 으로 결합한 **첫 실용적 deep generative network**.
+- "왜 deep network 가 학습되지 않는가" (vanishing gradient, local minima) 문제를 *unsupervised layer-wise pre-training* 으로 우회.
+- **딥러닝 부활** (2006-2012 era) 의 catalyst — MNIST SOTA 갱신, ICML/NIPS deep learning 흐름 촉발.
+
+## 핵심 기여
+
+- **Layer-wise greedy pre-training**:
+  1. 첫 RBM (visible-hidden₁) 학습 (CD-1)
+  2. hidden₁ 의 expectation 을 새 "data" 로 사용해 두 번째 RBM (hidden₁-hidden₂) 학습
+  3. 반복 → N-layer DBN 완성
+- **Variational bound 증명**: 새 layer 추가가 data log-likelihood 의 variational bound 를 (변경 안 함 OR 향상시킴) → "더 깊게 쌓아도 안 해롭다" 보장.
+- **Wake-sleep fine-tuning**: pre-training 후 generative / recognition weight 를 contrastive sleep wake update 로 fine-tune.
+- **Discriminative variant**: pre-trained DBN 위에 softmax classifier 얹어 supervised fine-tune → MNIST 1.25% error 달성 (당시 SOTA).
+
+## 방법 요약
+
+- 데이터: MNIST digit images (대표적)
+- 모델: 3-layer DBN (784-500-500-2000 또는 유사 구성)
+- 학습 phase:
+  - **Pre-training**: 각 RBM 을 CD-1 으로 greedy 학습 (~30-50 epochs / layer)
+  - **Fine-tuning**: wake-sleep (generative model) 또는 backprop (discriminative classifier)
+- 핵심 수식:
+  - DBN 의 joint distribution: `P(v, h¹, h², ..., hᴸ) = P(hᴸ⁻¹, hᴸ) ∏ₗ P(hˡ⁻¹ | hˡ)`
+  - 최상위 두 layer 만 undirected (RBM), 나머지는 directed top-down
+
+## 실험 / 결과
+
+- 벤치마크: MNIST (digit classification + generation)
+- 주요 수치:
+  - Generative model: log P(v) 가 기존 deep network 대비 우수
+  - Discriminative: MNIST 1.25% error (당시 SOTA 갱신)
+  - Generation 품질: 학습 안 된 영역도 합리적 digit 생성 가능
+- 재현성 메모: Hinton lab 의 Matlab 코드 공개, 후일 다양한 deep learning framework 로 포팅
+
+## 한계 / 비판적 시각
+
+- **2012 이후 가치 감소**: ReLU + dropout + 좋은 initialization 등이 pre-training 없이도 deep network 학습 가능하게 함 → DBN pre-training 의 실용적 가치 감소
+- **순수 supervised setting 에서는 backprop end-to-end 가 더 강력**: 충분한 labeled data 있으면 pre-training 불필요
+- **modern Transformer 는 DBN 과 다른 길**: 그러나 그 *layer-wise progressive* 개념은 후일 LiGO/MSG (computation-graph 카테고리) 로 재발견됨
+- 그러나 *unsupervised pre-training + supervised fine-tune* 2-stage 패러다임은 후일 BERT/GPT 시대에 부활
+
+## 본 프로젝트 시사점
+
+> Paradigm 의 **layer-wise progressive growth** 관점에서 *historical precursor*. 또한 *energy-based deep generative* 의 paradigm 비교.
+
+### Layer-wise growth 의 historical 의의
+
+| DBN pre-training | GraphLM Phase 16 후보 |
+|---|---|
+| RBM 1 학습 → freeze → RBM 2 학습 → ... | Net2Net/LiGO 식 layer 추가 후 학습 |
+| 각 layer 가 lower-layer 의 latent 표현을 새로 학습 | growth 후 신규 layer 가 기존 representation 보존하며 학습 |
+| function preservation 보장 (variational bound) | function preservation 보장 (Net2Net 의 핵심) |
+| greedy → 후속 fine-tune | growth → continued training |
+
+- **공통점**: 모델을 한 번에 학습 안 하고 **점진적 깊이/너비 확장 + 단계별 학습** 이라는 핵심 idea.
+- **차이점**: DBN 은 generative + unsupervised, modern growth (Net2Net/LiGO) 는 discriminative + supervised. DBN 의 pre-training 가치는 LLM era 의 BERT/GPT 의 unsupervised pre-training 으로 *재발견* 됨.
+
+### Phase 16 (Net2Net/LiGO) 의 historical roots
+
+- Phase 16 후보의 **function-preserving growth** 는 DBN 의 *layer 추가가 variational bound 를 깨지 않는다* 와 동일한 spirit.
+- DBN 은 "더 깊게 쌓아도 worse 아님" 의 첫 deep generative 증명. paradigm 의 Phase 16+ 의 *grow + shrink 로 capacity 동적 조정* 도 같은 가정에 의존.
+
+### Energy + deep 의 관계
+
+- DBN 의 top 2 layer 만 RBM (energy-based), 아래는 directed → **하이브리드 energy/directed graph**.
+- Paradigm 의 `HybridGraphLinear` 도 *energy formulation 직접 사용 안 함* 이지만, *graph edge weight 학습* 이라는 구조는 RBM 의 directed analog.
+- DBN 의 hybrid 구조가 paradigm 의 "*표면은 deterministic forward, 내부는 graph energy-like topology*" 와 유사.
+
+### 차용 가능 아이디어
+
+- **Layer-wise progressive training**: paradigm 의 *layer 별 차등 prune/grow* (Phase 17 후보) 의 historical basis.
+- **Variational bound 기반 growth 결정**: paradigm 에서도 *growth criterion 으로 bound improvement* 사용 가능 — gradient norm 등.
+
+### 채택하지 않을 부분
+
+- Generative pre-training 자체는 paradigm 의 1순위 아님 (LM 의 unsupervised pre-training 은 이미 standard).
+- DBN 의 wake-sleep algorithm 은 modern backprop 대비 비효율.
+
+### 후속 실험 가설
+
+- **Layer-wise Phase 15 prune**: 전체 model 일괄 prune 대신 *bottom-up layer-by-layer* prune — DBN 의 greedy 패러다임을 paradigm 의 dynamic shrink 에 적용.
+
+## 참고 / 인용
+
+- 공식 코드: Hinton lab Matlab toolkit, 후일 PyTorch/TF 포팅 다수
+- 관련 논문:
+  - [CD-1 (Hinton 2002)](2002-contrastive-divergence-hinton.md) — DBN 의 building block
+  - [DBM (Salakhutdinov+Hinton 2009)](2009-dbm-salakhutdinov.md) — 완전 undirected 다층 확장
+  - [Net2Net (Chen 2016)](../computation-graph/2016-net2net-chen.md) — function-preserving growth 의 modern 형태
+  - [LiGO (Wang 2023)](../computation-graph/2023-ligo-wang.md) — learnable expansion
+- 본 프로젝트 내 인용 위치: layer-wise growth reference (향후)
diff --git a/docs/papers/energy-based/2009-dbm-salakhutdinov.md b/docs/papers/energy-based/2009-dbm-salakhutdinov.md
new file mode 100644
index 0000000..4c85e5b
--- /dev/null
+++ b/docs/papers/energy-based/2009-dbm-salakhutdinov.md
@@ -0,0 +1,110 @@
+---
+title: "Deep Boltzmann Machines"
+authors: "Salakhutdinov, R., & Hinton, G. E."
+year: 2009
+venue: "AISTATS 2009"
+url: "https://proceedings.mlr.press/v5/salakhutdinov09a/salakhutdinov09a.pdf"
+tags: ["energy-based", "dbm", "deep-boltzmann", "undirected", "bidirectional-coupling"]
+status: "draft"
+cited_in: []
+---
+
+# Deep Boltzmann Machine (DBM) — 완전 undirected 다층 Boltzmann
+
+## TL;DR (3줄)
+
+- DBN 의 hybrid 구조 (top 만 undirected) 와 달리 **모든 layer 가 RBM-style undirected** 인 진정한 deep Boltzmann machine.
+- 양방향 정보 전파 (bottom-up + top-down 동시) 로 더 풍부한 internal representation 가능, 학습은 *layer-wise pre-training + mean-field joint training* 의 2-stage.
+- MNIST/NORB SOTA 갱신, 후속 generative 연구에 영향. 그러나 학습 복잡도와 sampling cost 때문에 2014+ era 의 GAN/VAE 에 밀림.
+
+## 핵심 기여
+
+- **All-layer undirected**: DBN 의 directed lower layer 들도 RBM-style 으로 일괄 undirected — 정보 전파가 bidirectional.
+- **Inference 의 도전과 해결**: 다층 undirected 는 exact inference 불가 → mean-field variational approximation 으로 hidden state estimation.
+- **Greedy + joint training**:
+  1. DBN 처럼 layer-wise RBM pre-training (단, 1번째와 마지막 RBM 의 weight 를 2배로 — bidirectional coupling 보정)
+  2. 전체 model 을 mean-field + persistent CD 로 joint fine-tune
+- **표현력 우위 입증**: MNIST 0.95% error (당시 DBN 1.25% 대비 개선), NORB benchmark SOTA
+
+## 방법 요약
+
+- 데이터: MNIST, NORB (3D object), CIFAR (선택적)
+- 모델: 3-layer DBM (가령 784-500-500-2000)
+- 학습:
+  - **Pre-training**: 각 RBM 을 CD-1 으로 학습. 단 1번째 RBM (visible-h¹) 과 마지막 RBM (h^{L-1}-h^L) 의 weight 를 2x — joint phase 에서의 bidirectional input 보정.
+  - **Joint fine-tuning**:
+    - Mean-field inference: `μⱼ = σ(Σᵢ wᵢⱼ vᵢ + Σₖ wⱼₖ μₖ)` iterative update
+    - Persistent CD (PCD): negative samples 를 single chain 으로 유지
+    - Weight update: positive (data-driven) - negative (model-driven) statistics
+- 핵심 수식:
+  $$ E(v, h¹, ..., h^L) = -v^\top W^{(1)} h^{(1)} - \sum_{l=1}^{L-1} h^{(l)\top} W^{(l+1)} h^{(l+1)} $$
+
+## 실험 / 결과
+
+- 벤치마크: MNIST classification + generation, NORB 3D object
+- 주요 수치:
+  - MNIST: 0.95% error (당시 SOTA, DBN 1.25% 대비)
+  - NORB: 7.2% error (당시 SOTA)
+  - Generation quality: DBN 보다 자연스러운 sample
+- 재현성 메모: 학습 시간 매우 김 (DBN 대비 ~10x), 공식 Matlab 코드 공개
+
+## 한계 / 비판적 시각
+
+- **학습 복잡도 폭증**: pre-training 의 weight doubling + mean-field iteration + PCD 의 chain 관리 → 매우 brittle
+- **convergence 의 sensitivity**: hyperparameter (mean-field iteration 수, PCD chain 길이) 에 매우 민감
+- **scaling limitation**: 큰 model (현대 deep learning 기준) 에 사실상 적용 불가
+- **GAN (2014) / VAE (2013) 등장 후 사실상 archival**: 같은 generative 문제를 더 효율적으로 푸는 방법 등장
+- DBM 자체는 deprecated 이나 *bidirectional + multi-layer + undirected* 의 conceptual contribution 은 modern Transformer (bidirectional attention) 와 spirit 일치
+
+## 본 프로젝트 시사점
+
+> Paradigm 의 **bidirectional coupling + multi-layer graph energy** 의 가장 정교한 historical example. 비록 학습 방법은 deprecated 이지만 *모든 layer 가 graph energy 단위* 라는 구조가 paradigm 과 직접 정렬.
+
+### 모든 layer 가 graph 인 구조
+
+| Deep Boltzmann Machine | GraphLM Phase 14+ |
+|---|---|
+| 모든 layer 가 RBM (undirected) | 모든 block 이 `HybridGraphLinear` (Phase 14 full graph block) |
+| bidirectional coupling (`P(h¹|v, h²)` 양쪽 의존) | unidirectional residual stream (forward 만) |
+| Mean-field inference 의 multi-step | single forward pass |
+| layer-wise pre-training + joint fine-tune | end-to-end training (현재) — 단, Phase 16 후보의 *progressive growth* 는 layer-wise spirit 차용 |
+
+- **공통점**: *모든 layer 가 graph 표현 단위* 라는 구조 — Phase 14 의 full graph block 이 DBM 의 multi-layer RBM 구조와 conceptual 등가.
+- **차이점**: DBM 은 undirected + sampling, paradigm 은 directed + deterministic.
+
+### Phase 17 후보 (layer-wise 차등 prune) 의 DBM 관점
+
+- DBM 의 layer-wise pre-training 은 *layer 마다 다른 학습 동역학* 을 인정하는 접근.
+- Phase 17 후보 (attention vs FFN 별 다른 sparsity target) 도 같은 spirit — layer 마다 *capacity 필요량 다름* 가정.
+- DBM 의 *first/last RBM 의 weight doubling* (bidirectional boundary 보정) 은 paradigm 에서 *boundary layer (embedding, lm_head) 의 special handling* 영감 제공.
+
+### Inference complexity 의 교훈
+
+- DBM 의 mean-field inference 가 multi-step 인 이유 = bidirectional coupling 의 inference 비용.
+- Paradigm 이 *deterministic single forward* 를 유지하는 한 이 cost 회피 — DBM 의 lesson 은 *bidirectional 의 매력 vs 계산 비용 trade-off*.
+
+### 차용 가능 아이디어
+
+- **Layer-wise differentiation**: 같은 graph 구조라도 layer 마다 *서로 다른 prune/grow 정책* 적용 — Phase 17 의 motivation.
+- **Boundary layer 특수 처리**: paradigm 의 embedding 과 lm_head 는 hybrid linear 가 아님. DBM 의 1번째/마지막 layer 특수 보정과 같은 boundary handling 의 정당성.
+
+### 채택하지 않을 부분
+
+- Undirected + sampling 자체는 paradigm 에 도입 X (Transformer deterministic).
+- Mean-field iteration 의 multi-step inference 도 비채택 (계산 비용).
+- PCD 등 RBM-specific 학습 trick 도 비적용.
+
+### 후속 실험 가설
+
+- **Phase 17a (layer-wise prune)**: DBM 의 layer-wise spirit 를 차용해 *block 0 vs block N* 의 sparsity target 차등화. 가설: 깊은 layer 가 더 sparse 가능 (DBM 의 top RBM 이 더 abstract 표현).
+- **Phase 17b (boundary handling)**: embedding/lm_head 의 prune 정책을 hybrid block 과 차등화 — DBM 의 boundary doubling 처럼 special treatment.
+
+## 참고 / 인용
+
+- 공식 코드: Salakhutdinov 의 Matlab DBM toolkit (Toronto)
+- 관련 논문:
+  - [DBN (Hinton+Osindero+Teh 2006)](2006-dbn-hinton.md) — DBM 의 직전 단계
+  - [CD-1 (Hinton 2002)](2002-contrastive-divergence-hinton.md) — building block
+  - [BM 원조 (Ackley+Hinton+Sejnowski 1985)](1985-boltzmann-machine-hinton.md) — root
+  - [LiGO (Wang 2023)](../computation-graph/2023-ligo-wang.md) — DBM 의 layer-wise spirit 의 modern 형태
+- 본 프로젝트 내 인용 위치: layer-wise differentiation reference (Phase 17 후보, 향후)

From b86cf63311c0de422d98ab0cacde9985d0298d4f Mon Sep 17 00:00:00 2001
From: juhyuni <juhy0987@naver.com>
Date: Wed, 27 May 2026 10:18:30 +0900
Subject: [PATCH 2/2] =?UTF-8?q?[FIX]:=20=ED=94=BC=EB=93=9C=EB=B0=B1=20?=
 =?UTF-8?q?=EB=B0=98=EC=98=81,=203=20review=20(CD=20=EC=97=B0=EB=8F=84=20/?=
 =?UTF-8?q?=20prune=20=EB=93=B1=EA=B0=80=EC=84=B1=20/=20variational=20boun?=
 =?UTF-8?q?d=20=EA=B5=AC=EB=B6=84)?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

- gemini #3307828144 + Copilot #3307833931 (중복): 1986 Smolensky md 의 CD 연도 1985 → 2002 (Hinton 2002 가 contrastive divergence). BM 의 positive/negative phase rule (1985) 과 RBM 의 CD-1 (2002) 구분 명확화
- Copilot #3307833906: 1985 BM md 의 prune 등가성 — `w_ij → -∞` 는 강한 negative interaction (두 unit 동시 1 강하게 억제) 이라 mask=0 (contribution 0) 과 다름. `w_ij = 0` 으로 수정 + 추가 설명
- Copilot #3307833938: 2006 DBN md 의 variational bound vs function preservation 등가화 오류 — DBN의 bound 는 data likelihood lower bound 보장 (generative quality), Net2Net 의 FP 는 forward output 정확 보존 (학습 안정성). 다른 종류 보장으로 분리 + spirit 만 공통 유지
---
 .../energy-based/1985-boltzmann-machine-hinton.md  |  2 +-
 .../energy-based/1986-harmony-theory-smolensky.md  |  2 +-
 docs/papers/energy-based/2006-dbn-hinton.md        | 14 +++++++++-----
 3 files changed, 11 insertions(+), 7 deletions(-)

diff --git a/docs/papers/energy-based/1985-boltzmann-machine-hinton.md b/docs/papers/energy-based/1985-boltzmann-machine-hinton.md
index e723afc..8f7a903 100644
--- a/docs/papers/energy-based/1985-boltzmann-machine-hinton.md
+++ b/docs/papers/energy-based/1985-boltzmann-machine-hinton.md
@@ -72,7 +72,7 @@ cited_in: []
 
 ### dynamic 위상 변화의 BM 관점
 
-- Phase 15 의 edge prune (mask=0) 은 BM 에서 `w_ij → -∞` 시 `s_i, s_j` 간 interaction 차단과 등가.
+- Phase 15 의 edge prune (mask=0) 은 BM 에서 `w_ij = 0` (edge 자체 제거) 과 등가 — 두 unit 사이 contribution 정확히 0. (`w_ij → -∞` 는 다른 동작 — 두 unit 동시 1 강하게 억제하는 강한 음의 interaction 이라 prune 과 별개.)
 - BM 의 학습은 energy landscape 의 모양 자체를 학습 — paradigm 의 *topology + magnitude 동시 학습* 의 mathematical precursor.
 - **차용할 아이디어**: BM 의 positive/negative phase 의 contrastive 통계 → paradigm 에서 *학습된 connectivity 의 importance metric* 으로 활용 가능 (어떤 edge 가 data-driven activity 와 prior activity 의 차이가 큰가).
 
diff --git a/docs/papers/energy-based/1986-harmony-theory-smolensky.md b/docs/papers/energy-based/1986-harmony-theory-smolensky.md
index 4d213f2..8c081a5 100644
--- a/docs/papers/energy-based/1986-harmony-theory-smolensky.md
+++ b/docs/papers/energy-based/1986-harmony-theory-smolensky.md
@@ -31,7 +31,7 @@ cited_in: []
   - visible `v` (data dimension)
   - hidden `h` (latent feature)
   - weight `W` (only cross-layer)
-- 학습: 본 chapter 는 framework 정의가 주, 실용적 학습 알고리즘은 Hinton 1985 의 contrastive divergence 가 응용 (직접 학습 알고리즘 제시 X)
+- 학습: 본 chapter 는 framework 정의가 주, 직접적 학습 알고리즘 제시 없음. BM 의 positive/negative phase contrastive 규칙 (Hinton+Sejnowski 1985) 이 자연 적용 가능하나 계산 비용 막대. 실용적 RBM 학습은 후일 Hinton 2002 의 contrastive divergence (CD-1) 로 가능해짐.
 - 핵심 수식:
   $$ E(v, h) = -v^\top W h - a^\top v - b^\top h $$
   $$ P(v, h) = \frac{\exp(-E(v, h))}{Z}, \quad P(h_j = 1 | v) = \sigma(W_{:j}^\top v + b_j) $$
diff --git a/docs/papers/energy-based/2006-dbn-hinton.md b/docs/papers/energy-based/2006-dbn-hinton.md
index baed5b0..81d4962 100644
--- a/docs/papers/energy-based/2006-dbn-hinton.md
+++ b/docs/papers/energy-based/2006-dbn-hinton.md
@@ -65,16 +65,20 @@ cited_in: []
 |---|---|
 | RBM 1 학습 → freeze → RBM 2 학습 → ... | Net2Net/LiGO 식 layer 추가 후 학습 |
 | 각 layer 가 lower-layer 의 latent 표현을 새로 학습 | growth 후 신규 layer 가 기존 representation 보존하며 학습 |
-| function preservation 보장 (variational bound) | function preservation 보장 (Net2Net 의 핵심) |
+| **variational bound 보장** — 새 layer 가 data log-likelihood 의 lower bound 를 안 떨어뜨림 (generative quality 측면) | **function preservation 보장** — 새 unit 의 forward output 이 기존 함수와 정확히 같음 (Net2Net 의 핵심, 함수적 동치) |
 | greedy → 후속 fine-tune | growth → continued training |
 
 - **공통점**: 모델을 한 번에 학습 안 하고 **점진적 깊이/너비 확장 + 단계별 학습** 이라는 핵심 idea.
-- **차이점**: DBN 은 generative + unsupervised, modern growth (Net2Net/LiGO) 는 discriminative + supervised. DBN 의 pre-training 가치는 LLM era 의 BERT/GPT 의 unsupervised pre-training 으로 *재발견* 됨.
+- **차이점 (중요)**: DBN 의 *variational bound 개선* 과 Net2Net 의 *function preservation* 은 **다른 종류의 보장**:
+  - DBN: data likelihood 의 lower bound 가 worse 안 됨 (generative model 의 fit 측정 측면)
+  - Net2Net: 확장 직후 모델의 forward output 이 확장 전과 정확히 동일 (학습 안정성 측면)
+  - 둘 다 "확장이 안전하다" 의 다른 표현이지만 mathematical 의미는 분리해야 함.
+- DBN 은 generative + unsupervised, modern growth (Net2Net/LiGO) 는 discriminative + supervised. DBN 의 pre-training 가치는 LLM era 의 BERT/GPT 의 unsupervised pre-training 으로 *재발견* 됨.
 
-### Phase 16 (Net2Net/LiGO) 의 historical roots
+### Phase 16 (Net2Net/LiGO) 의 historical spirit
 
-- Phase 16 후보의 **function-preserving growth** 는 DBN 의 *layer 추가가 variational bound 를 깨지 않는다* 와 동일한 spirit.
-- DBN 은 "더 깊게 쌓아도 worse 아님" 의 첫 deep generative 증명. paradigm 의 Phase 16+ 의 *grow + shrink 로 capacity 동적 조정* 도 같은 가정에 의존.
+- DBN 과 Net2Net 의 보장 *종류* 는 다르나, "**확장 후에도 안전**" 이라는 spirit 은 공통 — 둘 다 paradigm 의 Phase 16+ *grow + shrink 로 capacity 동적 조정* 의 historical 근거.
+- DBN 은 "더 깊게 쌓아도 worse 아님" 의 첫 deep generative 증명. Net2Net 는 "더 wider/deeper 로 가도 forward 동일" 의 discriminative 증명. paradigm 은 후자에 직접 정렬.
 
 ### Energy + deep 의 관계