[FEATURE] neuron Phase 16 — dynamic topology evolution (RigL regrow + Net2Net grow) [메인]

[juhy0987]

배경 (Phase 15 직후)

Phase 15 (PR #72 머지) 에서 edge prune (dynamic shrink) 도입 — paradigm 의 진짜 dynamic phase 첫 단계. 검증 결과:

• 30% prune almost-free (+0.041 loss), 70% 도 catastrophic cliff 없음 (+0.134)
• post-prune recovery curve 가 gradient resurrection 방지 메커니즘의 정확성을 학습 dynamics 차원에서 입증

Phase 15 의 graceful capacity scaling 가능성 → Phase 16 의 두 갈래 시도:

Sub-Phase	메커니즘	핵심 가설
16a (RigL/SET DST)	iterative prune + regrow, constant sparsity 유지	30% almost-free 구간이 topology 재할당 으로 50%+ 까지 확장 가능?
16b (Net2Net grow)	pruned slot 에 function-preserving 신규 edge 추가 (또는 shape 확장)	학습 중 capacity 동적 확장 가능? Phase 15 prune 의 반대 방향.

두 갈래 모두 paradigm 의 dynamic phase 의 다른 차원:

• 16a: within-shape dynamics (sparsity reallocation, total 일정)
• 16b: cross-shape dynamics (capacity expansion, total 변동)

Sub-issue 분할 (sub-issue Relation 활성화 예정)

• [FEATURE] neuron Phase 16a — RigL/SET-style edge regrow (constant sparsity DST) #76 (예정) — Phase 16a: RigL/SET-style edge regrow
• [FEATURE] neuron Phase 16b — Net2Net-style function-preserving grow (FFN expansion) #77 (예정) — Phase 16b: Net2Net-style function-preserving grow

각 sub-issue 가 별도 PR 로 진행. 본 메인 이슈는 두 sub-issue 모두 close 될 때 함께 close.

완료 조건

• Sub-issue 16a 머지 (RigL regrow + 노트북 + verdict)
• Sub-issue 16b 머지 (Net2Net grow + 노트북 + verdict)
• Notion Phase 16 종합 페이지 작성 (두 sub-phase 결과 통합)

관련

• Phase 15 PR [FEAT#71] neuron Phase 15 — sparsity-driven edge prune (정적 → 동적 위상 진입) #72 (edge prune foundation)
• DBN/DBM historical roots (PR [DOCS#73] Boltzmann machine 계열 논문 5편 정리 (energy-based 신규 카테고리) #74, energy-based papers)