LLM을 위한 아키텍처 기술 언어(ADL)
EulerStack은 LLM을 위한 아키텍처 기술 언어(Architecture Description Language)입니다. 구조·학습·서빙이 뒤엉켜 있는 파이썬 모델 파일에서 "아키텍처"만 분리해, 전용 선언형 언어로 기술합니다 — 반도체 업계가 schematics+C를 Verilog/VHDL로 대체했던 추상화 단계와 같은 방향입니다. 선언형 YAML 스펙 한 장이 5계층 파이프라인(DSL → Schema → IR → Compiler → CLI)을 거쳐 검증·정규화·컴파일되고, compile --output-dir은 바로 HuggingFace 모델 디렉토리(config.json + model.safetensors)를 생성해 EulerForge 학습으로 인계합니다. 57개 프리셋(24 llm_ + 33 arch_, 그중 arch_expert_*_mini 9개)이 3단 학습 경로(검증된 산업 표준 → 최근 하이브리드/MoE → v1 실험 프리미티브)를 따라 정리되어 있고, 모든 CLI 메시지는 5개 언어(ko/en/zh/ja/es)로 번역됩니다. v0.1.5는 μP 스케일링(training_hints.scaling), 분화 보조목적(training_hints.differentiation_objectives), 조직 선언(tissue)을 backward-compatible 스펙 확장으로 추가했습니다 — 모두 default OFF이며 기존 v0.1.4 YAML은 무수정 호환됩니다.
이름 있는 레이어 템플릿(mixer + FFN + norm + residual)을 정의하고, 스케줄로 배치 순서와 반복 횟수를 지정합니다.
| 믹서 타입 | Attention, Mamba, RetNet, Hyena |
|---|---|
| FFN 타입 | MLP, Gated MLP (SwiGLU), MoE (top-k 라우팅) |
| Norm | RMSNorm, LayerNorm (pre/post 위치) |
| Residual | Sequential, Parallel, Hyper-Connection (mHC) |
| Head | causal_lm, causal_lm_mtp (Multi-Token Prediction) |
스키마 구조 검증 → 교차 필드 호환성 → 휴리스틱 리얼리즘의 3단계로 설계 오류를 사전에 차단합니다. 모든 에러는 3줄 포맷(Category: what / Fix: / See:)으로 출력됩니다.
| 구조 검증 | unknown key, 타입/enum, 필수 필드, 양수 제약 |
|---|---|
| 호환성 | mixer↔state 불일치 (예: mamba + kv_cache 금지) |
| 리얼리즘 | head_dim 범위(32–256), target_params 오차(>30%), MoE 전문가 비율, seq_len/d_model 비율, family_hint 일관성, vocab/tokenizer 일관성, tie_weight 일관성, rope_scaling 범위 |
| 에러 카테고리 | ValidationError, CompatibilityError, CompileError, NormalizationError |
10줄 남짓의 선언형 스펙으로 모델의 형태를 완전히 기술할 수 있습니다.
v0.1.5 스펙 확장 (선택, default OFF) — μP 스케일링·분화 보조목적·조직(tissue) 선언:
v1 "industrial ordering principle"에 따라 검증된 산업 표준 → 최근 하이브리드/MoE → v1 실험 프리미티브 순으로 정리되어 있습니다. 학습 경로를 그대로 따라가면 됩니다 — 업계가 이미 검증한 것부터 시작해, 최신 하이브리드/MoE 연구를 거쳐, 마지막으로 v1에서 도입한 새 프리미티브(MLA / MoD / Titans / Dual-Stream 등)를 arch-스케일로 실험합니다. 총 24 llm_ + 33 arch_ = 57개 (33 arch_ = beginner 2 · intermediate 3 · advanced 5 · expert 23, expert 중 *_mini 9개). 프리셋은 출발점일 뿐이며 d_model/n_heads/레이어 수를 조정해 임의 스케일의 모델을 조립할 수 있습니다.
실패 모드가 잘 알려진 프로덕션급 베이스라인. 0.1B (Stage-1 / CPT warm-up)부터 16B까지 안정적으로 학습됩니다.
| 프리셋 | ~파라미터 | 한줄 설명 | 연구 근거 |
|---|---|---|---|
arch_beginner_gpt2 | ~1.1B | Classic Transformer (MHA + LayerNorm post + GeLU) | Vaswani 2017, GPT-2 |
arch_beginner_llama | ~1.1B | Modern baseline (GQA + RMSNorm pre + SwiGLU) | Llama 2/3 |
arch_intermediate_mistral | ~1.3B | 1 global : 3 sliding attention | Mistral 7B |
arch_intermediate_gemma2 | ~1.3B | 1:1 alternating global/local | Gemma 2 |
arch_intermediate_qwen_longctx | ~1.3B | RoPE scaling factor 4, 32K ctx | Qwen 2/3 |
llm_0p1b_{simple,mistral} | ~100M | Stage-1 / CPT warm-up | Sovereign-foundation 파일럿 |
llm_*_simple (0.8B–16B) | 0.8B–16B | 순수 Attention (Llama) | — |
llm_*_mistral (0.8B–16B) | 0.8B–16B | Attention + Sliding Window | Mistral 7B |
연구 합의가 형성된, 프로덕션에서 돌아가고 있는 조합. 24GB GPU에서 실험이 돌아가도록 d_model을 축소했습니다. Expert 레벨은 MoE × 믹서 × 깊이/수용 영역의 3차원 설계 공간으로 확장되어 있고, 4개는 논문으로 아직 발표되지 않은 speculative 조합입니다.
| 레벨 | 프리셋 | ~파라미터 | 한줄 설명 | 연구 근거 |
|---|---|---|---|---|
| advanced | arch_advanced_jamba | ~1.2B | Mamba + Attention 3:1 하이브리드 | Jamba-1.5 (AI21 2024) |
| advanced | arch_advanced_samba | ~1.0B | Mamba + Sliding attention 1:1 | Samba (Microsoft 2024) |
| advanced | arch_advanced_retnet | ~1.3B | Pure RetNet (attention-free) | Sun 2023 |
| advanced (v1 B2.1) | arch_advanced_mla | ~1.1B | MLA — KV를 latent_dim으로 압축 | DeepSeek-V3 (2024) |
| advanced (v1 B3.1) | arch_advanced_mod | ~1.1B | Mixture-of-Depths (토큰 단위 레이어 스킵) | Raposo ICML 2024 |
| expert | arch_expert_research | ~1.5B | 4 mixers + MoE 3-phase | Research-grade |
| expert | arch_expert_mixtral_moe | ~1.9B | Pure attn + every-layer MoE (8 × top-2) | Mixtral 8x7B (2024) |
| expert | arch_expert_striped_hyena | ~1.0B | Hyena + Attention 4:1, 128K | StripedHyena |
| expert | arch_expert_blackmamba_moe | ~1.5B | Mamba + MoE (non-attn mixer에 MoE) | BlackMamba, MoE-Mamba |
| expert | arch_expert_deepseek_moe | ~2.0B | Fine-grained MoE (32 × top-3) | DeepSeek-V2/V3 (2024) |
| expert NEW | arch_expert_dsv4_v3fallback | ~2.0B | DeepSeek-V4 스키마 (V3 fallback 경로) | DeepSeek-V3/V4 |
| expert (speculative) | arch_expert_retnet_moe | ~1.5B | RetNet + MoE (논문 없음) | Sun 2023 + MoE 외삽 |
| expert (speculative) | arch_expert_frontier_full_moe | ~2.0B | Attention-free, multi-mixer + all-MoE (가장 speculative) | 조합 예측 |
| expert (speculative) | arch_expert_progressive_stack | ~1.5B | 깊이 방향 hyena→mamba→retnet→attn+MoE (논문 없음) | 계층적 예측 |
| expert (speculative) | arch_expert_dilated_longnet | ~2.0B | 시간 피라미드: mamba+sw(1K→4K→16K)+global+MoE (논문 없음) | Longnet + Jamba 외삽 |
| expert (capstone) | arch_expert_kitchen_sink | — | 가능한 모든 프리미티브를 한 스펙에 결합한 최대치 검증 | 종합 검증용 |
v1에서 도입된 Phase B 프리미티브를 arch-스케일(~1.2–1.4B)에서 실험하는 프리셋입니다. 스키마는 완전하며, 런타임은 부분 구현(미구현 믹서는 컴파일러가 표준 블록으로 fallback하지만, 풀 스펙 메타데이터는 config.v1_extensions로 round-trip 됩니다). "YAML에 Phase B 프리미티브를 선언하고 컴파일해, HF 커스텀 모델로 저장"이라는 경로를 체험합니다.
| 프리셋 | ~파라미터 | 한줄 설명 | 연구 근거 |
|---|---|---|---|
arch_expert_reasoning_r1 | ~1.3B | 2-phase reasoning (think / answer) | DeepSeek-R1 (2025), Quiet-STaR |
arch_expert_titans_memory | ~1.2B | Parametric memory + test-time update | Titans (Google 2024–2025) |
arch_expert_dual_stream | ~1.4B | Monoidal parallel (Mamba ∥ Attention) | Jamba × PaLM 일반화 |
arch_expert_*_mini — 소규모 speculative 실험 (9개, ~80M–360M)speculative expert 아키텍처의 소규모 변형입니다. 동일한 설계 아이디어를 유지한 채 d_model 384–512, 약 12 레이어로 축소해 단일 소비자용 GPU에서 전체 훈련 ablation이 가능합니다. 2B 풀 학습 이전에 아키텍처 가설을 빠르게 검증하기 위한 용도입니다. arch_expert_progressive_stack_mini가 권장 첫 실험입니다.
| 프리셋 | ~Total | ~Active | Mirror of | 교육적 역할 |
|---|---|---|---|---|
arch_expert_progressive_stack_mini | ~86M | ~86M | arch_expert_progressive_stack | 권장 첫 실험 |
arch_expert_blackmamba_moe_mini | ~156M | ~90M | arch_expert_blackmamba_moe | SSM 위의 partial-sparse MoE |
arch_expert_mixtral_moe_mini | ~175M | ~90M | arch_expert_mixtral_moe | 고전 every-layer MoE 베이스라인 |
arch_expert_dilated_longnet_mini | ~83M | ~75M | arch_expert_dilated_longnet | 롱컨텍스트 시간 피라미드 |
arch_expert_deepseek_moe_mini | ~357M | ~60M | arch_expert_deepseek_moe | ⚠ fine-grained MoE 실패 관찰 |
arch_expert_frontier_full_moe_mini | ~106M | ~60M | arch_expert_frontier_full_moe | ⚠ 가장 실험적; 실패 예상 |
arch_expert_dsv4_flash_mini NEW | ~180M | ~70M | DeepSeek-V4 | DSv4 + Flash/NSA 압축 어텐션 |
arch_expert_dsv4_subset_mini NEW | ~180M | ~70M | DeepSeek-V4 | DSv4 기능 서브셋 |
arch_expert_mhc_moe_mini NEW | ~150M | ~70M | mHC + MoE | multi-Hyper-Connection 잔차 + MoE |
llm_ — 사이즈 × 아키텍처 변형 (24개)5개 사이즈(0.1B / 0.8B / 2B / 4B / 16B) × 5개 변형(simple / mistral / jamba / moe / mla). 0.1B에서는 moe가 생략됩니다.
| 스케일 | simple | mistral | jamba | moe | mla |
|---|---|---|---|---|---|
| 0.1B | llm_0p1b_simple | llm_0p1b_mistral | llm_0p1b_jamba | — | llm_0p1b_mla |
| 0.8B | llm_0p8b_simple | llm_0p8b_mistral | llm_0p8b_jamba | llm_0p8b_moe | llm_0p8b_mla |
| 2B | llm_2b_simple | llm_2b_mistral | llm_2b_jamba | llm_2b_moe | llm_2b_mla |
| 4B | llm_4b_simple | llm_4b_mistral | llm_4b_jamba | llm_4b_moe | llm_4b_mla |
| 16B | llm_16b_simple | llm_16b_mistral | llm_16b_jamba | llm_16b_moe | llm_16b_mla |
변형 시맨틱: simple = 순수 Attention(Llama) · mistral = Attention + Sliding Window(4레이어당 1 global : 3 sliding) · jamba = Mamba+Attention 하이브리드(3:1) · moe = Attention + MoE FFN(4레이어당 1개, 8 experts, top-2) · mla = Multi-head Latent Attention (DeepSeek-V3 스타일 KV 압축).
상한 없음 — 프리셋은 출발점일 뿐입니다. EulerStack은 d_model, n_heads, 레이어 수를 편집해 임의 스케일의 모델을 조립할 수 있습니다.
eulerwa 제품군 공통 CLI 컨벤션을 따릅니다. 모든 오류는 3줄 포맷(Category: what / Fix: / See:)으로 출력됩니다.
validate |
YAML 스펙 검증 (--report로 리얼리즘 보고서 포함) |
|---|---|
explain |
모델 구조 요약 (레이어, 파라미터 추정) |
compile |
IR → JSON 런타임 설정(--output) 또는 HF 모델 디렉토리(--output-dir) 출력 |
schema |
YAML 스키마 구조 출력 |
presets list / show |
프리셋 목록 및 상세 정보 조회 |
--lang |
출력 언어(ko/en/zh/ja/es). 루트 옵션이며 기본값은 ko |
|---|---|
--preset |
YAML 스펙 파일 경로 |
--validate-only |
검증만 수행하고 종료 |
--output / -o |
JSON 런타임 설정 출력 경로 |
--output-dir |
HF 모델 디렉토리 출력 (config.json + model.safetensors) |
--print-config / --dry-run |
설정만 stdout 출력 |
모든 CLI help/로그/경고/오류 메시지는 ko / en / zh / ja / es 5개 언어로 번역됩니다. 기본 언어는 한국어(ko)이며, --lang 루트 옵션 또는 환경변수 EULERSTACK_LANG으로 전환할 수 있습니다. 명령/옵션 이름과 3줄 에러 포맷의 Fix: / See: 레이블은 번역하지 않아 스크립트 호환성이 유지됩니다.
compile --output-dir는 config.json과 model.safetensors를 생성해 HuggingFace 호환 모델 디렉토리를 만듭니다. 이것이 EulerForge 학습 파이프라인으로 넘기는 주요 경로입니다.
YAML 스펙에서 학습 가능한 모델까지, 5개 계층이 각 단계의 책임을 엄격히 분리합니다.
| Layer 1: DSL | 사용자가 작성하는 YAML 스펙 (schema_version 1, 선언형 모델 정의) |
|---|---|
| Layer 2: Schema | 구조 검증 — unknown key, 타입/enum, 필수 필드, 교차 필드 호환성 |
| Layer 3: IR | 정규화된 Canonical 구조 표현 (기본값 채움, 템플릿 확장) |
| Layer 4: Compiler | IR → JSON 런타임 설정 또는 HF 모델 디렉토리(config.json + model.safetensors) — AutoModelForCausalLM.from_pretrained()로 로드해 EulerForge 학습으로 연결 |
| Layer 5: CLI | validate / explain / compile / schema / presets — 모두 5개 언어 i18n 적용 |
튜토리얼은 한국어(ko)와 영어(en)로 병행 제공되며, 본 홈페이지의 /products/eulerstack/tutorials/에서 바로 읽을 수 있습니다(상위 저장소 경로: docs/tutorials/{ko,en}/).
00_positioning | 먼저 읽어야 할 글 — EulerStack의 자리: LLM을 위한 아키텍처 기술 언어(ADL) |
|---|---|
01_validate_a_spec | YAML 스펙 검증하기 |
02_use_presets | 프리셋 사용하기 |
03_spec_reference | 스펙 레퍼런스 |
04_compile_and_explain | Compile & explain |
05_prepare_data | 학습 데이터 준비 |
06_sanity_train | Sanity 훈련 루프 |
07_arch_walkthrough | 스킬 레벨 아키텍처 워크스루 (arch_ 프리셋 투어) |
08_expert_mini_walkthrough | Expert Mini 프리셋 워크스루 (단일 GPU ablation) |
09_new_primitives_walkthrough | NEW — v1 Phase B 신규 프리미티브 (MLA / Titans / MoD / Dual-Stream / Neural-ODE / TTT) |
10_paper_to_yaml | NEW — 논문 → YAML 포팅 사례 (DeepSeek-V3 / Jamba / DeepSeek-R1 / Titans) |
mixers/, 5편)00_overview | 믹서 개념 개요 — attention / mamba / retnet / hyena를 왜 섞는가 |
|---|---|
01_attention | Attention 상세 |
02_mamba | Mamba 상세 |
03_retnet | RetNet 상세 |
04_hyena | Hyena 상세 |
YAML 한 장으로 Attention, Mamba, RetNet, Hyena, MoE를 조합한 하이브리드 모델을 조립하고 HuggingFace 모델 디렉토리로 바로 넘기세요.
GitHub에서 시작하기