Document Specification // 1.0 REV: 2026-08-22

Thor / Strix Halo 模型組

適用於 NVIDIA Jetson Thor / AMD Ryzen AI Max+ 395 —— 同一份 Q4_K_M 權重兩台通用，換機器只換 llama.cpp build。

核心組 15.15 GB · 14 檔替代 6.59 GB · 8 檔驗證狀態：22/22 已通過

1.1記憶體預算分析儀 Memory Budget Analyzer

SCALE: 128 GB

0GB32GB64GB 96GB128GB

Total Memory Projection

— GB

權重（檔案實測） KV cache（理論值）執行時開銷（估）

上下文長度 32K

KV 格式

權重是檔案實際 byte 數；KV 是 §5 同一套算式的理論值；執行時開銷沒有理論值（每 process 的 CUDA context / buffer），~3 GB 為估值。 K3V3 檔位中不支援 TurboQuant 的五列（§6 ⛔）以 q8_0 計。

2.0核心組 Model File Manifest

每個網址都用 Range 抓過檔頭、解出 GGUF metadata 比對 architecture 與量化型別 —— 不只是 HTTP 200。

模型 (Name)	檔案 / Repo	大小 (Size)	檔頭實測 (Header)	狀態 (Status)
gemma-4-E4B-it 主 LLM	google_gemma-4-E4B-it-Q4_K_M.gguf bartowski/google_gemma-4-E4B-it-GGUF	5.41 GB	gemma4 Q4_K_M	已驗證
gemma-4-E2B-it router	google_gemma-4-E2B-it-Q4_K_M.gguf bartowski/google_gemma-4-E2B-it-GGUF	3.46 GB	gemma4 Q4_K_M	已驗證
Qwen3-ASR-1.7B ASR（含 mmproj，兩個都要）	Qwen3-ASR-1.7B-Q4_K_M.gguf foryoung365/Qwen3-ASR-1.7B-Q4_K_M-GGUF	1.28 GB	qwen3vl Q4_K_M	已驗證
Qwen3-ASR-1.7B ASR（含 mmproj，兩個都要）	mmproj-Qwen3-ASR-1.7B-Q4_K_M.gguf foryoung365/Qwen3-ASR-1.7B-Q4_K_M-GGUF	0.22 GB	clip Q4_K_M	已驗證
Qwen3.5-0.8B 小模型 / LoRA 宿主	Qwen3.5-0.8B-Q4_K_M.gguf YrD715/Qwen3.5-0.8B-Q4_K_M	0.53 GB	qwen35 Q4_K_M	已驗證
BGE-M3 記憶：embed 1/3（多語）	bge-m3-q4_k_m.gguf groonga/bge-m3-Q4_K_M-GGUF	0.44 GB	bert Q4_K_M	已驗證
granite-embedding-278m 記憶：embed 2/3（多語）	granite-embedding-278m-multilingual-Q4_K_M.gguf bartowski/granite-embedding-278m-multilingual-GGUF	0.22 GB	bert Q4_K_M	已驗證
granite-embedding-english-r2 記憶：embed 3/3（英文）	granite-embedding-english-r2.Q4_K_M.gguf mradermacher/granite-embedding-english-r2-GGUF	0.11 GB	modern-bert Q4_K_M	已驗證
ettin-reranker-68m 記憶：rerank 第一段	ettin-reranker-68m-v1-q4_k.gguf cstr/ettin-reranker-68m-v1-GGUF	0.05 GB	bert Q3_K_M	已驗證
Qwen3-Reranker-0.6B 記憶：rerank 第二段	qwen3-reranker-0.6b-q4_k_m.gguf dean2155/Qwen3-Reranker-0.6B-Q4_K_M-GGUF	0.40 GB	qwen3 Q4_K_M	已驗證
Qwen3-VL-2B-Instruct 視覺（官方 GGUF，含 mmproj）	Qwen3VL-2B-Instruct-Q4_K_M.gguf Qwen/Qwen3-VL-2B-Instruct-GGUF	1.11 GB	qwen3vl Q4_K_M	已驗證
Qwen3-VL-2B-Instruct 視覺（官方 GGUF，含 mmproj）	mmproj-Qwen3VL-2B-Instruct-Q8_0.gguf Qwen/Qwen3-VL-2B-Instruct-GGUF	0.45 GB	clip Q8_0	已驗證
Qwen3-TTS-12Hz-1.7B-Base TTS（ggml-org GGUF，含 mmproj）	Qwen3-TTS-12Hz-1.7B-Base-Q4_K_M.gguf ggml-org/Qwen3-TTS-12Hz-1.7B-Base-GGUF	1.04 GB	qwen3tts Q4_K_M	已驗證
Qwen3-TTS-12Hz-1.7B-Base TTS（ggml-org GGUF，含 mmproj）	mmproj-Qwen3-TTS-12Hz-1.7B-Base-Q8_0.gguf ggml-org/Qwen3-TTS-12Hz-1.7B-Base-GGUF	0.45 GB	clip Q8_0	已驗證

3.0替代方案 Alternatives

Embedding 與 rerank 本來就小；換的是模型不是精度。配對盡量同家 —— BGE-M3 配 bge-reranker-v2-m3，或 Qwen3-Embedding 配 Qwen3-Reranker；跨家分數尺度不同，門檻要重調。

模型 (Name)	檔案 / Repo	大小 (Size)	檔頭實測 (Header)	狀態 (Status)
Qwen3-VL-4B-Instruct 視覺 / 想換更強的視覺就用這顆	Qwen3-VL-4B-Instruct-Q4_K_M.gguf unsloth/Qwen3-VL-4B-Instruct-GGUF	2.50 GB	qwen3vl Q4_K_M	已驗證
Qwen3-VL-Embedding-2B embedding / 看得懂圖的 embedding，同家	Qwen.Qwen3-VL-Embedding-2B.Q4_K_M.gguf DevQuasar/Qwen.Qwen3-VL-Embedding-2B-GGUF	1.11 GB	qwen3vl Q4_K_M	已驗證
Qwen3-VL-Reranker-2B rerank / 看得懂圖的 reranker，配上面那顆	Qwen3-VL-Reranker-2B.Q4_K_M.gguf mradermacher/Qwen3-VL-Reranker-2B-GGUF	1.11 GB	qwen3vl Q4_K_M	已驗證
Qwen3-Embedding-0.6B embedding / MTEB 多語前段，1024 維	qwen3-embedding-0.6b-q4_k_m.gguf enacimie/Qwen3-Embedding-0.6B-Q4_K_M-GGUF	0.40 GB	qwen3 Q4_K_M	已驗證
embeddinggemma-300m embedding / 最小的一顆，Matryoshka 可截維	embeddinggemma-300m-q4_k_m.gguf sabafallah/embeddinggemma-300m-Q4_K_M-GGUF	0.24 GB	gemma-embedding Q4_K_M	已驗證
jina-embeddings-v3 embedding / 長文本 8K	jina-embeddings-v3-q4_k_m.gguf sabafallah/jina-embeddings-v3-Q4_K_M-GGUF	0.41 GB	jina-bert-v3 Q4_K_M	已驗證
bge-reranker-v2-m3 rerank / 跟 BGE-M3 同家，配一起最穩	bge-reranker-v2-m3-q4_k_m.gguf puppyM/bge-reranker-v2-m3-Q4_K_M-GGUF	0.44 GB	bert Q4_K_M	已驗證
mxbai-rerank-base-v2 rerank / 英文強，中文較弱	mxbai-rerank-base-v2-Q4_K_M.gguf sinjab/mxbai-rerank-base-v2-Q4_K_M-GGUF	0.40 GB	qwen2 Q4_K_M	已驗證

4.0下載 Acquisition

只用 curl 和 sha256sum，裸機可跑。每個檔下載後比對 sha256，對不上就 exit 1；已存在且校驗過的跳過，中斷可續傳。

curl -fsSL https://models.daedalus.work/download.sh -o download.sh
chmod +x download.sh

./download.sh ./models          # 核心組
./download.sh ./models --alts   # 連替代方案

download.sh · manifest.json · verified.json

sha256 的來源不能跟隨轉址取。 huggingface.co/…/resolve/… 回 302，其 X-Linked-ETag 才是檔案的 sha256；跟過去之後 Xet CDN 回 200 帶的 etag 是另一個東西（內容定址雜湊），拿它當 checksum 會讓每一個檔都驗不過，而且錯得很像對的。本頁的值取自 302。

5.0KV cache 矩陣 KV Matrix

KV = 2 × n_kv_heads × head_dim × tokens × bytes/elem，逐層加總。滑窗層封頂在 window，線性注意力層不計。幾何取自各模型 config.json。理論值，單位 GB。

KV 格式	B/elem	Runtime	4K	8K	16K	32K	64K	128K	256K
f16	2.0000	both	1.60	3.15	6.24	12.43	24.81	49.58	99.10
q8_0	1.0625	llama.cpp	0.85	1.67	3.32	6.61	13.18	26.34	52.65
q5_1	0.6875	llama.cpp	0.55	1.08	2.15	4.27	8.53	17.04	34.07
q4_1	0.6250	llama.cpp	0.50	0.98	1.95	3.89	7.75	15.49	30.97
q4_0	0.5625	llama.cpp	0.45	0.89	1.76	3.50	6.98	13.94	27.87
TurboQuant k8v4	0.7500	vLLM	0.60	1.18	2.34	4.66	9.31	18.59	37.16
TurboQuant 4bit_nc	0.5000	vLLM	0.40	0.79	1.56	3.11	6.20	12.39	24.78
TurboQuant k3v4_nc	0.4375	vLLM	0.35	0.69	1.37	2.72	5.43	10.85	21.68
TurboQuant K3V3	0.3750	vLLM	0.30	0.59	1.17	2.33	4.65	9.30	18.58

llama.cpp 的 --cache-type-k/v 最低到 4-bit，沒有 3-bit。TurboQuant 只在 vLLM （--kv-cache-dtype turboquant_*，需 0.20.2+），且只吃 plain GQA，不支援 sliding-window 與 hybrid attention。

5.1K3V3 逐模型 Per-model

模型	4K	8K	16K	32K	64K	128K	256K
Qwen3-VL-2B	0.088	0.176	0.352	0.705	1.409	2.819	5.637
Qwen3-ASR-1.7B	0.088	0.176	0.352	0.705	1.409	2.819	5.637
Qwen3-TTS talker	0.088	0.176	0.352	0.705	1.409	2.819	5.637
gemma-4-E4B full ⛔	0.011	0.022	0.044	0.088	0.176	0.352	0.705
gemma-4-E4B 滑窗 ⛔	0.007	0.007	0.007	0.007	0.007	0.007	0.007
gemma-4-E2B full ⛔	0.006	0.011	0.022	0.044	0.088	0.176	0.352
gemma-4-E2B 滑窗 ⛔	0.003	0.003	0.003	0.003	0.003	0.003	0.003
Qwen3.5-0.8B ⛔	0.009	0.019	0.038	0.075	0.151	0.302	0.604
算術下限	0.30	0.59	1.17	2.33	4.65	9.30	18.58

⛔ = TurboQuant 套不上（sliding-window 或 hybrid attention）。可套的三顆合計 32K 2.11 GB、128K 8.46 GB；其餘退 q8_0 的總量是 32K 2.73 GB、128K 10.84 GB。

6.0量化省下多少 Weight Savings

灰條是原始未量化權重，深藍是 Q4_K_M。兩邊都是實際檔案 byte 數 —— 原始值取自來源 repo 的權重檔加總，Q4 值含該模型需要的全部 gguf（主檔＋mmproj），不是用參數量推的。最後一列標「新增」—— 原本的七顆裡沒有它，沒有可比的「之前」，所以不計入省下的量。

gemma-4-E4B-it主 LLM−66%

5.41

15.99 GB

gemma-4-E2B-itrouter−66%

3.46

10.25 GB

Qwen3-TTS-1.7BTTS−67%

1.48

4.54 GB

Qwen3-ASR-1.7BASR−68%

1.50

4.70 GB

Qwen3-VL-2B視覺−64%

1.55

4.26 GB

BGE-M3embedding−81%

0.44

2.27 GB

Qwen3.5-0.8BLoRA 宿主−70%

0.53

1.75 GB

granite-embedding-278membed新增−61%

0.22

0.56 GB

granite-embedding-english-r2embed新增−64%

0.11

0.30 GB

Qwen3-Reranker-0.6Brerank新增−67%

0.40

1.19 GB

ettin-reranker-68mrerank新增−80%

0.05

0.27 GB

原本七顆 · 原始43.75 GB

原本七顆 · Q414.38 GB

省下29.38 GB · −67%

＋記憶檢索四顆0.78 GB

實際要下載15.15 GB

7.0總記憶體 Totals

Context	權重	KV q4_0	執行時	總計	KV K3V3	總計
8K	15.15	0.89	~3	19.0	0.70	18.9
16K	15.15	1.76	~3	19.9	1.38	19.5
32K	15.15	3.50	~3	21.6	2.73	20.9
64K	15.15	6.98	~3	25.1	5.43	23.6
128K	15.15	13.94	~3	32.1	10.84	29.0

K3V3 欄是可部署數字（⛔ 五列已退回 q8_0）。