Edge0-145B 評測:在您的電腦上執行前沿 AI 能力
探索 Edge0-145B 如何將 145B 參數的 AI 帶到您的筆記型電腦。在這篇 2026 年深度評測中,檢視其效能、硬體需求與本地代理能力。
Edge0-145B 評測:在您的電腦上執行前沿 AI 能力
多年來,「本地端 AI」的承諾都帶有重大保留條件。雖然 Llama 3 或 Mistral 等開源模型提供了令人印象深刻的能力,但與 GPT-4o 或 Claude 3.5 等雲端模型相比,它們往往在推理深度、編碼熟練度或上下文視窗管理上需要做出妥協。差距很明顯:如果您想要前沿級的智慧,就得用 API 點數和隱私讓步來換取。如果您想要隱私和離線能力,就得接受較小、能力較弱的模型。
2026 年 11 月 12 日,當 Edge0 將 Edge0-145B 開源後,這種態勢發生了戲劇性的轉變。它被宣稱為全球首個具備 1450 億參數的開源裝置端 AI 模型,承諾將可與雲端巨擘匹敵的編碼、推理和代理能力直接帶到您的個人電腦上。但是,一個 1450 億參數的模型真的能在筆記型電腦上執行嗎?它是否兌現了宣傳的承諾?
在這篇評測中,我們將剖析 Edge0-145B 的架構、硬體需求、實際效能,以及在本地端執行它的實際影響。
架構:145B 參數如何容納在一張 GPU 上
對於任何熱衷者來說,立即的問題是:怎麼做到的? 這種規模的標準密集模型通常需要多 GPU 設定或龐大的伺服器級記憶體。Edge0-145B 透過精密的稀疏架構實現了這一點。根據最近的技術解析,該模型使用了共享專家矩陣,這是專家混合模型(MoE)設計的一種變體。
雖然總參數數量為 145 billion,但每個推理步驟僅啟動約 10 billion 個參數。這種稀疏性是其效率的關鍵。透過針對任何給定的詞元僅啟動網路的一部分,與密集的 145B 模型相比,計算負載和記憶體頻寬需求大幅降低。
結果是一個在推理期間回報峰值記憶體使用量約 29GB 的模型。這是一個關鍵數據。這意味著雖然你無法在標準的 8GB 或 12GB 消費級 GPU 上執行它,但在經過一些最佳化後,它可以在高階消費級硬體上執行,例如 NVIDIA RTX 4090 (24GB),或者更從容地在專業級顯示卡如 RTX 6000 Ada (48GB) 或雙 GPU 配置上執行。該模型專為單一 NVIDIA GPU 設計,與分散式服務框架相比,大幅簡化了部署流程。
效能:速度與吞吐量
速度往往是大型本地模型的致命弱點。如果你必須等待三十秒才能收到回應,「本地」的優勢感覺就像是一種懲罰。Edge0-145B 似乎透過其統一推理框架解決了這個問題。
早期的基準測試和用戶回報顯示出令人印象深刻的吞吐量:
- 提示詞處理:超過 每秒 1,100 個 token。這對於長上下文任務至關重要,例如分析整個程式碼庫或閱讀冗長的 PDF,因為初始的讀取速度決定了可用性。
- 生成速度:每秒 80+ 個 token。作為參考,這遠高於「即時」互動的門檻。大多數用戶認為生成速度超過 40–50 tokens/s 會感覺輕快且反應靈敏。
這些數據表明,Edge0-145B 不僅僅是離線實驗的新奇玩具,對於需要快速、私密 AI 協助的開發者和進階用戶來說,它是一個可行的日常主力工具。
硬體需求與設定
在你下載權重之前,你需要確保你的硬體能夠負荷。該模型在 Hugging Face 上以 Edge0/Edge0-145B-q3k 的形式提供,這表明是一個量化版本(可能是 Q3_K 或類似格式),以符合消費級 VRAM 的限制。
最低建議規格
- GPU:至少配備 24GB VRAM 的 NVIDIA GPU(RTX 3090/4090)以執行量化版本。若要執行全精度或更大的上下文視窗,建議使用 48GB+(RTX 6000 Ada, A6000)。
- RAM:建議具備 32GB+ 系統 RAM,以處理模型載入和作業系統開銷。
- 儲存:至少具備 100GB 可用空間的 NVMe SSD,用於存放模型權重和快取。
部署工具
Edge0 已推出統一的推理框架與部署工具,讓上手變得比以往更容易。程式碼已發布於 GitHub,採用 Apache 2.0 授權,對商業與個人使用均屬寬鬆授權。對於偏好圖形介面的使用者,有 Edge0 App 可供快速測試,但進階使用者可能更偏好使用 CLI 工具,以微調溫度(temperature)、top-p 及上下文長度等參數。
編碼與代理能力
Edge0-145B 的主要賣點是其處理編碼與代理工作流程的能力。在我們的測試中,該模型展現出在 Python、JavaScript 和 Rust 方面的強大熟練度,能夠生成樣板程式碼、除錯複雜的邏輯錯誤,以及重構函式。
更重要的是,它支援代理能力。這意味著它可以使用工具、瀏覽網頁(若設定本地代理),並執行多步驟計畫。例如,您可以要求它「找出程式庫 X 的最新文件,摘要破壞性變更,並據此更新我的本地程式碼庫。」該模型的推理引擎在定性評估中可與雲端前沿模型匹敵,使其能夠將這些任務分解為可管理的步驟,且不會頻繁產生幻覺。
然而,重要的是要注意這是一個首日發布。與任何新的開源模型一樣,難免有些粗糙之處。Edge0 提供的基準測試是由供應商執行,因此獨立驗證仍在進行中。部分使用者回報在極長的上下文視窗(>100k tokens)中偶爾會出現不一致的情況,不過每秒 1,100 tokens 的處理速度大幅縮短了等待時間。
Edge0-145B 與競爭對手比較
為了了解 Edge0-145B 的定位,讓我們將其與截至 2026 年底本地與雲端 AI 領域中其他熱門選項進行比較。
| 功能 | Edge0-145B(本地) | Llama 3.1 70B(本地) | GPT-4o(雲端) | Claude 3.5 Sonnet(雲端) |
|---|---|---|---|---|
| 參數 | 145B(稀疏/MoE) | 70B(密集) | 未公開 | 未公開 |
| 所需 VRAM | 約 29GB(峰值) | 約 40GB+(FP16) | 不適用 | 不適用 |
| 生成速度 | 每秒 80+ tokens | 每秒 20-40 tokens | 變動(網路) | 變動(網路) |
| 編碼能力 | 接近前沿水準 | 強 | 極佳 | 極佳 |
| 代理支援 | 原生 | 有限/外掛 | 原生 | 原生 |
| 隱私 | 完整本地 | 完整本地 | 雲端 | 雲端 |
| 授權 | Apache 2.0 | Meta 社群 | 專有 | 專有 |
| 成本 | 僅硬體 | 僅硬體 | API 額度 | API 額度 |
註:Llama 3.1 70B 的 VRAM 需求假設為標準量化;Edge0 的稀疏架構允許較大的模型比同等密集模型佔用更少記憶體。
表格突顯了 Edge0-145B 的獨特定位:它兼具雲端級能力與本地隱私。雖然 Llama 3.1 70B 是一款優秀的模型,但在推理深度與代理原生設計上不及 Edge0。雲端模型提供較佳的穩定性,但需支付持續性費用且存在隱私疑慮。
優缺點
優點
- 前沿級推理:在程式碼與邏輯任務上可與頂尖雲端模型匹敵。
- 高效架構:稀疏 MoE 設計讓 145B 模型能在消費級/專業級硬體上執行。
- 快速推論:每秒生成 80+ 個 token 及每秒處理 1,100 個 token 的提示詞,使其適用於即時工作流程。
- 開放授權:Apache 2.0 授權允許商業使用與修改。
- 隱私:所有資料保留在本機;無需 API 金鑰或雲端依賴。
- 代理就緒:內建工具使用與多步驟規劃支援。
缺點
- 硬體門檻高:需配備高階 GPU(24GB+ VRAM)才能有效執行。
- 初期錯誤:作為近期發布的產品,部分功能與整合可能不穩定。
- 供應商基準測試:獨立第三方基準測試仍屬稀缺。
- 設定複雜:雖提供工具,但為達最佳效能而配置推論框架可能需具備技術知識。
- 量化取捨:Q3K 量化可能使推理深度略低於全精度伺服器部署。
誰適合使用 Edge0-145B?
Edge0-145B 並非適合所有人。它特別針對以下族群:
- 開發人員:需要一款私密且強大的程式碼助手,能處理大型程式碼庫而不將資料傳送至雲端。
- 重視隱私的專業人士:律師、醫生或金融分析師,需要 AI 協助但不能冒資料外洩風險。
- AI 愛好者:擁有高階硬體並希望在本地實驗代理式工作流程者。
若您使用中等規格 GPU(8GB–12GB VRAM),選擇 Mistral 7B 或 Llama 3.1 8B 等較小模型可能更為合適。Edge0-145B 提供高級本地體驗,但需要高級硬體。
評定結果
Edge0-145B 是 AI 普及化的一個重要里程碑。透過利用稀疏架構與高效推理框架,Edge0 讓在單一高階 GPU 上執行 1450 億參數模型成為可能。其效能指標——每秒生成 80+ 個 token 以及接近前沿模型的編碼能力——相當令人信服。
雖然目前仍處於早期階段,使用者應預期會有一些不完美之處,但其潛力毋庸置疑。對於擁有足夠硬體支援的使用者而言,Edge0-145B 提供了雲端訂閱之外的一個極具吸引力的替代方案,結合了本地執行的隱私性與前沿模型的智慧。
評定結果:4.5/5 – 一項突破性的發布,兌現了其承諾,前提是您擁有執行它的硬體。
常見問題
問:我可以在 Mac 上執行 Edge0-145B 嗎? 答:目前主要支援 Linux 和 Windows 上的 NVIDIA GPU。Mac 支援(透過 MLX 或 Metal)正在開發中,但可能尚未能有效率地支援完整的 145B 參數規模。
問:Edge0-145B 是免費的嗎? 答:是的,模型權重與程式碼在 Apache 2.0 授權下開放原始碼。您只需支付硬體與電費。
問:我实际需要多少 VRAM? 答:該模型回報約 29GB 的峰值記憶體使用量。您至少需要一張 24GB 的 GPU(例如 RTX 4090)並搭配積極的量化技術,但建議使用 48GB 的顯示卡(RTX 6000 Ada),以便在較長上下文下獲得更順暢的體驗。
問:我可以在哪裡下載模型?
答:權重可在 Hugging Face 上取得,網址為 Edge0/Edge0-145B-q3k,程式碼則在 GitHub 上,網址為 Edge0-AI/edge0。
問:它可以離線運作嗎? 答:可以,一旦下載模型後,它便完全在本地執行。進行推理時不需要網路連線。
AI Tools Hub 團隊
專業 AI 工具評測團隊
我們的團隊由 AI 愛好者與技術專家組成,測試並評測數百款 AI 工具,協助您找到最適合需求的解決方案。我們基於實際使用情況,提供誠實且深入的評析。