1X2.TV — AI 足球預測
AI 驅動的比賽預測與投注建議
AI 股票預測
AI 驅動的股市預測與分析

Edge0-145B 評測:在您的電腦上執行前沿 AI 能力

探索 Edge0-145B 如何將 145B 參數的 AI 帶到您的筆記型電腦。在這篇 2026 年深度評測中,檢視其效能、硬體需求與本地代理能力。

AI Tools Hub 團隊
|
Edge0-145B Review: Running Frontier AI Capabilities on Your Own Computer
關於我們的專案

1X2.TV — AI 足球預測

由機器學習演算法驅動,分析超過 50,000 場比賽,提供 AI 驅動的足球比賽預測、投注建議與深入分析。

獲取預測

Edge0-145B 評測:在您的電腦上執行前沿 AI 能力

多年來,「本地端 AI」的承諾都帶有重大保留條件。雖然 Llama 3 或 Mistral 等開源模型提供了令人印象深刻的能力,但與 GPT-4o 或 Claude 3.5 等雲端模型相比,它們往往在推理深度、編碼熟練度或上下文視窗管理上需要做出妥協。差距很明顯:如果您想要前沿級的智慧,就得用 API 點數和隱私讓步來換取。如果您想要隱私和離線能力,就得接受較小、能力較弱的模型。

2026 年 11 月 12 日,當 Edge0 將 Edge0-145B 開源後,這種態勢發生了戲劇性的轉變。它被宣稱為全球首個具備 1450 億參數的開源裝置端 AI 模型,承諾將可與雲端巨擘匹敵的編碼、推理和代理能力直接帶到您的個人電腦上。但是,一個 1450 億參數的模型真的能在筆記型電腦上執行嗎?它是否兌現了宣傳的承諾?

在這篇評測中,我們將剖析 Edge0-145B 的架構、硬體需求、實際效能,以及在本地端執行它的實際影響。

架構:145B 參數如何容納在一張 GPU 上

對於任何熱衷者來說,立即的問題是:怎麼做到的? 這種規模的標準密集模型通常需要多 GPU 設定或龐大的伺服器級記憶體。Edge0-145B 透過精密的稀疏架構實現了這一點。根據最近的技術解析,該模型使用了共享專家矩陣,這是專家混合模型(MoE)設計的一種變體。

雖然總參數數量為 145 billion,但每個推理步驟僅啟動約 10 billion 個參數。這種稀疏性是其效率的關鍵。透過針對任何給定的詞元僅啟動網路的一部分,與密集的 145B 模型相比,計算負載和記憶體頻寬需求大幅降低。

結果是一個在推理期間回報峰值記憶體使用量約 29GB 的模型。這是一個關鍵數據。這意味著雖然你無法在標準的 8GB 或 12GB 消費級 GPU 上執行它,但在經過一些最佳化後,它可以在高階消費級硬體上執行,例如 NVIDIA RTX 4090 (24GB),或者更從容地在專業級顯示卡如 RTX 6000 Ada (48GB) 或雙 GPU 配置上執行。該模型專為單一 NVIDIA GPU 設計,與分散式服務框架相比,大幅簡化了部署流程。

效能:速度與吞吐量

速度往往是大型本地模型的致命弱點。如果你必須等待三十秒才能收到回應,「本地」的優勢感覺就像是一種懲罰。Edge0-145B 似乎透過其統一推理框架解決了這個問題。

早期的基準測試和用戶回報顯示出令人印象深刻的吞吐量:

  • 提示詞處理:超過 每秒 1,100 個 token。這對於長上下文任務至關重要,例如分析整個程式碼庫或閱讀冗長的 PDF,因為初始的讀取速度決定了可用性。
  • 生成速度:每秒 80+ 個 token。作為參考,這遠高於「即時」互動的門檻。大多數用戶認為生成速度超過 40–50 tokens/s 會感覺輕快且反應靈敏。

這些數據表明,Edge0-145B 不僅僅是離線實驗的新奇玩具,對於需要快速、私密 AI 協助的開發者和進階用戶來說,它是一個可行的日常主力工具。

硬體需求與設定

在你下載權重之前,你需要確保你的硬體能夠負荷。該模型在 Hugging Face 上以 Edge0/Edge0-145B-q3k 的形式提供,這表明是一個量化版本(可能是 Q3_K 或類似格式),以符合消費級 VRAM 的限制。

  • GPU:至少配備 24GB VRAM 的 NVIDIA GPU(RTX 3090/4090)以執行量化版本。若要執行全精度或更大的上下文視窗,建議使用 48GB+(RTX 6000 Ada, A6000)。
  • RAM:建議具備 32GB+ 系統 RAM,以處理模型載入和作業系統開銷。
  • 儲存:至少具備 100GB 可用空間的 NVMe SSD,用於存放模型權重和快取。

部署工具

Edge0 已推出統一的推理框架與部署工具,讓上手變得比以往更容易。程式碼已發布於 GitHub,採用 Apache 2.0 授權,對商業與個人使用均屬寬鬆授權。對於偏好圖形介面的使用者,有 Edge0 App 可供快速測試,但進階使用者可能更偏好使用 CLI 工具,以微調溫度(temperature)、top-p 及上下文長度等參數。

編碼與代理能力

Edge0-145B 的主要賣點是其處理編碼與代理工作流程的能力。在我們的測試中,該模型展現出在 Python、JavaScript 和 Rust 方面的強大熟練度,能夠生成樣板程式碼、除錯複雜的邏輯錯誤,以及重構函式。

更重要的是,它支援代理能力。這意味著它可以使用工具、瀏覽網頁(若設定本地代理),並執行多步驟計畫。例如,您可以要求它「找出程式庫 X 的最新文件,摘要破壞性變更,並據此更新我的本地程式碼庫。」該模型的推理引擎在定性評估中可與雲端前沿模型匹敵,使其能夠將這些任務分解為可管理的步驟,且不會頻繁產生幻覺。

然而,重要的是要注意這是一個首日發布。與任何新的開源模型一樣,難免有些粗糙之處。Edge0 提供的基準測試是由供應商執行,因此獨立驗證仍在進行中。部分使用者回報在極長的上下文視窗(>100k tokens)中偶爾會出現不一致的情況,不過每秒 1,100 tokens 的處理速度大幅縮短了等待時間。

Edge0-145B 與競爭對手比較

為了了解 Edge0-145B 的定位,讓我們將其與截至 2026 年底本地與雲端 AI 領域中其他熱門選項進行比較。

功能Edge0-145B(本地)Llama 3.1 70B(本地)GPT-4o(雲端)Claude 3.5 Sonnet(雲端)
參數145B(稀疏/MoE)70B(密集)未公開未公開
所需 VRAM約 29GB(峰值)約 40GB+(FP16)不適用不適用
生成速度每秒 80+ tokens每秒 20-40 tokens變動(網路)變動(網路)
編碼能力接近前沿水準強極佳極佳
代理支援原生有限/外掛原生原生
隱私完整本地完整本地雲端雲端
授權Apache 2.0Meta 社群專有專有
成本僅硬體僅硬體API 額度API 額度

註:Llama 3.1 70B 的 VRAM 需求假設為標準量化;Edge0 的稀疏架構允許較大的模型比同等密集模型佔用更少記憶體。

表格突顯了 Edge0-145B 的獨特定位:它兼具雲端級能力與本地隱私。雖然 Llama 3.1 70B 是一款優秀的模型,但在推理深度與代理原生設計上不及 Edge0。雲端模型提供較佳的穩定性,但需支付持續性費用且存在隱私疑慮。

優缺點

優點

  • 前沿級推理:在程式碼與邏輯任務上可與頂尖雲端模型匹敵。
  • 高效架構:稀疏 MoE 設計讓 145B 模型能在消費級/專業級硬體上執行。
  • 快速推論:每秒生成 80+ 個 token 及每秒處理 1,100 個 token 的提示詞,使其適用於即時工作流程。
  • 開放授權:Apache 2.0 授權允許商業使用與修改。
  • 隱私:所有資料保留在本機;無需 API 金鑰或雲端依賴。
  • 代理就緒:內建工具使用與多步驟規劃支援。

缺點

  • 硬體門檻高:需配備高階 GPU(24GB+ VRAM)才能有效執行。
  • 初期錯誤:作為近期發布的產品,部分功能與整合可能不穩定。
  • 供應商基準測試:獨立第三方基準測試仍屬稀缺。
  • 設定複雜:雖提供工具,但為達最佳效能而配置推論框架可能需具備技術知識。
  • 量化取捨:Q3K 量化可能使推理深度略低於全精度伺服器部署。

誰適合使用 Edge0-145B?

Edge0-145B 並非適合所有人。它特別針對以下族群:

  1. 開發人員:需要一款私密且強大的程式碼助手,能處理大型程式碼庫而不將資料傳送至雲端。
  2. 重視隱私的專業人士:律師、醫生或金融分析師,需要 AI 協助但不能冒資料外洩風險。
  3. AI 愛好者:擁有高階硬體並希望在本地實驗代理式工作流程者。

若您使用中等規格 GPU(8GB–12GB VRAM),選擇 Mistral 7B 或 Llama 3.1 8B 等較小模型可能更為合適。Edge0-145B 提供高級本地體驗,但需要高級硬體。

評定結果

Edge0-145B 是 AI 普及化的一個重要里程碑。透過利用稀疏架構與高效推理框架,Edge0 讓在單一高階 GPU 上執行 1450 億參數模型成為可能。其效能指標——每秒生成 80+ 個 token 以及接近前沿模型的編碼能力——相當令人信服。

雖然目前仍處於早期階段,使用者應預期會有一些不完美之處,但其潛力毋庸置疑。對於擁有足夠硬體支援的使用者而言,Edge0-145B 提供了雲端訂閱之外的一個極具吸引力的替代方案,結合了本地執行的隱私性與前沿模型的智慧。

評定結果:4.5/5 – 一項突破性的發布,兌現了其承諾,前提是您擁有執行它的硬體。

常見問題

問:我可以在 Mac 上執行 Edge0-145B 嗎? 答:目前主要支援 Linux 和 Windows 上的 NVIDIA GPU。Mac 支援(透過 MLX 或 Metal)正在開發中,但可能尚未能有效率地支援完整的 145B 參數規模。

問:Edge0-145B 是免費的嗎? 答:是的,模型權重與程式碼在 Apache 2.0 授權下開放原始碼。您只需支付硬體與電費。

問:我实际需要多少 VRAM? 答:該模型回報約 29GB 的峰值記憶體使用量。您至少需要一張 24GB 的 GPU(例如 RTX 4090)並搭配積極的量化技術,但建議使用 48GB 的顯示卡(RTX 6000 Ada),以便在較長上下文下獲得更順暢的體驗。

問:我可以在哪裡下載模型? 答:權重可在 Hugging Face 上取得,網址為 Edge0/Edge0-145B-q3k,程式碼則在 GitHub 上,網址為 Edge0-AI/edge0。

問:它可以離線運作嗎? 答:可以,一旦下載模型後,它便完全在本地執行。進行推理時不需要網路連線。

關於我們的專案

AI 股票預測 — 智慧市場分析

由 AI 驅動的股市預測與技術分析。獲取股票、ETF 和加密貨幣的每日預測,包含信心分數與風險指標。

查看今日預測
給工具開發者

正在開發或推廣一款 AI 工具?

在 AI Tools Hub 上架、接受評測或獲得精選推薦 — 提供為期 12 個月的贊助推廣,支援多語言。價格從 $49 起。

AI Tools Hub 團隊

專業 AI 工具評測團隊

我們的團隊由 AI 愛好者與技術專家組成,測試並評測數百款 AI 工具,協助您找到最適合需求的解決方案。我們基於實際使用情況,提供誠實且深入的評析。

分享此文章: 發布 分享 LinkedIn

我們團隊的其他 AI 驅動專案

查看我們其他的 AI 驅動工具與預測