輝達最新:GeForce RTX 50 搭載 DeepSeek 加速推理模型在 PC 電腦本地運行
美中 AI 大戰持續燃燒,當川普選擇了 OpenAI 做為戰略夥伴時, DeepSeek 忽然異軍突起空降全球,其中的核心競爭力「推理模型」依然是靠著輝達的 GPU 馬力加速完成,迅速全面打臉所有認為輝達 GPU 已要被取代的新聞。
輝達官方部落格揭露 DeepSeek-R1 模型可讓開發團隊在保有客戶隱私的前提上運行複雜難解的數學和程式碼,輝達GeForce RTX 50 系列的 GPU 以每秒 3,352 兆次運算的馬力加速運行 DeepSeek 推理模型 。
新型態的推理模型讓 AI 思考與反饋
Reasoning Models (推理模型) 是種新型態的大型語言模型,AI 會像人類一樣花費時間「思考」並對錯誤做出「反饋」,所以被命名為「推理」。就像人類解決問題一樣, AI 透過更多思考、理解與反饋解決問題。推理模型可了解使用者的深度需求,並允許 AI 對模型的思考過程提供回饋,進一步增強使用者體驗,並可解鎖 AI 代理工作流程,進而解決複雜的多步驟任務,例如市場分析研究、複雜的數學問題或程式碼等等。
DeepSeek 推理模型可在輝達的 RTX AI PC 本地快速運行
DeepSeek-R1 系列精簡模型為基於擁有 6,710 億個參數的大型專家混合 (MoE) 模型。 MoE 模型由多個較小的 Expert Models 專家模型組成,用於解決複雜問題。 DeepSeek 模型進一步分配工作並將子任務分配給較小的專家群組。
DeepSeek 採用一種名為 Distillation (蒸餾)的技術,就像是製造威士忌一樣,可將大部分的酒精經過蒸餾技術蒸發掉留下精萃,大型 DeepSeek 6,710 億個參數模型中可蒸餾出六個較小的學生模型,參數範圍從 15 億到 700 億個不等,由大的 DeepSeek-R1 6710 億參數模型將推理能力「傳授」給較小的 Llama 和 Qwen 學生模型,從而產生了功能強大但較小的推理模型,並在輝達 RTX AI PC 本地快速運行。
RTX 搭載 DeepSeek-R1 推理模型
輝達 GeForce RTX 50 GPU 採用第五代 Tensor Core 構建,基於相同的 Blackwell GPU 架構。 加速 DeepSeek 推理模型,可在 AI PC 電腦 上提供最高的推理效率。
NVIDIA 的 RTX AI 平台提供了廣泛的 AI 工具、軟體開發套件和模型選擇。目前全球超過 1 億台 NVIDIA RTX AI PC(包括搭載 GeForce RTX 50 系列 GPU 的 PC)能夠使用 DeepSeek-R1 的功能。
殺手 GPU 沒有網路連線也可使用
RTX GPU 即使沒有網路連線,也可以在低遲緩的環境下運行,並可保護客戶隱私,因為用戶不用上傳敏感的個資和搜尋紀錄到 AI 服務系統。
這篇文章 輝達最新:GeForce RTX 50 搭載 DeepSeek 加速推理模型在 PC 電腦本地運行 最早出現於 鏈新聞 ABMedia。
免責聲明:文章中的所有內容僅代表作者的觀點,與本平台無關。用戶不應以本文作為投資決策的參考。
您也可能喜歡
由於特朗普關稅抑制「過度槓桿」的看漲情緒,加密貨幣在過去一天內超過17億美元被清算
快速摘要 根據分析師的說法,隨著美國總統唐納德·特朗普宣佈關稅,過去24小時內加密貨幣市場出現了17.9億美元的清算。投資者擔心持續的“貿易戰”會加劇通脹,並導致利率在更長時間內保持較高水平。
由於特朗普主導的關稅戰爭擔憂,韓國比特幣「泡菜溢價」飆升至10個月高點
簡報 韓國的比特幣泡菜溢價在週一亞洲市場達到超過9%,創下10個月來的新高。一位分析師表示,泡菜溢價通常出現在恐慌性拋售期間,當時韓國交易所的賣壓較低。
Vitalik支持Taiko和DoraHacks執行最大規模匿名社區投票
以太坊 L2 網路 Taiko 與全 crypto 最大黑客松組織 DoraHacks 正在推進史上最大規模的匿名社群投票,旨在提升社群治理的去中心化程度。
Raydium在1月份以迷因幣為主的交易後,月度DEX交易量超越Uniswap
根據The Block的數據,Solana為基礎的去中心化交易所Raydium在一月份首次超越Uniswap,當月處理的交易量超過其他任何去中心化交易所。Raydium在一月份的激增主要歸功於迷因幣交易者,並處理了所有去中心化交易所交易量的27%。