【環球網科技綜合報道】1月31日消息,根據英偉達官網信息顯示,推理開放模型DeepSeek R1現已在NVIDIA NIM(NVIDIA Inference Microservice)平臺上提供預覽版。
DeepSeek R1是一個具備領先推理能力的開放模型,專爲需要複雜邏輯推理、數學計算、編碼及語言理解任務設計。該模型採用了一系列高級方法,如思路鏈、共識和搜索等,以確保能夠生成最優質的答案。不同於直接響應查詢的傳統模型,DeepSeek R1通過多次推理來優化結果,這種測試時間擴展的方法對於實現實時推理和更高質量的響應至關重要。
據英偉達官方公告,6710億參數的DeepSeek R1模型現可通過build.nvidia.com上的NIM微服務進行訪問,這爲開發人員提供了安全試驗這些功能的機會,並支持他們構建自己的專用代理。此外,DeepSeek R1 NIM微服務能夠在單個NVIDIA HGX H200系統上每秒處理多達3,872個令牌,極大提升了效率和響應速度。
爲了簡化部署流程,DeepSeek R1 NIM微服務兼容行業標準API,並作爲NVIDIA AI Enterprise軟件平臺的一部分提供給用戶。企業可以通過在其選擇的加速計算基礎設施上運行NIM微服務,最大化保障數據隱私和安全性。同時,利用NVIDIA AI Foundry和NVIDIA NeMo軟件,企業還能定製化開發專門的AI代理服務。(勃潺)