[写真]SambaNova、DeepSeek-R1 671Bを最速・最高効率(注1)で提供開始(2/2)
SambaNovaは、DeepSeek-R1 6710億パラメータモデルの推論を効率的に実行するためのハードウェア要件を40ラック(320基のGPU)から1ラック(SambaNova独自のAIアクセラレータであるRDUが16基)に集約し、最新GPUの3倍の速度、5倍の効率を実現 @カリフォルニア州パロアルト、2025年2月13日 — 最も効率的なAI半導体と最速のモデル(注2)を提供する生成AI企業であるSambaNovaは、本日DeepSeek-R1 671BがSambaNova Cloud上で198トークン/秒で稼働していることを発表しました。(SambaNova Systemsプレスリリース)
同じ記事の写真