SambaNova、新しいスピードテストでNVIDIAを圧倒
SambaNova、新しいスピードテストでNVIDIAを圧倒【写真詳細】
Samba-1 Turboが毎秒1000トークンの性能を発揮、Artificial Analysis社のベンチマークでトップに
米国カリフォルニア州パロアルト、2024年5月29日 - 最速のモデルと最先端の半導体を提供する生成AIソリューション企業であるSambaNova Systems(https://sambanova.ai/ja/)は本日、Artificial Analysisによる最新の大規模言語モデル(LLM)ベンチマークで圧倒的な性能を発揮したことを発表しました。毎秒1000トークン(t/s)を超えるLeaderboad(https://artificialanalysis.ai/models/llama-3-instruct-8b/providers)のトップに立ったSamba-1 Turboは、Llama 3 8Bのパフォーマンスで新記録を樹立しました。
SambaNova Systems の共同創業者兼CEOであるロドリゴ・リアンは次のように述べています。「SambaNovaの使命は、すべての企業に低コストでカスタムAIシステムを提供することです。精度を損なわない驚異的な推論速度は、企業がパーソナライズされたLLMのメリットを享受するために開発者が必要とするもので、ワークフローを合理化し、より早く新テクノロジーを導入することができるようになります。」
Artificial Analysis社の共同設立者兼CEOであるMicah Hill-Smith氏は次のように述べています。「SambaNovaのSamba-1 Turboは、Artificial Analysis社による最近のベンチマークにおいて、大規模言語モデルの推論性能の新記録を樹立しました。
Artificial Analysis社は、Meta社のLLMであるLlama 3 Instruct 8B上でSamba-1 Turboの性能について独自にベンチマークを行い、1秒間に1,084の出力トークンを記録しました。これは我々がベンチマークを実施しているプロバイダー全体の出力速度の中央値よりも8倍以上速い数値でした。Artificial Analysis社は、Samba-1 Turbo上のLlama 3 Instruct 8Bが16ビット精度と同等の品質スコアを達成することを検証しました。
新境地ともいえる言語モデルの驚異的な推論速度は、AIアプリケーション構築の新たな方法をもたらします。新たなユースケースとして、例えば、シームレスな会話を維持しながらマルチステップのアクションを取るエージェント、リアルタイムの音声体験、大量の文書解釈などが含まれます。」
何百ものチップで同じモデルを実行する競合他社とは異なり、Samba-1 Turboはわずか16個のチップでLlama 3 8Bを毎秒1000トークン(t/s)で実行し、16ソケットのSN40Lノード1台で最大1000個のLlama3チェックポイントを同時にホストできます。これは、競合他社よりもはるかに低コストで、完全な精度を維持しながらLlama 3を提供するための最速の速度です。最も近い競合他社は、メモリ容量の制限により、各モデルのシングル・インスタンスを実行するために数百のチップを必要とし、GPUは総スループット、メモリ容量とも低くなります。SambaNovaは、この記録的な速度を維持しながら、1つのノードで数百のモデルを実行することができ、競合他社よりも10倍低いTCOを提供します。
SambaNova Systems の共同創業者であり、スタンフォード大学の著名なコンピューター科学者であるクンレ・オルコトンは次のように述べています。「Samba-1 Turboのスピードは、データフローアーキテクチャ(https://sambanova.ai/hubfs/23945802/SambaNova_Accelerated-Computing-with-a-Reconfigurable-Dataflow-Architecture_Whitepaper_English-1.pdf)の素晴らしさを表しており、SN40L半導体上のデータ移動を合理化し、レイテンシを最小化し、処理スループットを最大化しています。これはGPUよりも優れており、その結果、即座にAIへアクセスできるのです。」
今すぐSamba-1 Turboをお試しください!https://fast.snova.ai/
*画像出典:Artificial Analysis https://x.com/artificialanlys/status/1795480857404448953
SambaNova Systemsについて
最先端の生成AI機能を企業内に迅速に展開するために、SambaNovaに注目が集まっています。 SambaNovaのエンタープライズスケールのために構築されたAIプラットフォームは、次世代の生成AIコンピューティングのための技術的バックボーンです。
カリフォルニア州パロアルトに本社を置くSambaNova Systemsは、業界の著名人や、サン/オラクルおよびスタンフォード大学のハードウェアおよびソフトウェア設計の専門家によって、2017年に設立されました。投資家には、SoftBank Vision Fund 2、BlackRock、Intel Capital、GV、Walden International、Temasek、GIC、Redline Capital、 Atlantic Bridge Ventures、Celestaなどが含まれています。sambanova.ai(https://sambanova.ai/)をご覧いただくinfo@sambanova.aiまでご連絡ください。
日本語サイト:https://sambanova.ai/jp/
プレスリリース情報提供元:ValuePress!
スポンサードリンク
SambaNova Systems Japan合同会社の記事
IT・テクノロジーの最新プレスリリース
- コミック教材を活用した研修サービス『コミックラーニング』、松吉医科器械株式会社に、昨年に引き続き全従業員向けのハラスメント研修教材を提供
- 【SwitchBot】最大52%OFF!ほぼ全製品が対象のAmazonプライム感謝祭セール開催
- レイワークス、X(旧Twitter)の公式アカウント運用を開始
- 【GALLERIA】「ALGS Year4 大会協賛モデル」ラインナップにオリジナル特典第3弾 ALGS×GALLERIAオリジナルゲーミングマウスパッドを追加
- IT・DX人材育成支援サービス『TECH PLAY』、アカリク主催の「Acaric Summit Premium 人事・採用EXPO」に登壇
- 『ミイダス』、「BOXIL SaaS AWARD Autumn 2024」タレントマネジメントシステム部門で「Good Service」に7期連続選出
- 【来週10/23(水)〜25(金)開催】「第12回 次世代EC EXPO【秋】」にブース出展
- 「LION FILM」発売!iPhone16シリーズ専用ガラスフィルム、2024年10月15日(火)より発売&発送開始。
- ECマーケティングイベント『ECzine Day 2024 Autumn』のセミナーレポートが公開
- 直感的なコンテンツ作成を実現!Connecty CMS on Demand「ブロックエディタ」を正式リリース