SambaNova CloudはLlama 3.1 405Bを完全な精度で毎秒132トークンで実行、本日より開発者が利用可能に

米国カリフォルニア州パロアルト - 2024年9月10日 - 最も効率的なAI半導体とAIモデルを提供するSambaNova Systemsは、同社のAI半導体SN40Lのスピードを活かした世界最速のAI推論サービス「SambaNova Cloud」を発表しました。開発者は本日より、無料でログインすることができ、待ち時間なしで、最大かつ最も高性能なモデルであるLlama 3.1 405Bと、超高速のLlama 3.1 70Bの両方をAPI経由で利用して、独自の生成AIアプリケーションを作成できます。SambaNova Cloudは、Llama 3.1 70Bを完全な精度で毎秒461トークン、Llama 3.1 405Bを完全な精度で毎秒132 トークンで実行しています。

SambaNova SystemsのCEOのロドリゴ・リアンは「SambaNovaクラウドは、開発者にとって最速のAPIサービスです。SambaNovaのAI半導体により、世界記録となるスピードを完全な16ビットの精度で提供します。SambaNova Cloudは、これまで経験したことのないスピードで、最も正確なオープンソースモデルを広範な開発者コミュニティに提供します」と述べています。

今年、Meta社は3つのフォームファクター（8B、70B、405B）でLlama 3.1を発表しました。405Bモデルは開発者にとっての至宝であり、OpenAI、Anthropic、Googleの最高のクローズドソースモデルに匹敵する、競争力の高い選択肢になっています。Meta社のLlama 3.1モデルは、最も人気のあるオープンソースモデルであり、Llama 3.1 405Bは、Meta社によれば、最もインテリジェントで、モデルの使用方法と展開方法に柔軟性を提供しています。

SambaNovaが最高精度のモデル 405Bを毎秒132 トークンで実行

「競合他社は、非効率的な半導体のため、405Bモデルを今日現在開発者に提供していません。Nvidia GPUで動作するプロバイダーは、このモデルの精度を下げて、正確さを損なっており、ほとんど使い物にならないほど遅い速度で動作させています。SambaNovaだけが最高のオープンソースモデルであるLlama 3.1 405Bモデルを、完全な精度で毎秒132トークンで動作させています」とリアンは続けます。

Llama 3.1 405Bは非常に大きなモデルであり、これまでにリリースされたオープンウェイトモデルの中で最大のものです。この大きさは、展開にかかるコストと複雑さを意味し、提供されるスピードは小さなモデルに比べて遅くなります。SambaNovaのSN40L半導体は、Nvidia H100と比較して、このコストと複雑さを軽減し、SN40L半導体が高速でモデルを処理するため、モデルの大きさによる速度のトレードオフを軽減します。

「エージェンティックワークフローは、多くのアプリケーションで優れた結果を出しています。最終的な結果を生成するために大量のトークンを処理する必要があるため、トークン生成の高速化は非常に重要です。現在最も優れたオープンウェイトモデルはLlama 3.1 405Bであり、SambaNovaはこのモデルを16ビットの精度で毎秒100トークン以上で実行している唯一のプロバイダーです」とDeepLearning.AIの創設者であり、AI Fundのマネージング・ジェネラル・パートナー、スタンフォード大学コンピューターサイエンス学部の兼任教授であるアンドリュー・ング博士は述べています。

独立ベンチマークがSambaNova Cloudを最速のAI推論プラットフォームと評価

「Artificial Analysisは、SambaNovaがLlama 3.1 405BのクラウドAPIエンドポイントにおいて、毎秒132出力トークンを記録したことを独自にベンチマークしました。これはArtificial Analysisが追跡したすべてのエンドポイントにおいて、このレベルのインテリジェンスで利用可能な最速の出力速度であり、OpenAI、Anthropic、Googleが提供する最先端のモデルの速度を超えています。SambaNovaのLlama 3.1エンドポイントは、リアルタイムの応答を必要とするアプリケーションや、言語モデルを使用するエージェンティックアプローチを活用するアプリケーションなど、速度に依存するAIのユースケースをサポートします」とArtificial Analysis社の共同創業者のジョージ・カメロン氏は述べています。

エージェンティックAIのための最初のプラットフォーム - SambaNovaは毎秒461トークンでLlama 3.1 70Bを実行

Llama 3.1 70Bは、高速かつ低遅延を必要とするエージェンティックAIのユースケースにおいて、最も信頼度の高いモデルと考えられています。そのサイズはファインチューニングに適しており、複雑なタスクの解決に適したマルチエージェントシステムに組み合わせることができるエキスパートモデルを生成します。

SambaNova Cloudにより、開発者はLlama 3.1 70Bモデルを毎秒461トークンで実行し、比類ないスピードで動作するエージェントアプリケーションを構築することができます。

ASX上場のSaaS企業であるBigtincan SolutionsのCEOであるデビッド・キーン氏は「対話型AIを活用したセールス・イネーブルメントSaaSソリューションのリーダーとして、BigtincanはSambaNovaとのパートナーシップに興奮しています。SambaNovaの素晴らしいパフォーマンスにより、Bigtincan SearchAIの効率を最大300%向上させることができ、Llamaのような最も強力なオープンソースモデルをあらゆる構成で実行し、エージェンティックAIワークフローを比類のないスピードと効果で実行することができます」と述べています。

「自律コーディングエージェントを構築するリーディングプラットフォームとして、Blackbox AIはSambaNovaとのコラボレーションに興奮しています。SambaNova Cloudを統合することで、当社のプラットフォームを次のレベルに引き上げ、現在Blackbox AIを使用している何百万人もの開発者がかつてないスピードで製品を構築できるようになり、世界中の開発者が利用するプラットフォームとしての地位をさらに強固なものにしています」とBlackbox AIのCEOのロバート・リック氏は述べています。

Snorkel AIの共同創業者兼CEOのアレックス・ラトナー氏は「AIが印象的なデモから現実のビジネスニーズへと移行するにつれ、コストとパフォーマンスが最重要課題となっています。SambaNova Cloudは、開発者がLlamaの素晴らしい405Bモデルを使ってより簡単かつ迅速に構築できるようにします。SambaNovaの手頃な価格の高速推論とSnorkelのデータ中心のAIプログラム開発の組み合わせは、AIの成功を生み出すための素晴らしいモデルです」と述べています。

SambaNovaのFast APIは、7月上旬に発表されて以来、急速に利用されています。SambaNova Cloudを使えば、開発者は独自のチェックポイントを持ち込みことができ、Llamaモデル間を高速に切り替え、AIプロンプトチェーンを使用してワークフローを自動化し、高速な推論速度で既存のファインチューニングされたモデルを利用できます。これは、405Bのパワー、総合的な柔軟性、スピードを求める開発者にとって、すぐに頼りになる推論ソリューションになります。

SambaNovaクラウドは本日より3つのレベルでご利用いただけます：
・フリー（本日より利用可能）：ログインすれば誰でも無料でAPIにアクセスできます。
・開発者（2024年末までに利用可能）：開発者はLlama 3.1の8B、70B、405Bモデルをより高い制限レートで使用してモデルを開発することができます。
・エンタープライズ（本日より提供開始）：企業のお客様に本番稼働のワークロードに必要な、より高い制限レートを提供します。

SambaNova Cloudの素晴らしいパフォーマンスは、SambaNova SN40L AI半導体によって実現されています。特許を取得した独自のデータフローデザインと3層メモリアーキテクチャにより、SN40LはAIモデルをより高速かつ効率的にパワーアップすることができます。

（注）最速についてはArtificial Analysis社による独立した評価に基づく
（注）最も効率的なAI半導体については弊社の調べに基づく
（注）モデルの最高精度についてはメタ社の評価に基づく

SambaNova Systems について

最先端の生成AI機能を企業内に迅速に展開するために、SambaNovaに注目が集まっています。 SambaNovaのエンタープライズスケールのために構築されたAIプラットフォームは、次世代の生成AIコンピューティングのための技術的バックボーンです。
カリフォルニア州パロアルトに本社を置くSambaNova Systemsは、業界の著名人や、サン／オラクルおよびスタンフォード大学のハードウェアおよびソフトウェア設計の専門家によって、2017年に設立されました。投資家には、SoftBank Vision Fund 2、BlackRock、Intel Capital、GV、Walden International、Temasek、GIC、Redline Capital、 Atlantic Bridge Ventures、Celestaなどが含まれています。sambanova.ai をご覧いただくか、info@sambanova.ai までご連絡ください。Linkedinで SambaNova Systems をフォローしてください。

プレスリリース情報提供元：ValuePress!