top of page

HBMから高帯域幅フラッシュまで:メモリ階層がAI推論に与える影響

23 時間前
読了時間: 22分

AIの推論処理が遅くなる理由は単純で、プロセッサは処理準備が整っているものの、データがまだ届いていないためです。


それは奇妙に聞こえるかもしれない。最新のAIチップは毎秒膨大な数の計算を実行できる。しかし、多くの実際のAIシステムは、演算ユニットの性能ではなく、モデルデータの読み込み速度、一時的な結果の保存速度、そして会話履歴をすぐに利用できる状態に保持する速度によって制限されている。これが、メモリの選択がAIサービスのコスト、速度、そして規模を左右するようになった理由である。


推論とは、訓練済みのAIモデルを実行して、回答を生成したり、画像にラベルを付けたり、テキストを翻訳したり、次の単語を推奨したりすることを意味します。モデルには、重みと呼ばれる数十億もの数値が格納されている場合があります。推論中、チップはこれらの数値を繰り返し読み取り、ユーザー入力と組み合わせ、その過程で一時的な値を書き込みます。


モデルの速度と規模が大きくなるほど、システムはメモリ層への依存度が高まります。高帯域幅メモリ(HBMと略されることが多い)はプロセッサの近くに配置され、高速にデータを提供します。通常のシステムメモリは、より低コストで大容量を実現します。フラッシュストレージはより多くのデータを格納できますが、アクセス速度は遅くなります。新しい設計では、すべてのバイトを最も高価な場所に配置することなく、大規模モデルに対応できる高帯域幅のフラッシュのような層によって、このギャップを埋めようとしています。


HBM(高帯域幅メモリ)、フラッシュメモリといった流れは、単なる部品の羅列ではない。それは、現代のAI推論のあり方そのものを表している。


大型AIプロセッサの横に積み重ねられたメモリチップのクローズアップ画像。
.

根本的な問題は、データを十分な速さで転送することである。


AIモデルは多くの数学的処理を行うが、推論はデータの動きにも同様に依存する。


プロセッサは、アクセス可能なデータのみを使用して計算を実行できます。モデルの重みが近くにある場合、プロセッサは処理を中断することなく稼働し続けます。しかし、より低速な階層からのデータ待ちが発生すると、パフォーマンスが低下します。これは多くのワークロードに当てはまりますが、大規模なAIモデルでは膨大な数値を繰り返し読み込むため、この傾向がより顕著になります。


最も重要な3つの指標。


容量

容量とは、ある階層が保持できるデータ量のことです。大規模な言語モデルでは、モデルの重みだけでも数ギガバイトが必要になる場合があります。チャットボットは、会話中の以前のトークンを格納するためのスペースも必要とします。トークンは数値として保存され、モデルが文脈を保持できるようにします。


帯域幅

帯域幅とは、1秒間に転送できるデータ量のことです。道路の幅をイメージしてみてください。道路が広ければ、一度に多くの車を通行できます。AI推論においては、帯域幅が広いほど、プロセッサは同じ時間内に多くのモデルデータを読み取ることができます。


遅延

レイテンシーとは、データが到着し始めるまでの遅延時間のことです。本のページを要求してから最初の単語が表示されるまでの時間と考えてください。システムが多数の小さなデータを取得する必要がある場合、レイテンシーが低いことが重要です。


異なるAIタスクは、これらの指標を異なる方法で重視する。


スマートフォン上で動作する小型画像分類器は、消費電力とコストを最も重視するかもしれません。文書をランク付けする検索システムは、ユーザーからのリクエストごとに低遅延が求められるでしょう。同時に多数のユーザーに対応する大規模なチャットボットは、高い帯域幅と大容量を必要とするかもしれません。長時間の会話を処理するモデルは、会話履歴のための追加容量を必要とするかもしれません。


そのため、「最適な」メモリタイプは存在しません。それぞれの層が、問題の異なる部分を解決するからです。


役立つルールは次のとおりです。


データがプロセッサに近いほど、処理速度は速くなり、コストも高くなるのが一般的です。逆に、データがプロセッサから遠いほど、データ量は多くなり、コストは安くなるのが一般的です。

このルールは完璧ではないが、AIシステムが巨大な単一のプールではなく、階層構造を用いる理由を説明している。


メインメモリ層はそれぞれ異なるトレードオフを行う


ほとんどのAI推論システムは、複数の階層を同時に使用します。最も高速な階層には、現時点で必要なデータが格納されます。低速な階層には、より大容量のデータ、緊急性の低いデータ、またはプロセッサから離れた場所に保存する方が安価なデータが格納されます。


以下に簡略化した図を示します。


ティア

それは何なのか

主な強み

主な制限

オンチップキャッシュ

プロセッサに内蔵された小型ストレージ

非常に高速なアクセス

非常に小さな容量

高帯域幅メモリ

AIチップのすぐ近くに配置された積層メモリ

非常に高いデータフロー

高価でサイズも限られている

グラフィックメモリ

多くのグラフィックプロセッサで使用されるメモリ

高速かつ広範囲な利用可能性

通常、トップクラスのHBM設計よりも帯域幅が狭い。

システムメモリ

サーバーまたはコンピュータのメインメモリ

容量が大きく、コストも低い

AIチップの普及はより遅れている

フラッシュストレージ

ソリッドステートドライブで使用される不揮発性ストレージ

低コストで大容量

チップ近傍のメモリよりもはるかに低速

高帯域幅のフラッシュライクな階層

フラッシュメモリを並列読み取り用に配置

標準ストレージよりも高い読み取りフローで優れた容量を実現

それでもHBMの完全な代替品とは言えない


オンチップキャッシュは小さいが、非常に重要である。


オンチップキャッシュはプロセッサ自体に組み込まれています。データ転送距離が非常に短いため、極めて高速です。ただし、その代償としてサイズが小さくなります。キャッシュは大きなモデルを格納するには小さすぎます。


とはいえ、キャッシュは重要です。AIチップは、すぐに再利用される値を保持するためにキャッシュを使用します。優れたチップ設計では、データが低速な層に送られる前に再利用されるように設計されています。これにより、時間と電力を節約できます。


簡単な例として、多くの計算で同じ入力値を使用するモデル層が挙げられます。チップがこれらの値をキャッシュに保持できれば、より大きく低速な層から何度も読み込む代わりに、一度だけ読み込むだけで済みます。


高帯域幅メモリが最速のAIプロセッサを支える


高帯域幅メモリは通常、メインチップと同じパッケージ内に隣接して配置されます。メモリ層を垂直方向に積み重ね、多数の微細な配線で接続することで、従来のメモリモジュールよりもはるかに高い帯域幅を実現します。


メモリ規格を策定・発行する標準化団体であるJEDECは、HBM2、HBM2E、HBM3、HBM3EといったHBM世代を定義している。NVIDIAやAMDなどの企業が製造するAIアクセラレータは、大規模モデルでは高速なデータフローが必要となるため、これらの新しいタイプのHBMを採用している。


HBMは、現代のAIプロセッサが大規模モデルを効率的に処理できる理由の一つです。HBMはプロセッサに広いデータパスを提供し、生成される各トークンが多数の重みを読み取る必要がある場合に役立ちます。


しかし、HBMには限界がある。


高価である。標準的なメモリよりもパッケージ化が難しい。また、システムメモリやフラッシュストレージに比べて容量が限られている。モデルや作業データが収まらない場合、システムは処理を複数のチップに分散させるか、一部のデータを低速な層に移動させる必要がある。


その分割はコストがかかる可能性がある。データがチップ間、あるいはプロセッサからシステムメモリへと移動する際には、遅延が増加する。また、データの移動には単純な計算よりも多くのエネルギーが必要となることが多いため、消費電力も増加する。


グラフィックメモリは一般的で有用です


多くのグラフィックカードは、HBMではなくグラフィックメモリを使用しています。HBMの最上位モデルに比べて帯域幅は劣りますが、広く普及しており、多くのAIワークロードを問題なく実行できます。


この階層が重要なのは、すべての推論システムが最も高価なAIアクセラレータを使用するわけではないからです。小規模なモデル、コンピュータビジョンシステム、音声モデル、バッチ処理などは、標準的なグラフィックメモリを搭載したグラフィックカードで実行できます。


トレードオフは単純です。メモリ帯域幅が低いシステムでは、各回答を生成するのに時間がかかるか、一度に処理できるリクエスト数が少なくなる可能性があります。モデルが適合し、サービスが最短の遅延を必要としない場合は、それでも良い選択肢となり得ます。


システムメモリは、より低コストで容量を提供します。


システムメモリは、サーバーの中央処理装置(CPU)に接続されたメインメモリです。通常、HBMよりもはるかに大容量で、ギガバイトあたりのコストも低くなっています。そのため、大規模なデータセット、追加のモデル部品、または処理待ちのデータなどを格納するのに適しています。


欠点は距離です。AIチップはシステムメモリにアクセスするよりもはるかに高速に自身のローカルメモリにアクセスできますが、チップ間ではデータ転送のためにリンクを経由する必要があります。


システムによっては、システムメモリをオーバーフロー領域として使用する場合があります。例えば、モデルに必要な容量がアクセラレータメモリに収まらない場合、使用頻度の低い部分はシステムメモリに格納され、必要になるまで保持されます。これは容量の確保に役立ちますが、システムがデータを頻繁に移動させると推論速度が低下する可能性があります。


最新のサーバー設計では、プロセッサやアクセラレータ間でメモリ共有を容易にする工夫も凝らされている。Compute Express Link(CXLとも呼ばれる)は、プロセッサやデバイス間でメモリをより柔軟に共有できるようにするための標準規格の一例だ。このアイデアは有望だが、共有メモリは依然として物理法則に従わなければならない。遠くにあるデータは通常、到達するのに時間がかかる。


フラッシュストレージははるかに多くのデータを保存できます


フラッシュストレージは、ソリッドステートドライブ(SSD)内部に搭載されている技術です。電源がオフの状態でもデータを保持します。HBMやシステムメモリに比べて、ギガバイトあたりの密度が高く、価格も安価です。


そのため、FlashはAIシステムにとっていくつかの点で有用です。


  • 多数のモデルバージョンを保有

  • サービス開始時にモデルをより高速なメモリにロードする

  • 検索システム用に大量の文書を保存する

  • テキスト、画像、またはその他のデータの数値ベースの要約である埋め込みを保持する

  • モデルが大きすぎて高速メモリに対応できない場合のオーバーフロー層として機能します。


フラッシュメモリはワーキングメモリとは異なります。フラッシュメモリはデータをより大きなチャンク単位で読み込み、レイテンシが高くなります。また、フラッシュセルの動作原理上、データの書き込みと消去の方法も異なります。AI推論においては、システムが大きなブロックを並列に読み込み、次に必要となるデータを予測できる場合に、フラッシュメモリは最も効果を発揮します。


標準的なソリッドステートドライブはストレージの基準では高速だが、AIチップに直接データを供給するにはHBMよりもはるかに遅い。この差こそが、高帯域幅フラッシュが注目を集めている理由である。


アーキテクチャによって、階層構造が役に立つか害になるかが決まる。


メモリ自体も重要ですが、その周辺アーキテクチャはさらに重要かもしれません。アーキテクチャとは、チップ、メモリ、リンク、ソフトウェアがどのように連携して動作するかを意味します。


2つのシステムは類似した部品を使用していても、片方のシステムがより整然としたデータ転送パターンを採用していれば、性能は大きく異なる可能性がある。


モデル配置はすべてのリクエストに影響します


推論を開始する前に、システムはモデルがどこに保存されているかを決定する必要があります。


フルモデルがHBMに収まる場合、プロセッサは重みを高速に読み取ることができます。これは通常、速度を向上させる最も簡単な方法ですが、同時に最もコストのかかる方法でもあります。


モデルがシステムに適合しない場合、システムはモデルを複数のプロセッサに分割することがあります。各プロセッサはモデルの一部を保存します。推論中、リクエストがモデルを通過するにつれて、データはプロセッサ間を移動します。


これは新たな問題を生み出す。システムにはプロセッサ間の高速なリンクが必要であり、そうでなければそれらのリンクがボトルネックとなる。高速なローカルメモリを搭載したチップであっても、隣接するチップからデータが必要な場合には待機する可能性がある。


これが、大規模なAIサーバーがアクセラレータ間の高速接続を組み込むことが多い理由の一つです。その目的は、各チップに常にデータを供給し、アイドル時間を短縮することです。


会話履歴は記憶障害につながる可能性がある


チャットボットやテキスト生成の場合、モデルは重みを読み取るだけでなく、会話の中で既に出現したトークンのコンパクトな記録も保存します。この記録は、モデルが次に何を生成するかを決定するのに役立ちます。


多くのエンジニアはこのレコードをキーバリューキャッシュと呼んでいます。初めて読む方にとっては、会話の作業データだと考えれば十分でしょう。


この作業データは、会話が長くなるにつれて増加します。また、サービスが同時に多くのユーザーを処理する場合にも増加します。システムにはモデルの重みを格納するのに十分なメモリがあっても、長いプロンプト、長い回答、または多数のアクティブユーザーによって負荷がかかる可能性があります。


その圧力によって、メモリのトレードオフが変化する。


短いリクエストは、モデルの重みを読み取ることで制限される場合があります。長い会話は、会話の作業データを保存および読み取ることで制限される場合があります。多くのユーザーを扱うサービスは、各ユーザーのリクエストが短くても、より多くの容量が必要になる場合があります。


これが、AI推論のコストがコンテキストウィンドウの長さに応じて上昇することが多い理由です。長いコンテキストは有用ですが、無料ではありません。


人数が少ないほど圧力が軽減される


メモリ使用量を削減する一般的な方法の一つは、型番をより小さな形式で保存することです。大きな数値形式を使用する代わりに、より少ないビット数で済む小さな形式を使用できます。


これは量子化と呼ばれることが多い。簡単に言うと、モデルに格納されている数値を丸めて、使用するメモリ容量を減らすことを意味する。


慎重に行えば、システムが転送するデータ量が少なくなるため、メモリ使用量を削減し、処理速度を向上させることができます。多くの実運用モデルでは、推論に小さな数値形式を使用しています。ただし、精度が低下するリスクがあります。数値が小さすぎたり、丸め方が不適切だったりすると、モデルの精度が低下する可能性があります。


このトレードオフは、実際に徹底的に検証されています。チームは、数値フォーマットを選択する前に、モデルの品質、遅延、コストを比較検討します。MLCommonsが実施するMLPerf Inferenceなどのベンチマークが存在する理由の一つは、実際の推論パフォーマンスが、単一の要素ではなく、モデル、チップ、メモリ、ソフトウェアといった要素の組み合わせに依存するからです。


データ転送にはエネルギーが消費される


メモリアーキテクチャも消費電力に影響を与える。


パッケージ、ボード、またはサーバー間でデータを転送するには、かなりのエネルギーを消費します。大規模なAIサービスにとって、電力は主要な運用コストです。頻繁に使用するデータをプロセッサの近くに保持することで、無駄を削減できます。


これが、チップ設計者が特定の種類のメモリを演算ユニットの近くに配置しようとする理由の一つです。また、ソフトウェアが近くにあるデータを再利用しようとする理由でもあります。遠く離れた階層から同じデータを常に取得するシステムは、データ配置が適切なシステムよりもパフォーマンスが低下し、消費電力も増加する可能性があります。


サーバーハードウェアの広角ビュー。メモリモジュールとストレージドライブが見える。

高帯域幅フラッシュは、メモリとストレージの間のギャップを埋める。


フラッシュストレージはこれまでも容量を提供してきた。より新しい課題は、フラッシュがAI推論のためのよりアクティブな層としても機能できるかどうかである。


高帯域幅フラッシュは魔法ではありません。フラッシュメモリをHBMに変えるわけではありません。フラッシュメモリは、プロセッサのすぐ隣に配置されたメモリよりもレイテンシが高く、データの書き込みや消去時の動作も異なります。


このアイデアは、フラッシュメモリを並列アクセスによって読み取り帯域幅を向上させるように配置することです。ストレージを一度だけ読み込む低速な場所として扱うのではなく、システムはそれを一部のワークロードに直接データを供給する大規模な階層として扱うことができます。


これは、作業負荷に以下のような特徴がある場合に役立ちます。


  • 大量のデータを読み取ります

  • 予測可能な単位でデータを取得できます

  • すべてのバイトを可能な限り低い遅延で処理する必要はありません

  • サーバーの近くにデータをより多く保存することでメリットが得られます。

  • システムがデータが必要になる前に読み込むスマートプリフェッチにも対応できます。


検索システムは良い例です。多くのAIアプリケーションは、モデルに保存された重みだけに頼るのではなく、テキスト、画像、製品記録、サポート記事、コードなどの膨大なコレクションも検索します。システムは関連する項目を見つけ出し、それをコンテキストとしてモデルに渡します。


その取得ステップでは、膨大な量の埋め込みデータを格納する必要がある場合があります。フラッシュメモリは、HBMよりも安価にこれらの大容量データを格納できます。フラッシュ層が多数のチャンクを並列に読み取ることができれば、すべての埋め込みデータを高価なメモリに配置することなく、取得処理を高速化できます。


もう一つの例は、多数のモデルを扱う場合です。プラットフォームは多数の特殊モデルをホストできますが、実際に稼働しているのはごく一部です。Flashはライブラリ全体を格納できます。より高速な階層では、現在使用中のモデルのみを格納できます。帯域幅の広いFlash階層を使用することで、モデルを稼働させるのに必要な時間を短縮できます。


ストレージからモデルの一部を実行することに関する研究や製品開発も進められています。これは、モデルのアクセスパターンが予測可能で、システムが先読みできる場合に最も実用的です。一方、非常に短い遅延で小さなランダム読み取りを必要とするワークロードには、あまり実用的ではありません。


重要な点は、高帯域幅フラッシュが中間層であるということです。HBMでは容量が不足したりコストが高すぎたりする一方で、標準的なストレージでは速度が遅すぎる場合に役立ちます。設計の自由度を広げる効果があります。


推論ワークロードによって必要な階層の選択が異なる


あるAIタスクに適したメモリ設計が、別のタスクには適さない場合もあります。最適な選択は、モデルのサイズ、リクエスト量、遅延目標、およびコストによって異なります。


小型でローカルなモデルは低消費電力が好まれる


電話の音声モデル、自動車のカメラモデル、工場のセンサーモデルなどは、通常HBMを使用しません。これらのシステムは、消費電力、発熱、コスト、物理的なサイズを重視するからです。


これらのシステムでは、モバイル機器や組み込み機器向けに設計された低消費電力メモリがよく使用されます。メモリ容量が小さく、システムによってはより小さな数値フォーマットを使用することで、メモリ使用量を削減している場合があります。


これらのワークロードにおいては、低遅延は依然として重要ですが、主な問題は巨大なモデルにデータを入力することではありません。主な問題は、限られた電力予算内で有用な処理を実行することです。


リアルタイムサービスは高速なローカルメモリを好む


音声アシスタント、リアルタイム翻訳、オンライン検索ランキング、インタラクティブチャットなどは、迅速な応答が求められます。ユーザーが長時間待たされると、サービスが機能していないように感じられます。


これらのシステムは、ホットデータを高速なローカルメモリに保持することでメリットを得られます。HBMは、モデルが大きく、多くのリクエストが一度に発生する場合に有効です。アクセラレータが重みや作業データを高速に読み取れるようになります。


現実的な限界はコストです。より小型のモデルや低価格帯のハードウェアで遅延目標を達成できる場合、すべてのリクエストを最高級のハードウェアで処理することは必ずしも合理的ではありません。


一般的なパターンとしては、異なるジョブに対して異なるモデルサイズを使用することが挙げられます。小さなモデルは単純なリクエストを迅速に処理できます。一方、より大きなモデルは、より多くの計算能力とメモリ帯域幅を必要とする、より複雑なリクエストを処理できます。


長文チャットにはより多くの処理能力が必要


長文の文書、長時間の会話、または大規模なコードファイルを処理できるチャットボットは、処理データ用に余分なメモリを必要とします。モデルの重みは同じサイズでも、アクティブなコンテキストは大きくなります。


これにより、1台のサーバーに同時に接続できるユーザー数が減少する可能性があります。また、リクエストあたりのコストが増加する可能性もあります。


システムはこれをいくつかの方法で処理します。


  • 会話作業データには、より小さな数値形式を使用してください。

  • コンテキストの最大長を制限する

  • 古いコンテキストを圧縮または要約形式で保存する

  • 使用頻度の低い作業データを低速な階層に移動

  • 検索機能を使用して、モデルが最も関連性の高い情報のみを参照できるようにします。


どの選択肢にも長所と短所があります。簡潔な説明では詳細が欠ける可能性があり、要約ではニュアンスが失われる可能性があります。処理速度の遅い階層では遅延が生じる可能性があります。最適な設計は製品の目標によって異なります。


検索を多用するAIには大容量のストレージが必要


多くの有用なAIシステムは、モデルと検索レイヤーを組み合わせている。モデルは、記憶だけに頼るのではなく、取得した文書に基づいて回答する。


このアプローチは、回答を信頼できる情報源に近づけることができるため、一般的です。また、モデル全体を再学習させることなく知識を更新することも可能です。例えば、サポートボットは最新のヘルプ記事を検索し、最も一致する回答に基づいて回答することができます。


検索用ストレージは、モデル自体よりもはるかに大きくなる可能性があります。そのため、フラッシュメモリとシステムメモリが重要になります。HBMはモデルの実行に使用され、フラッシュメモリはドキュメントインデックスと埋め込み情報を保存します。


この構成では、メモリ階層はチームのように機能します。


  • HBMは生成中にモデルにデータを提供する

  • システムメモリにはアクティブなインデックスとリクエストデータが保持されます。

  • Flashは大量のドキュメントコレクションを保存します

  • 高帯域幅のフラッシュのような設計は、取得層からの大容量データの読み取りを高速化できる。


最良のシステムは、モデルに過剰なデータを送信することを避けます。関連性の高い少数の項目を取得し、最終生成ステップではより高速なメモリを使用します。


コスト、容量、スピードのバランスを取る必要がある


推論設計について考える簡単な方法は、4つの質問をすることです。


このモデルは高速なローカルメモリに収まりますか?

はいの場合、推論処理を低遅延で実行しやすくなります。いいえの場合、システムはモデルを分割するか、縮小するか、またはより低速な階層を使用する必要があります。


一度に何件のリクエストが届きますか?

1件のリクエストを処理するシステムと、数千件のリクエストを処理するシステムでは、動作が大きく異なる可能性があります。アクティブユーザーが増えるほど、処理データ量が増え、メモリ帯域幅への負荷も大きくなります。


文脈の長さはどれくらいですか?

長いプロンプトや長い会話は、処理データ量を増加させる。そのため、処理能力そのものよりも、処理能力の容量がより重要になる場合がある。


どの程度の遅延が許容範囲ですか?

バックグラウンド処理であれば数秒の遅延は許容されるかもしれないが、ライブアシスタントの場合はそうはいかない。遅延目標が低ければ低いほど、近接した高速なメモリの価値は高まる。


これらの疑問は、AIインフラストラクチャが多様化している理由を説明する。従来のソフトウェアでは、ストレージ、システムメモリ、プロセッサメモリをそれぞれ独立した要素として扱うことが多かった。AIの推論は、これらを相互に連携させる。


モデルはフラッシュメモリ上で開始され、システムメモリに移動し、HBMにロードされ、頻繁に使用される値にはキャッシュが使用され、その後、同じ経路で結果が書き戻される。すべての移動にはコストがかかる。優れたシステムは、不要な移動を避ける。


モデルのサイズやユースケースが多様化しているため、業界も変化しています。ノートパソコンやスマートフォンで動作するほど小型のモデルもあれば、アクセラレータのクラスタを必要とするモデルもあります。多くの実用的なシステムはその中間に位置し、慎重なメモリ階層化によってコストを削減しつつ、サービス速度の低下を防ぐことができます。


AI推論の要点


メモリ階層は、データがプロセッサに到達する速度、近くに保持できるデータの量、およびシステムの実行コストを決定するため、AIの推論に大きな影響を与えます。


HBMは高速かつ近接性が高いため、大規模モデルやリアルタイム処理に適しています。システムメモリは低コストで容量を拡張できますが、遅延が大きくなります。フラッシュメモリははるかに多くのデータを保存でき、モデルライブラリ、検索ストア、オーバーフローなどに最適です。高帯域幅のフラッシュメモリのような階層は、大規模なフラッシュメモリの読み取りをAIシステムにとってより有用なものにすることで、このギャップを埋めようとしています。


最高の設計とは、すべてを最速の階層に配置することではない。適切なデータを、適切な場所に、適切なタイミングで配置することである。


小規模モデルの場合、低消費電力メモリとコンパクトな数値フォーマットが適しているかもしれません。ライブAIサービスの場合、モデルの重みとアクティブな作業データをHBMに保持することが適しているかもしれません。データ検索頻度の高いシステムの場合、高速アクセラレータメモリと大容量フラッシュメモリを組み合わせることが適しているかもしれません。


AI推論はもはやプロセッサだけの問題ではなく、データ転送の問題である。このデータ転送を効率的に処理できるシステムは、より迅速に応答し、より多くのユーザーに対応し、処理コストを削減できる。


bottom of page