top of page

HBM4Eと、毎秒数テラバイトのメモリ帯域幅への取り組み

23 時間前
読了時間: 14分

世界最速のプロセッサでも、メモリ待ちに時間を費やすことがある。最新のグラフィックチップや人工知能プロセッサは毎秒膨大な数の計算を実行できるため、これは奇妙に聞こえるかもしれない。しかし、これらの計算はデータが十分な速さで到着した場合にのみ有効となる。


そのギャップこそが、高帯域幅メモリ(HBMと略されることが多い)が重要な理由です。HBMはメモリチップを垂直に積み重ね、プロセッサの近くに配置します。これにより、データが移動する経路が短縮され、プロセッサはメモリに同時にアクセスできる経路を大幅に増やすことができます。


HBM4Eは、このトレンドの予想通りの極限に位置する。「E」は通常、HBM3に続くHBM3Eのように、強化版を意味する。製品の具体的な仕様はメーカーや最終規格によって異なる場合があるが、方向性は明確だ。業界は、毎秒数テラバイトのデータを転送できるメモリシステムを目指している。


その推進力は、単一の機能によってもたらされているわけではない。人工知能、より大型のプロセッサ、電力制限、高度なパッケージング、そしてデータ転送がコンピューティングにおける最も困難な問題の一つになっているという単純な事実が、その原動力となっている。


テスト治具上に積層された半導体メモリダイのクローズアップ画像。

メモリ帯域幅がボトルネックになった理由


プロセッサは、データの読み込み、計算、結果の書き込みによって動作します。プロセッサが十分な速度でデータを取得できない場合、その計算能力の一部が遊休状態になります。


プロセッサの演算能力が、メモリシステムの処理能力をはるかに上回ったため、この問題は深刻化しました。最新の人工知能アクセラレータは、膨大な数の演算を並列処理できます。例えば、大規模な言語モデルの学習には、モデルの重み、活性化関数、中間結果などをメモリ上で何度も移動させる必要があります。


メモリ帯域幅とは、1秒間にどれだけのデータを転送できるかを示す指標です。1テラバイト/秒の帯域幅を持つシステムでは、1秒間に約1兆バイトのデータを転送できます。これは膨大な量に聞こえますが、数千もの小型演算ユニットが一斉にデータを要求すると、需要はさらに大きくなる可能性があります。


これが、従来のメモリ設計がハイエンドの人工知能や高性能コンピューティングにおいて苦戦する理由です。従来のメモリモジュールはプロセッサから離れた場所に配置され、より狭い経路を使用しています。多くのコンピュータには最適ですが、高密度なアクセラレータチップに十分な電力を供給するようには設計されていません。


HBMは異なるアプローチを採用している。


  • メモリチップを積み重ねて使用する方式です。

  • これにより、それらのスタックはメインプロセッサの近く、同じパッケージ内に配置される。

  • これは、多数の細いワイヤーで構成された非常に幅の広い接続部を使用しています。

  • これは、多くの長距離メモリリンクよりもビットあたりの消費電力が低い。


その結果は単にメモリ速度が速くなるというだけではない。距離、幅、そして電力を中心に構築された、全く新しいメモリアーキテクチャが実現したのだ。


分かりやすい例えは高速道路です。標準的なメモリは、長い経路を高速で走る少数の車線に依存しています。一方、HBMは短い経路をはるかに多くの車線で走ります。そのため、極めて高いクロック速度に頼ることなく、大量のデータを転送できるのです。


HBM4Eは、以前のHBM世代と何が違うのでしょうか?


HBMは数世代にわたって進化を遂げてきた。HBM2はハイエンドのグラフィックス製品やコンピューティング製品で広く使用された。HBM3は速度と容量を向上させた。HBM3Eはそれをさらに推し進め、主要なメモリメーカーの最新の人工知能システムに搭載されている。


HBM4は、メモリとプロセッサ間の通信経路をさらに拡張することが期待されている。業界の公開ロードマップや標準化に関する議論では、HBM3クラスのメモリよりも広いデータインターフェースが示唆されている。簡単に言えば、より多くの微細な接続で同時にデータを伝送できるということだ。


HBM4Eは、HBM3EがHBM3を改良したように、おそらくその基盤の上に構築されるだろう。具体的な数値は最終製品によって異なるが、帯域幅を拡大する主な方法はよく理解されている。


方法

それはどういう意味か

なぜそれが重要なのか

より広いつながり

メモリとプロセッサ間のデータ配線が増える

一度に移動するデータ量が増える

より速い信号伝達

各接続はより高速にデータを転送します

同じ幅でより高い帯域幅

メモリスタックがさらに増える

1つのプロセッサの横に複数のHBMスタックが配置されている。

パッケージ全体の帯域幅が増加

より高い山

メモリ層がさらに垂直方向に積み重ねられる

狭いスペースでより多くの容量を確保

より良いパッケージ

プロセッサとメモリは高密度配線で接続されている。

経路が短くなることで、速度と電力効率が向上します。


帯域幅の計算原理は単純です。データパスの数に各パスの速度を掛け合わせ、ビットをバイトに変換します。HBM3クラスのメモリは、一般的にスタックあたり1,024ビット幅のインターフェースを使用します。各パスの速度が速ければ、全体の帯域幅は増加します。将来の設計でパスの数が倍増すれば、速度が向上する前に帯域幅がさらに増加する可能性があります。


だからこそ、毎秒数テラバイトの帯域幅が現実のものとなったのです。高性能なHBMスタック1つで、かつてはフルメモリサブシステムが必要だった帯域幅を既に達成できます。1つのプロセッサの周囲に複数のスタックを配置すれば、総帯域幅は毎秒数テラバイトにまで達する可能性があります。


「毎秒数テラバイト」という表現は、関連する2つの目標を表すことができる。


  • スタックごとの帯域幅

    1つのHBMスタックは毎秒1テラバイト以上のデータを転送し、その後毎秒2テラバイト、あるいはそれ以上の速度を目指して進化していく。


  • プロセッサパッケージあたりの帯域幅

    複数のHBMスタックを搭載したプロセッサは、総帯域幅で毎秒数テラバイトに達する。


どちらも重要です。スタックごとの性能向上は、設計者が各メモリピースからより多くの性能を引き出すのに役立ちます。パッケージレベルの性能向上は、チップ全体がより大規模なモデルやワークロードを処理できるようになります。


人工知能は最大の需要促進要因である


人工知能こそが、メモリ帯域幅がこれほど重要視されるようになった最も明確な理由である。大規模なモデルは、強力な演算エンジンを必要とするだけでなく、膨大な数値データへの継続的なアクセスも必要とする。


言語モデルでは、パラメータと呼ばれる数十億もの内部値が、モデルが次の単語やトークンを予測するのに役立ちます。トレーニング中、システムは多くのステップにわたってデータを読み込み、更新します。推論中、モデルがプロンプトに応答する際にも、システムは大量のデータを迅速に読み込む必要があります。


メモリが処理速度に追いつかない場合、演算ユニットを増やしても得られる効果は小さくなる。プロセッサはより高速に計算できるかもしれないが、次のデータチャンクを待つ必要があるからだ。


これは、最先端の人工知能チップの構造を見れば明らかです。NVIDIAやAMDといった企業のハイエンドプロセッサは、演算チップの近くに複数のHBMスタックを使用しています。最近のアクセラレータの製品仕様書では、メモリ帯域幅がギガバイト/秒ではなくテラバイト/秒で示されています。この変化は、帯域幅がいかに重要になっているかを示しています。


人工知能のワークロードが変化していることも、需要増加の要因となっている。


  • モデルは大型化している。

  • コンテキストウィンドウが長くなっている。

  • 同時に、より多くのユーザーが迅速な応答を期待するようになっている。

  • トレーニング実行にはより多くのデータが使用されます。

  • 検索、レコメンデーション、ロボット工学、画像生成システムはすべて、大規模なデータセットを扱います。


帯域幅だけが制限要因ではありません。容量も重要です。システムには、プロセッサの近くにモデルデータを保持するための十分なメモリが必要です。システムが低速なストレージや遠く離れたメモリからデータを取得する必要がある場合、パフォーマンスは低下します。


HBM4Eは、より広い帯域幅とより広い容量をコンパクトなパッケージで実現するという、この問題の両面に対応することを目指しています。


中央処理装置の周囲に複数のメモリスタックが配置された高性能コンピューティングボードの広角画像。

パワーはあらゆる記憶の決定を左右する


データ転送量を増やすことは、電力コストが抑制されている場合にのみ有効です。データ転送にはエネルギーが消費され、大規模なコンピューティングシステムではそのエネルギーが熱に変換されます。熱は冷却を必要とし、それがコスト増につながり、ハードウェアの高密度化を制限する要因となります。


これがHBMが魅力的な理由の一つです。メモリがプロセッサのすぐ近くに配置されているため、信号伝送距離が短くなります。伝送経路が短いほど、回路基板上の長いメモリ配線よりもエネルギー消費量が少なくなる傾向があります。


HBMは多数の並列パスも利用します。これにより、各パスは、同じ総帯域幅を実現するために、より狭い設計で必要となる電圧や速度よりも低い電圧または速度で動作させることができます。電力面での具体的なメリットは製品によって異なりますが、設計目標は明確です。それは、消費電力の増加を抑えつつ、より多くのビットを転送することです。


これは特にデータセンターにおいて重要です。人工知能サーバーが満載されたラックは、大量の電力を消費します。メモリ帯域幅を電力消費量を大幅に増やすことでしか向上させられない場合、システムの冷却が困難になり、運用コストも高くなります。


HBM4Eの開発は、電力関連の3つの目標に重点を置く可能性が高い。


  1. ビットあたりのエネルギー消費量を削減


    重要な指標は、1ビットのデータを転送するのに必要なエネルギー量です。配線、回路設計、信号伝送を改善することで、このコストを削減できます。


  2. よりスマートな熱設計


    積層型メモリは、平面型メモリとは異なる方法で熱を蓄積する。層数を増やすことで容量を増やすことができるが、積層体は依然として安全に熱を放散させる必要がある。


  3. メモリと演算のバランスを改善


    メモリ帯域幅が狭すぎるプロセッサは演算能力を無駄にする。メモリの消費電力が大きすぎるシステムは冷却が困難になる。設計者はこの両方のバランスを取る必要がある。


ここでパッケージングが重要な要素となる。HBMは一般的なメモリモジュールのようにマザーボードに直接差し込むのではなく、通常はプロセッサの隣にある高度なパッケージに搭載されている。そのパッケージ内の高密度配線が両者を接続している。


パッケージはもはや単なる物理的な容器ではない。それはパフォーマンスパスの一部なのだ。


高度なパッケージングが帯域幅競争を可能にしている


HBMは高度なパッケージング技術に依存している。それがなければ、メモリをプロセッサに十分近づけて配置したり、十分な数の細い配線で接続したりすることができない。


スタック自体は、メモリ層を貫通する垂直接続を利用しています。これらは一般的にスルーシリコンビアと呼ばれ、チップ内部を貫通する微細な垂直電気経路です。専門用語を避けるため、メモリスタック内部のエレベーターのようなものだと考えてください。これらのビアは、層間で信号を上下に伝送します。


プロセッサとメモリスタックは、高密度配線が施されたベース層またはパッケージを介して接続されます。こうして、数千もの接続が小さなスペースに収まるのです。


課題は、接続部、層、スタックが増えるごとに設計の難易度が増すことです。より多くの部品を正確に位置合わせする必要があり、信号はクリーンな状態を維持し、パッケージから熱を効率的に放出する必要があります。また、製造歩留まり、つまり正常に動作する部品の割合を生産に必要な水準に維持しなければなりません。


それは難しいトレードオフを生み出す。


デザイン目標

利点

チャレンジ

メモリレイヤーがさらに増える

容量の増加

スタック内部の熱がさらに上昇

より高速なデータ通信速度

より高い帯域幅

より厳しい信号制御

より広いインターフェース

一度にさらに多くのデータ

パッケージの複雑さが増す

HBMスタックをさらに追加

より高い総帯域幅

より大きなパッケージで、より高い価格


こうしたトレードオフは、HBMが高付加価値システムで優先的に採用される理由を説明するのに役立ちます。人工知能アクセラレータ、スーパーコンピュータ、高性能グラフィックス製品などは、そのコストに見合うだけの価値があります。一般的なノートパソコンやデスクトップパソコンは、通常これほどの帯域幅を必要とせず、価格に対する感度も高くなります。


時間の経過とともに、ハイエンドシステムの技術がより広い市場に影響を与えることがある。これはコンピューター業界で何度も起こってきたことだ。高価なハードウェアで設計されたものが、製造技術の向上に伴って一部が普及していく。


HBM4Eも同様のパターンをたどる可能性がある。まずは最も要求の厳しいアクセラレータに搭載され、その後、より多くのシステムにおける将来のメモリ設計を形作っていくかもしれない。


この競争は、プロセッサの有用性を維持することにも関わっている。


プロセッサメーカーは演算ユニットをどんどん増やしていくことができるが、それらのユニットにはデータが必要だ。メモリが演算能力に比例して拡張されない場合、システムはバランスを崩してしまう。


これは「メモリの壁」と呼ばれることもあります。この用語は、プロセッサの速度とメモリへのアクセス速度の間のギャップが拡大していく状況を表すために、何十年も使われてきました。HBMはメモリの壁そのものを取り除くわけではありませんが、システム設計者がその壁を押し下げる手段を提供します。


次の段階は、メモリ速度だけにとどまらず、より広範な内容を含みます。具体的には以下のとおりです。


  • プロセッサに近い場所にメモリを増やす

  • チップ間のより高速なリンク

  • データを再度移動する前に再利用する、より優れたソフトウェア

  • 演算処理とメモリをよりスマートな位置に配置するチップ設計

  • プロセッサとメモリを一体化したシステムとして扱うパッケージング


最後の点がHBM4Eにとって最も重要です。毎秒数テラバイトの帯域幅を目指す競争は、プロセッサ周辺領域の再設計競争です。メモリはもはや遠い補助部品として扱うことはできません。最優先の設計要素となったのです。


これは、規格が重要な理由も説明しています。メモリ規格を策定・発行するJEDECのような団体は、メモリ技術の細分化を抑制するのに役立ちます。規格は、メモリメーカー、プロセッサメーカー、システム構築企業に共通の目標を与えます。規格によって競争がなくなるわけではありませんが、混乱は軽減されます。


HBM4Eの開発で注目すべき点


HBMの次の段階がどのように進んでいるかは、いくつかの兆候によって明らかになるだろう。


まず一つ目は、スタックあたりの帯域幅です。HBM4クラスの製品が現在のHBM3Eレベルをはるかに超える性能を発揮すれば、システム設計者はより高速なパッケージを構築するか、同じ速度でスタック数を減らすかのどちらかを選択できるようになります。


2つ目は、スタックあたりの容量です。大型モデルほど、より多くの近傍メモリが必要になります。スタックの高さを高くしたり、メモリ層を高密度化したりすることで改善できますが、発熱や歩留まりの問題が深刻化します。


3つ目はビットあたりの消費電力です。消費電力が過剰になると、帯域幅の向上は実際のシステムでは限界に直面します。


4つ目は供給とコストです。HBMは複雑な製造工程とパッケージングを必要とします。人工知能からの需要は既に高度なメモリの供給に圧力をかけています。HBM4Eがさらに高度なパッケージングを必要とする場合、供給は処理速度と同様に重要な要素となるでしょう。


5つ目はシステム設計です。最高の性能はメモリだけでは得られません。プロセッサのレイアウト、冷却システム、ソフトウェア、パッケージングなど、すべてが連携して機能する必要があります。


だからこそ、HBM4Eは単なる高速メモリ部品以上の存在なのです。それはコンピューティングにおけるより大きな変革を象徴するものです。業界は、ボードレベルのメモリアップグレードから、プロセッサとメモリが密接に連携するシステムへと移行しつつあります。


その必要性は明白だ。現代のプロセッサは、従来のメモリシステムが供給できるデータ量よりも高速に計算できる。HBMは、積層メモリをより近接させ、データパスを広げ、データ移動のエネルギーコストを削減することで、この課題に対応する。


毎秒数テラバイトの帯域幅を目指す競争は、一世代で終わるものではありません。HBM4Eは、演算能力とメモリ帯域幅が共に向上するシステムへの、より長期的な取り組みにおける一歩に過ぎません。最終的に勝利を収めるのは、データを近くに保持し、効率的に転送し、メモリ待ちによる高価なプロセッササイクルの無駄を回避できる設計でしょう。


bottom of page