電力、速度、冷却：AI データセンターの課題

人工知能が継続的に収益を生み出す上げるためには、データセンターの高速化が必要です。それも、劇的な高速化が求められます。 AI モデルは新しい世代のトレーニングごとに改善されますが、それでもトレーニングには比較的長い時間がかかります。この遅れは、AI モデルを訓練するグラフィック プロセッシング ユニット（GPU）に送信できるデータ量に現在制限があることに起因しています。高速化に向けた競争はすでに始まっています。その競争れが進展するにつれ、業界はより多くのデータをより迅速に処理するためにインフラをアップグレードするだけでは済まなくなるでしょう。また、複雑な計算を高速化するための電力需要の増加や、新しいインフラが発生する熱の管理も必要です。

さらに複雑なことに、システム設計者は基本的に、飛行機を操縦しながらそれらを構築しなければなりません。機器メーカーや部品メーカーと協力して、現在のインフラの性能を最大限に引き出すと同時に、近い将来必要になるであろう、さらなる高速化に向けてアップグレードや拡張の準備をしなければならないのです。 

AI のエンドユーザーは数秒で答えを得られるかもしれません。しかし、最先端のモデルのトレーニングには時間がかかり、大型の基盤モデルの場合は一般的に 2 ～ 4 か月です。 このタイムラグは、組織が新鮮なデータを改善されたモデルやビジネス価値に変換する速度を制限します。トレーニングから導入までのサイクルを短縮することは、単なる技術的な優位性にとどまらず、経済的に不可欠な事項でもあります。

新しい自動車組立ラインを考えてみましょう。生産システムは、初日からスループット、品質、効率に関する豊富なデータセットを生成します。理論的には、そのデータはすぐに業務の最適化に利用できます。しかし実際には、AI のトレーニング サイクルが長いため、再トレーニングされたモデルが実用的な改善を実現するまで、メーカーは数カ月待たなければなりません。

より迅速なアルゴリズムのトレーニングにより、企業は AI に最適化されたプロセスをより迅速に導入し、効率性の向上とコスト削減を実現することができます。これは、データセンター ラック内の技術革新のペースがいかに広範囲に影響を及ぼすかを示す一例にすぎません。

高速化はデータセンター アーキテクチャに変革をもたらしています。 現在、800 Gb/s のモジュールが広く利用可能になり、間もなく 1.6 Tb/s のモジュールが登場します。このような高速接続の登場により、銅線ケーブルの実用的な最大長は短くなり、より多くのトラフィックが光ケーブルに移行しています。この移行により、現在利用可能なリニア プラガブル光通信や、現在も進化を続けているコパッケージド光通信などの低電力アーキテクチャ ソリューションへの関心が高まっています。ラックの内部では、GPU を集約することで、トレーニングや大規模な推論操作の際の通信ボトルネックを軽減するなどのアーキテクチャ変更が行われています。

データセンターがこうしたアーキテクチャの調整を 1 つ以上行うタイミングは、既存のインフラが顧客のニーズにどれだけ応え続けられるかによって決まります。このようなインフラ シフトの計画に向けて部品メーカーと提携することは、データセンターのインフラをより効率的にアップグレードするのに役立ちます。その間、入出力を問わないモジュール式のベースプレートにアップグレードすることで、データセンターはその切り替えの準備を迅速化することができます。また、切り替えを適切に管理することで、将来的にモジュール タイプをアップグレードし続けても、同じファイバとベースプレートを維持できるため、サーバ シャーシ全体を再設計して交換することなく、高速化を継続できます。 

速度と処理量に対応するための拡張は、接続間だけで行われるものではありません。 サーバ ポッド内でも、ポッド間でも実行できます。ポッド内でスケール アップし、より高速で強力にするためには、データセンターにおいて、ポッド内のすべてのエレメントにわたって、均一で決定論的なファブリック、拡張されたメモリ容量、予測可能なレイテンシが必要です。これらの機能に対応する部品は、スケールにも対応します。

同様に、処理負荷により動的に対応するためにポッド間で運用をスケール アウトするには、ネットワーク、電力、冷却を処理負荷に応じて拡張または縮小できる、より柔軟なポッド設計が必要となり、これは電力消費の最適化につながります。この機能は、ホットスワップ可能な電源、計装化された冷却マニホールド、ブラインド嵌合インターコネクト、計装化されたバックプレーンによって決まります。また、IT 負荷を監視するための各レイヤーでの遠隔測定や、そのような動的な構成に必要な変更に対応できる標準化された部品も必要になります。

このようなアップグレードには、より大きな電力が必要となり、発熱量も増加します。その熱を放散すること自体が、さらなる電力を必要とします。 現在、TE Connectivity は、業界全体の企業と緊密に協力して、既存のサーバ ラックに革新的かつ安全に大容量の電力を供給するとともに、データセンター（特にクラウド ハイパースケール サービスを提供するデータセンター）がより大容量のラックをサポートする新しい規格やアーキテクチャを開発し続ける中で、将来のアップグレードに向けた道筋を確立しています。平均的なフリート ラック密度は現在でも主に 10 ～ 30 kW ですが、AI トレーニング クラスタはすでに 120 ～ 132 kW と、仕様の限界に近づいています。2027 年までに AI ラックは最大 600 kW に達すると予想されており、2030 年までには一部の導入環境で 1 MW 級のラックが登場すると見込まれています。このような高密度に対応するには、非常に広い範囲のラック電力をサポートしながら、電流、銅の質量、配電損失を削減する高電圧 DC アーキテクチャが必要です。

熱的には、従来の空冷だけではこの負荷に対して十分ではありません。チップへの直接液冷は、高 TDP アクセラレータの標準となりつつあり、二相液浸やハイブリッド ソリューションは一部のケースで使用されています。次世代液冷ソリューションをサポートする光通信対応インタフェースのような部品は、温度をコントロールするのに役立ちます。

最も資本効率の高い戦略は、早期に「枠組みを固定」することです。 ラックとポッドの境界で、メカニクス、電力、冷却、入出力、テレメトリのための合理的で共有可能なパラメータを定義し、シャーシの再設計を強いることなく、シリコンとソフトウェアをその枠組み内で反復させます。データセンターが、このような大電力・広帯域の将来に向けてインフラを早く準備すればするほど、AI 業界の継続的な進歩をサポートする上で有利になります。理想的には、データセンターには、キャンパス全体を改修することなく拡張、監視、保守できる、保守性と計測機能を備えたラック インタフェースが必要です。また、業界が連携することで、この移行をより効率的に進めることができます。

TE Connectivity は、ハイパースケーラ、OEM、インテグレータと連携し、この安定した枠組みを形成する機械、電力、冷却、高速入出力の各要素（ブラインド嵌合、タッチセーフ対応の電力ネットワーク、液体冷却インタフェース、光通信対応インターコネクト）を設計することで、お客様がラックを撤去することなくコンピューティング基盤を迅速に更新できるよう支援します。

この業界の使命は明確です。柔軟性と拡張性に優れ、次のイノベーションの波に対応できるインフラによって、AI の速度ギャップをインテリジェントに解消することです。