データセンターで働いているデータ エンジニア

TE の視点

AI データセンターが直面する課題:電力、速度、冷却

著者:Sajjad Ahmed、Director of R&D and Engineering, Digital Data Networks

人工知能(AI)が継続的に収益を生み出すためには、データセンターのさらなる高速化が不可欠です。しかも、その高速化は飛躍的なレベルで求められています。 AIモデルは世代を重ねるごとに性能が向上しますが、その学習には依然として長い時間を要します。その要因は、AIモデルの学習を担うGPU(グラフィックス処理装置)に転送できるデータ量が、現状では限られていることにあります。より高速な処理を実現するための競争はすでに始まっています。しかし、その実現には、より多くのデータをより高速に処理できるようインフラを強化するだけでは十分ではありません。複雑な演算処理を高速化するために必要となる電力の確保に加え、新しいインフラが生み出す熱への対応も求められます。

 

さらに状況を複雑にしているのは、システムアーキテクトが、いわば「飛行機を飛ばしながら組み立てる」ような状況に置かれていることです。現在のインフラの性能を最大限に引き出すために機器メーカーや部品メーカーと連携しながら、近い将来必要となるさらに高速なシステムへのアップグレードと拡張にも同時に備えなければなりません。

AIの収益化を左右する「速度」

AIの利用者は数秒で回答を得られますが、最先端のAIモデルを学習させるには時間がかかります。大規模な基盤モデルでは、 通常2~4か月を要します。このタイムラグにより、企業は最新データを改良されたAIモデルや新たなビジネス価値へと結び付けるまでに時間を要します。学習から実運用までのサイクルを短縮することは、技術的な優位性にとどまらず、経済的にも重要な課題です。

 

例えば、新しい自動車の組立ラインでは、稼働初日から生産量、品質、効率に関する膨大なデータが生成されます。本来であれば、そのデータを直ちに活用して生産性を最適化できるはずです。しかし実際には、AIの学習に時間がかかるため、再学習したモデルによる改善効果を現場で活用できるようになるまで、数か月待たなければなりません。

 

AIアルゴリズムの学習速度が向上すれば、AIによる最適化をより短期間で現場に適用できるようになります。その結果、生産効率の向上やコスト削減を早期に実現できます。これは、データセンターラック内で進む技術革新が、さまざまな産業に幅広い影響をもたらすことを示す一例です。

デジタル変革の概念、高速化

高速化の進展は光ファイバーケーブルが担う

通信の高速化は、データセンターのアーキテクチャにも変化をもたらしています。 現在では800Gbpsモジュールが広く利用されており、1.6Tbpsモジュールも間もなく登場する見込みです。こうした高速接続の普及に伴い、銅線ケーブルで実用的に伝送できる距離は短くなり、より多くの通信が光ファイバーケーブルへ移行しています。

 

この変化を受け、現在利用可能なリニアプラガブルオプティクス(Linear Pluggable Optics:LPO、システム全体の消費電力と遅延の低減を目指す光接続方式)や、開発が進められているコパッケージドオプティクス(Co Packaged Optics:CPO、光接続をプロセッサ近傍に統合する技術方式)といった、低消費電力のアーキテクチャへの関心が高まっています。また、ラック内部では、AIモデルの学習や大規模バッチ推論時の通信ボトルネックを低減するため、GPUを集約するアーキテクチャの採用も進んでいます。

 

データセンターがこうしたアーキテクチャの変更を実施するタイミングは、既存のインフラがどの程度顧客の要求を満たし続けられるかによって異なります。こうしたインフラの変化を見据え、部品メーカーと連携して計画を立てることで、より効率的にインフラをアップグレードすることが可能になります。

 

また、入出力インターフェースに依存しないモジュール式ベースプレートへ早期に移行することで、将来の切り替えに向けた準備を進めることができます。適切に移行を進めれば、今後モジュールの種類を更新する際にも、既存の光ファイバーやベースプレートをそのまま利用できます。その結果、サーバーシャーシ全体を再設計・交換することなく、通信速度を継続的に向上させることが可能になります。

スケール アップ(ポッド内)およびスケール アウト(ポッド間)

速度と処理能力を向上させるためのスケーリングは、接続性能の向上だけではありません。 サーバーポッド(GPUやサーバーをひとまとまりに構成した計算単位)内でのスケールアップ(単一システム内の性能向上)と、複数のポッド間でのスケールアウト(システム数を増やして性能を拡張すること)の両方が重要になります。

 

ポッド内でスケールアップし、より高速かつ高性能なシステムを実現するには、一貫した通信性能を提供するネットワークファブリック(GPUやサーバー間を接続する通信基盤)、拡張されたメモリ容量、そしてポッド内のすべての構成要素において予測可能な遅延特性が求められます。これらを支えるコンポーネントは、システム全体の拡張性向上にも貢献します。

 

同様に、ワークロードに応じて複数のポッド間で柔軟に処理を分散するためには、ネットワーク、電力、冷却を需要に応じて拡張・縮小できる、より柔軟なポッド設計が必要です。これにより、消費電力を最適化できます。

 

こうした機能を実現するには、ホットスワップ対応電源、監視機能を備えた冷却マニホールド、ブラインドメイト接続(位置合わせを容易にした着脱式接続)、監視機能付きバックプレーンが不可欠です。また、IT負荷を監視するための各レイヤーでのテレメトリー機能(システム状態を継続的に収集・監視する仕組み)に加え、このような動的な構成変更に対応できる標準化されたコンポーネントも必要になります。

電力と冷却は設計における最優先事項へ

こうしたアップグレードには、より多くの電力が必要となり、それに伴って発生する熱も増加します。 そして、その熱を冷却するためにも、さらに多くの電力が必要になります。

 

TE Connectivityは業界各社と緊密に連携し、既存のサーバーラックへより多くの電力を安全に供給するための技術開発を進めています。同時に、特にクラウドのハイパースケールサービス(大規模クラウドサービス)を提供するデータセンターが、より高容量のラックに対応する新たな標準やアーキテクチャを採用していくことを見据え、将来のアップグレードへの道筋も整えています。

 

現在、一般的なサーバーラックの電力密度は10~30kWが主流ですが、AI学習クラスターではすでに120~132kWと、現行仕様の上限に迫るレベルに達しています。2027年までにはAIラックの消費電力は最大600kWに達し、2030年頃までには一部で1MW級ラックの導入も始まると予測されています。こうした高密度化に対応するには、高電圧DCアーキテクチャの採用が不可欠です。これにより、電流や銅使用量、配電時の電力損失を抑えながら、幅広いラック電力要件に対応できるようになります。

 

熱対策の面でも、こうした高負荷環境では従来の空冷だけでは十分ではありません。高TDPアクセラレーター向けには、チップへ直接冷却液を供給するダイレクトトゥチップ液冷が急速に標準となりつつあり、一部では二相浸漬冷却やハイブリッド冷却も採用されています。次世代の液冷システムに対応する光インターフェースなどのコンポーネントは、システムの温度管理を支える重要な役割を担います。

将来の変化に対応する設計:基盤は一度構築し、その上で進化を続ける

設備投資効率を高める最も有効な戦略は、ラックやポッドの境界における機械設計、電力、冷却、入出力、テレメトリーに関する共通の設計基準を早い段階で定めることです。 そして、その共通基盤を維持したまま、シリコンやソフトウェアを進化させられるようにすることで、サーバーシャーシ全体を再設計する必要がなくなります。

 

データセンターが、高電力・高帯域幅時代を見据えたインフラ整備を早期に進めるほど、AI業界の継続的な進化を支える体制をより確実に構築できます。理想的には、データセンターには、施設全体を大規模に改修することなく、拡張、監視、保守を行える保守性と監視機能を備えたラックインターフェースが求められます。そして、業界全体が連携することで、この移行をより効率的に進めることが可能になります。

 

TE Connectivityは、ハイパースケーラー、OEM、システムインテグレーターと連携し、この共通基盤を構成する機械設計、電力供給、冷却、高速入出力技術の開発を進めています。これには、ブラインドメイト方式で安全性に配慮した電力供給ネットワーク、液冷インターフェース、光通信対応インターコネクトなどが含まれます。これにより、お客様はラック全体を更新することなく、コンピューティング性能を迅速に進化させることができます。

 

業界が取り組むべき使命は明確です。柔軟性、拡張性、そして次世代の技術革新に対応できるインフラを構築し、AIの処理速度に関する課題を着実に解決していくことです。

著者について

Sajjad Ahmed

Sajjad Ahmed は、デジタルデータネットワーク事業部のR&Dおよびエンジニアリング担当ディレクターで、アドバンスド エンジニアリング&ソリューション チームを率いて、グローバルなお客様と緊密に連携しながら、次世代インターコネクト アーキテクチャの開発を推進しています。20年以上にわたり、エンジニアリング組織の設計と拡大をリードしてきた経験を持ち、複数分野にわたる高度な技術知識と、量産化における課題を解決する実績を兼ね備えています。これまでコンピューティング業界の発展を支える数多くの技術革新を実現しており、現在も世界中のデータセンターの未来を形づくる技術開発を牽引しています。