テンソル並列シャーディング（てんそるへいれいしゃーでぃんぐ）

最終更新：2026/4/28

テンソル並列シャーディングは、大規模なテンソルを複数のデバイスに分割し、並列処理を行うことで計算効率を向上させる技術である。

別名・同義語テンソルシャーディングモデル並列

ポイント

この手法は、モデルのパラメータサイズが単一デバイスのメモリ容量を超える場合に有効であり、深層学習モデルの学習を可能にする。

概要

テンソル並列シャーディングは、深層学習モデルの学習における計算負荷を軽減するための並列化技術の一つです。特に、大規模なモデル（例えば、数十億から数兆のパラメータを持つモデル）を扱う際に、単一のGPUやTPUではメモリ容量が不足するという問題に対処するために用いられます。

この技術では、大規模なテンソル（多次元配列）を複数の小さなテンソルに分割し、それぞれのテンソルを異なるデバイス（GPUやTPUなど）に分散して格納します。これにより、各デバイスが担当する計算量を減らし、並列処理によって全体の計算時間を短縮できます。

シャーディング（Sharding）とは、データを分割すること全般を指しますが、テンソル並列シャーディングでは、テンソルを特定の次元に沿って分割します。分割方法には、テンソルを均等に分割する方法や、デバイスの計算能力に応じて分割する方法などがあります。

テンソル並列シャーディングは、自然言語処理、画像認識、音声認識などの分野で、大規模な深層学習モデルの学習に利用されています。例えば、GPT-3やPaLMなどの巨大言語モデルの学習には、この技術が不可欠です。