TDV MPPエンジン構成について

TDVを使用して、大規模なフェデレーションデータレイクとデータウェアハウスを1つの仮想データレイクとして公開し、消費するアプリケーションで利用できるようにします。TDVは、MPPスタイル処理用に新しい実行エンジンを実装しています。超並列処理(MPP)実行エンジンは、ビジネスニーズの分析処理に不可欠な高速化を提供します。MPPエンジンは、大量のデータ量のワークロードに対して、クラスター全体にまたがる複数のプロセッサーにクエリーを動的に分散します。TDVは、MPPスタイルの実行を最適化するときに、データセットボリューム、基になるソースの計算機能、ソースからの基数統計情報、TDVの計算能力を考慮します。TDVは、MPPまたはクラシックのどちらのエンジンが最適かを判断することにより、クエリーをスケジュールするハイブリッドアプローチを採用しています。MPPエンジンの使用は透過的であり、既存のDVアーティファクトを書き換える必要はありません。

MPP実行エンジンは、処理を複数のプロセッサーに分散することにより、JOIN、UNION、AGGREGATE、SORTなどの演算子を最適化します。従来の単一ノードクエリーの実行とは異なり、MPPエンジンは、上記のようなコストのかかる演算子に対して、クラスター全体のコンピューティングとメモリーを活用できます。MPP実行を選択する際には、取得するデータセットの量と、含まれるデータソースがか単一か複数を考慮する必要があります。MPPエンジンによって分析されるデータセットの場合、パーティション化されたクエリーを受信できるようにデータソースを構成する必要があります。これは、[Advanced Connection Settings(詳細接続設定)]でデータソース設定concurrentRequestLimitを0より大きい値に設定することで実行できます。

クエリーに含まれるデータセットが小さい場合、MPPエンジンを使用すると、ノード間のデータホップのセットアップ時間とネットワークコストのペナルティーが発生します。このような状況では、従来の単一ノードクエリーの実行の方がはるかに高速になります。オプティマイザーがMPP実行を考慮するしきい値を制御する、調整可能な[Minimum Partition Volume(最小パーティションボリューム)]プロパティがあります。

MPP構成の場合、データは複数のサーバーまたはノードにパーティション化され、各サーバーノードにはデータをローカルで管理するためのメモリーとプロセッサーがあります。すべての通信はネットワークを介して行われます。ディスクレベルの共有や競合はありません。TDVは、CPUコアとメモリーに関してノードが同種であることを推奨しています。