TIBCO Data Science - Team Studio の Spark クラスターへの接続

Spark クラスターは、低遅延の反復ジョブとインタープリターからの対話型使用のために設計された、MapReduce に似たクラスター コンピューティング フレームワークです。Scala、Java、Python、R のクリーンな言語統合 API と、一般的な実行グラフをサポートする最適化されたエンジンを提供します。さらに、SQL および構造化データを処理するための Spark SQL、pandas ワークロード用の Spark 上の Pandas API、機械学習用の MLlib、グラフ処理用の GraphX、増分計算とストリーム処理用の Structured Streaming など、幅広い高度なツールがサポートされています。

Spark クラスターは、タスクを完了するために連携して動作するドライバー プログラム、クラスター マネージャー、ワーカー ノードの組み合わせです。SparkContext を使用して、クラスター全体のプロセスを調整できます。SparkContext は、アプリケーション間でリソースを分散するさまざまなクラスター マネージャーに接続できます。接続すると、Spark はクラスター内のノード上でエグゼキューターを取得します。エグゼキューターは、アプリケーションの計算を実行し、データを保存するプロセスです。次に、エグゼキューターはアプリケーション コード (SparkContext に提供される JAR または Python ファイルで指定)を受け取り、SparkContext は実行のためにタスクをエグゼキューターに送信します。

次の図は、Spark クラスターを視覚化するのに役立ちます。

TIBCO Data Science - Team Studio 7.1.0 は、Apache Spark 3.2 のワークフローでのみ使用可能な Spark クラスター バージョン 3.3 をサポートしています。これらのワークフローは、データ処理に Spark SQL を使用する最新のオペレーターで構成されています。

ファイル ストレージ システムを使用すると、すべてのデータ セットを 1 つのサーバーに保存するのではなく、無限の数のサーバーに大規模なデータ セットを保存できます。ファイル ストレージは、Spark クラスター (ローカル) に関連付けられたファイル システム、または Spark クラスターの外部 (リモート)のいずれかになります。Apache Spark 3.2 以降のクラスターには専用のファイル ストレージ システムがありません。いずれの場合も、ファイル ストレージ システムとして使用できるのは TIBCO® Data Virtualization のみです。

ファイルやデータが Spark クラスターの外部に保存されている場合、Spark が分析処理を実行できるように、データはSpark クラスターにコピーされます。一方、ファイルやデータが TIBCO® DV に接続されたデータベースに格納されている場合、Spark クラスターが分析処理を実行できるように、データはすでに利用可能になっている。この場合、データのコピー、転送、移動がないため、パフォーマンスが最適化されます。

Spark クラスター マネージャー

TIBCO Data Science - Team Studio は、異なる Spark クラスター マネージャーを使用して複数の異なる Spark システムに接続できます。TIBCO Data Science - Team Studio の 7.1.0 バージョンでは、以下の Spark クラスター マネージャーがサポートされています