データ サイエンティスト向けの Spark 最適化

TIBCO Data Science - Team Studio の多くのオペレーターは、カスタム Spark アルゴリズムを使用して実行します。多くの Spark 実装にはデフォルトの構成設定が付属していますが、これらはすべてのユース ケースに最適であるとは限りません。

TIBCO Data Science - Team Studio からSpark 設定を編集するには次の3つの方法があります。

• オペレーター設定
• Alpine.conf (ワークフロー変数を使用してワークフロー レベルで上書き可能)
• データ ソース構成

これらの各オプションのメモリやエグゼキューターなどの設定を編集できます。それぞれはアプリケーションの異なる範囲で有効になります。

Spark 設定の詳細については、公式ドキュメントを参照してください。