ワークフロー変数

ワークフロー変数を使用して、デフォルトのワークフロー パラメーターをオーバーライドすることができます。

  • この方法では、指定されたワークフローのみのパラメーターを微調整します。
  • ワークフロー変数の値は実行時に適切に置き換えられるため、設計時の柔軟性が高まります。
  • ワークフローの変数を表示するには、[アクション] ドロップダウン リスト ボックスで [ワークフロー変数] をクリックします。

デフォルトのワークフロー変数

すべてのワークフローにはデフォルトの変数が含まれており、各変数は @ 記号で始まります:

  • @default_schema : データベース出力のデフォルトのスキーマとして使用されます。
  • @default_tempdir : Hadoop 中間ファイルのデフォルト ディレクトリとして使用されます。
  • @default_prefix : 出力テーブルと出力ファイルのデフォルトのプレフィックスとして使用されます。
  • @default_delimiter : CSV ファイルおよび Hadoop ファイルのデフォルトのデータ区切り文字として使用されます。
ノート: デフォルト変数は削除できませんが、その値を変更して、ワークフロー レベルでグローバルなデフォルトをオーバーライドすることができます。

Spark ワークフロー変数

ワークフロー全体のレベルでの Spark 変数の設定はサポートされていません。実行するジョブまたはオペレーターごとに Spark パラメーターを最適化することが Spark のベスト プラクティスです。このプロセスを簡単にするために、[Spark の自動調整] を用意しており、Sparkのジョブ設定に最もパフォーマンスの高い値を選択できるようにしています。詳細については、「データ サイエンティスト向けの Spark 最適化」を参照してください。