Spark への変換/Non-Spark への復帰

バージョン 6.4 より前に作成したワークフローがあり、ワークフロー内のオペレーターが Spark (ノード融合オペレーター) を使用できるようになった場合は、オペレーターごとにオプションを個別に設定せずに、すべてのオペレーターが Spark を使用するように設定できます。同様に、Spark を使用するオペレーターがいないワークフローをバージョン 6.4 より前の状態に戻したい場合は、オペレーターごとにオプションを個別に設定せずに行うことができます。

デフォルトでは、既存のワークフロー オペレーターには、no に設定された Spark を使用するオプションがあり、アップグレードの影響はありません。既存または新しいワークフローの新しいオペレーターの [Spark を使用する] はデフォルトで [はい] に設定されています。
始める前に[アクション] メニューにアクセスするには、ワークフロー キャンバスでワークフローを開いている必要があります。

ワークフローを 6.4 以降に更新しておく必要があります。

  • 使用可能なすべてのノード フュージョン オペレーターを [Spark を使用する] = [はい] に更新する方法は次のとおりです。
    [アクション] ドロップダウン メニューから、[Spark に変換] をクリックします。このオプションを設定すると、Spark Node Fusion を使用して既存のワークフローを実行できるようになります。
    ノート: 行フィルター (DB) および、変数 (DB) オペレーターでは、[Spark を使用する] が [はい] に設定されている場合、高度な構文は Pig ではなくSpark SQL を使用します。
  • すべてのオペレーターを Non-Spark バージョンに戻す方法は次のとおりです。
    [アクション] ドロップダウン メニューから、[Non-Spark に戻す] をクリックします。これを行うと、ワークフローが 6.4 より前の状態に戻ります。