ランタイム クラスの作成

ユーザーがアプリケーションから [実行] をクリックしたときの動作を定義します。

このチュートリアルの目標は、Spark ジョブを送信することだけです。このため、Runtime クラスは空に見えますが、拡張元の基本クラスが Spark ジョブを起動する作業を行います。
    手順
  1. 次のコードを追加します。
    class SimpleDatasetGeneratorRuntime extends SparkRuntimeWithIOTypedJob[SimpleDatasetGeneratorJob,
      IONone, HdfsTabularDataset] {}

    上記のコード例では、クラス SimpleDatasetGeneratorRuntimeSparkRuntimeWithIOTypedJob を拡張します。この基本クラスを使用すると、Spark ジョブを処理するための追加のコードを記述することなく、Spark ジョブを起動できます。これにより、Spark コードを非常に簡単に TIBCO Data Science - Team Studio プラットホームに統合できるようになります。タイプ パラメーターとして以下を渡します。

    • SimpleDatasetGeneratorJob - Spark ジョブの名前。以下で実装します。
    • IONone - 入力タイプ。ソース オペレーターを構築しているため、入力はありません。
    • HdfsTabularDataset - 出力タイプ。私たちのオペレーターは、生成した新しいデータを含む HDFS 上のファイルを返します。
    ノート:入力と出力のデータ型は GUI Node クラスで定義されているものと一致し、両方とも IOBase を拡張します。
次に行うアクションSpark ジョブを作成します