ランタイム クラスの作成
ユーザーがアプリケーションから [実行] をクリックしたときの動作を定義します。
このチュートリアルの目標は、Spark ジョブを送信することだけです。このため、Runtime クラスは空に見えますが、拡張元の基本クラスが Spark ジョブを起動する作業を行います。
- 手順
- 次のコードを追加します。
class SimpleDatasetGeneratorRuntime extends SparkRuntimeWithIOTypedJob[SimpleDatasetGeneratorJob, IONone, HdfsTabularDataset] {}上記のコード例では、クラス
SimpleDatasetGeneratorRuntimeはSparkRuntimeWithIOTypedJobを拡張します。この基本クラスを使用すると、Spark ジョブを処理するための追加のコードを記述することなく、Spark ジョブを起動できます。これにより、Spark コードを非常に簡単に TIBCO Data Science - Team Studio プラットホームに統合できるようになります。タイプ パラメーターとして以下を渡します。SimpleDatasetGeneratorJob- Spark ジョブの名前。以下で実装します。IONone- 入力タイプ。ソース オペレーターを構築しているため、入力はありません。HdfsTabularDataset- 出力タイプ。私たちのオペレーターは、生成した新しいデータを含む HDFS 上のファイルを返します。
ノート:入力と出力のデータ型は GUI Node クラスで定義されているものと一致し、両方ともIOBaseを拡張します。
次に行うアクションSpark ジョブを作成します。