ファイル ストレージへのエクスポート

アップストリームのオペレーターからのデータをファイル ストレージ (AWS S3 など) に書き込みます。

情報一覧

ノート: このオペレーターは、TIBCO® Data Virtualization および Apache Spark 3.2 以降でのみ使用できます。

カテゴリー ツール
データ ソース タイプ TIBCO® Data Virtualization
出力を他のオペレーターに送信 いいえ
データ処理ツール TIBCO® DV、Spark

アルゴリズム

このオペレーターは、アップストリームのオペレーターからファイル ストレージ (AWS S3 など) に Parquet 形式でデータを書き込む機能を提供します。ファイル ストレージのデフォルトのディレクトリ パスは、TIBCO Data Science - Team Studio の設定ファイル（Alpine.config）で設定されたパスになります。結果のテーブルは、TIBCO® DV で指定されたスキーマにパブリッシュされます。

オペレーターは、クラスターのリソースと Spark データ フレームのサイズによって制限されます。

入力

単一の表形式のデータセット。

構成

パラメーター 説明
ノート このオペレーターのパラメーター設定に関するメモまたは役立つ情報。 [ノート] フィールドに内容を入力すると、オペレーターに黄色のアスタリスクが表示されます。
出力スキーマ TIBCO® DV データセットが公開されるスキーマ。ユーザーは、"出力スキーマ"."結果テーブル名"のデータにアクセスできます。
結果テーブル名 ファイル ストレージに保存されているデータセットの名前。ファイル名に空白は使用できません。

出力

ビジュアル出力
出力: 書き込むデータセット。
サマリー: データが書き込まれるファイルストレージへのフルパスと、データがパブリッシュされる TIBCO Data Virtualization テーブルスキーマを表示します。
後続のオペレーターへのデータ出力
ダウンストリーム オペレーターで使用するデータベース テーブル。

例

説明

この例では、データセットに行フィルター オペレーターを適用し、ファイル ストレージへのエクスポート (TDV) オペレーターを使用してデータを AWS S3 に書き込みます。

ファイル ストレージ (TDV) へのエクスポートのワークフロー例

データ

  • カニ: カニの種類とグラフィック データを含むデータセット。

    • 173 行

    • 7 カラム

パラメーター

  • 出力スキーマ: Compute_S3

  • 結果テーブル名: alp@user_id@flow_id@....
結果: 出力

ファイルストレージへのエクスポート (TDV) の例の出力パネル

サマリー

s3://tdv-test/output/alp_206_Export_to_File_Storage_TDV__OP2.parquet への書き込み

"Compute_S3"."alp3_206_Export_to_File_Storage__TDV__OP2" にパブリッシュ