共有ボリューム データ アクセス構成

TIBCO Data Virtualization とApache Spark クラスタ間の共有ボリュームを設定することで、結果の実行を高速化できます。TIBCO Data Virtualization の Spark Cluster データ ソースと File Adapter の URL を構成する際に、tds.datavirt.sharedDataVolumes パラメータを使用して構成できます。

以下のシナリオが該当します。

  1. Spark Cluster データ ソースの構成中にtds.datavirt.sharedDataVolumes パラメータが構成されていない場合、TIBCO Data Virtualization の管理データアクセスとして知られています。

  2. tds.datavirt.sharedDataVolumes パラメータが TIBCO Data Virtualization の File Adapter と同じ値で構成されている場合、またはファイルパスが Shared Volume の下にある場合、Shared Volume Optimized データアクセスと呼ばれます。

  3. tds.datavirt.sharedDataVolumes パラメータが構成され、ファイルパスが TIBCO Data Virtualization のShared Volume配下にない場合、リモートソースのShared Volume Optimized データアクセスと呼ばれます。

推奨事項

  • 最適化されたファイルアクセスを利用するには、共有データボリュームとして S3 データ ソースを使用しないでください。他のデータ ソースを使用できます。

  • 入力と出力のスキーマは異なっていても構いません。

  • 共有データボリュームを@default_schema ワークフロー変数に割り当てます。リモート ソースへの明示的な書き込みが必要な場合を除き、すべてのオペレーターがこのスキーマを出力スキーマとして使用することを確認します。