Spark クラスター接続の前提条件

新しいワークフローでは、次の Spark クラスター構成を完了する必要があります。

TIBCO® DV と Spark クラスタのノードは、一意の一貫した名前を持つ共有ファイルシステムを持っている必要があります。システム管理者のみがこれらの変更を行うことができます。

共有ファイル システムには、HDFS、NFS ドライブ、または Amazon S3 バケットを使用できます。HDFS 共有ドライブを使用している場合は、構成を変更するために共有ファイル システムにアクセスできる必要があります。

たとえば、NFS 共有ファイル システムの名前が tds の場合、次のように対話的にマウントできます。

sudo mkdir -p /mnt/tds
sudo mount some.host.net:/path/to/volume /mnt/tds
sudo chown -R someOtherUser /mnt/tds

ここで、root はマウント (およびアンマウント)を実行できる唯一の Linux ユーザーです。したがって、マウントの完了後に、マウント ポイント someOtherUser の所有権を変更する必要があります。 someOtherUser は、Spark ワーカー プロセス (または Hadoop YARN ノード マネージャー プロセス) を所有する Linux ユーザー名 (またはユーザー ID)です。所有者が変更されない場合、TIBCO Data Virtualization リーダー/ライター コンポーネントはマウント ポイントにアクセスできません。