HDFS ディレクトリと結果ファイル ストレージへのアクセス許可の構成

この手順では、ユーザーの HDFS ディレクトリを作成し、ユーザーのアクセス許可を設定し、一時ディレクトリにアクセス許可を設定する方法について説明します。YARN で Spark クラスターに接続している場合は、次の手順を実行します。

ノート：新しいワークフロー エンジンの場合は、ステップ 1 とステップ 2 を実行します。レガシー ワークフロー エンジンの場合は、ステップ 1 からステップ 5 を実行します。
    手順
  1. ユーザー「tds」の HDFS ディレクトリを作成します。このディレクトリは、アップロードされた .jar ファイル (spark-assembly.jar など) をキャッシュするために使用されます。
  2. ユーザーに、/user/tds ディレクトリに対する読み取り、書き込み、および実行の権限を付与します。
  3. ステージング ディレクトリは通常、/user として設定されます。そうでない場合は、変更した /<staging directory>/tds を使用してディレクトリを作成します。
  4. Pig ジョブを実行するために、TIBCO Data Science - Team Studio アプリケーションは、Active Directory ユーザーとしてフォルダ /user/<username> を作成しようとします。デフォルトでは、パーミッションが hdfs:supergroup:drwxr-xr-x に設定されており、TIBCO Data Science - Team Studio はそのフォルダを作成できません。TIBCO Data Science - Team Studio アプリケーションを実行している Active Directory ユーザーにそのフォルダーへの書き込みアクセスを許可するには、パーミッションを drwxrwxr-x または drwxrwxrwx に変更します。
  5. 一時ディレクトリにアクセス許可を設定します。
    YARN、Pig、および同様のジョブを実行するには、各ユーザーが一時ファイルを一時ディレクトリに書き込む必要がある場合があります。 hadoop.tmp.dir や pig.tmp.dir など、多くの Hadoop 一時ディレクトリがあり、デフォルトでは、それらはすべて /tmp ディレクトリに基づいています。したがって、さまざまなジョブを実行できるように、/tmp ディレクトリは誰でも書き込み可能である必要があります。さらに、ディレクトリ ツリーを再参照できるようにするには、誰でも実行できる必要があります。次のコマンドを使用して、/tmp 権限を設定します。
    hadoop fs -chmod +wx /tmp