Hadoop 接続の前提条件
このチェックリストは、典型的な Hadoop ベースのインストールで TIBCO Data Science - Team Studio のコンポーネントがすべて説明され、完了していることを確認するために提供されます。
Hadoop 接続構成には、HDFS ホスト、HDFS ポート、Jobtracker ホスト、および Jobtracker ポートが必要です。すべての Hadoop ノードのホスト名は、TIBCO Data Science - Team Studio サーバーから適切なコンピュータに解決する必要があります。TIBCO Data Science - Team Studio は、以下のフォームに入力した内容が無効な場合は、Hadoop 管理者または Hadoop 構成ファイル (*-site.xml) にアクセスできるユーザーが必要です。TIBCO Data Science - Team Studio でも、Hadoop ホスト名が解決しない場合、TIBCO Data Science - Team Studio サーバーのホスト ファイルを変更する必要がある場合があります。
接続の構成と、Hadoop クラスターが Kerberos 用に構成されていない場合のテストには、約 2 時間かかります。設定されている場合、TIBCO Data Science - Team Studio サーバー上で TIBCO Data Science - Team Studio を実行しているユーザーは、Kerberos で認証するためのキー タブを持っている必要があります。TIBCO Data Science - Team Studio は、NameNode と Jobtracker のキー タブが TIBCO Data Science - Team Studio サーバー上にあることを必要とします。これら 3 つの要素のいずれかが欠けているか無効である場合、TIBCO Data Science - Team Studio は、インストール中に連絡可能な Hadoop 管理者を必要とします。Kerberos 用に構成されたクラスタへの初期接続の設定には約 4 時間かかります。
Hadoop クラスター
| Hadoop のどのバージョンがインストールされていますか? |
|
|
| インストール中に Hadoop 管理者が対応できますか? |
|
|
| リソース マネージャーの NameNode は高可用性に対して有効になっていますか? |
|
|
| クラスターは Kerberos 用に構成されていますか? |
|
|
| クラスターは MapReduce (MRv1) または YARN (MRv2) を実行していますか? |
|
|
| HDFS および JobTracker/リソース マネージャーのホスト名は、TIBCO Data Science - Team Studio サーバーから正しいコンピューターに解決されていますか？ |
|
そうでない場合は、これらの Hadoop ホストが適切に解決されるようにホスト ファイルを構成します。 |
高可用性のない Hadoop クラスター
| HDFS のホストとポートとは何ですか? |
|
core-site.xml で fs.default.name: hdfs://HDFSHOST:HDFSPORT として見つかります。 |
高可用性を備えた Hadoop クラスター
| ネームサービスの名前は何ですか? |
|
hdfs-site.xml で dfs.nameservices: hdfs://nameservice1 として見つかります。 |
dfs.ha.namenodes.<nameservice> の値は何ですか? |
|
ネーム サービスの名前を使用して、hdfs-site.xml で見つけることができます。 |
dfs.namenode.rpc-address.<nameservice>.<namenode> の値は何ですか? |
|
ネーム サービスの名前と前の行で指定した各 NameNode を使用して、hdfs-site.xml で見つけることができます。 |
dfs.client.failover.proxy.provider.<namerservice> の値は何ですか? |
|
ネーム サービスの名前を使用して、hdfs-site.xml で見つけることができます。 |
MapReduce (MRv1)
| ジョブのホストとポートとは何ですか? |
|
mapred-site.xml で mapred.job.tracker: hdfs://JOBHOST:JOBPORT として見つかります。 |
YARN (MRv2)
| YARN リソース マネージャーのアドレスは何ですか? |
|
yarn-site.xml で yarn.resourcemanager.address として見つかります。 |
Kerberos (Kerberos が有効になっていない場合は無視します)
| TIBCO Data Science - Team Studio サーバーを認証する keytab はありますか？ |
|
|
| TIBCO Data Science - Team Studio サーバーに必要な keytab ファイル（マージされたもの、されていないもの）はありますか？ |
|
|