YARN 構成値
クラスターに関する情報を読み取るには、クラスターに接続されている YARN API にアクセスします。YARN API に接続できない場合 (通常はセキュリティまたはポートがブロックされているため)、クラスター サイズには次のデフォルト値が使用されます。
| 名前 | 注意 |
|---|---|
assumed.yarn.number.nodes = "4"
|
クラスターで使用可能なノードの数 (したがってコンテナーの数)。 |
assumed.yarn.scheduler.maximum.allocation.vcores = "15"
|
YARN 構成ファイル内の想定される仮想コアの数。YARN に到達できる場合は、yarn.scheduler.maximum.allocation.vcores を使用します。それ以外の場合は、「想定」値が使用されます。クラスターで使用可能な仮想コアの合計を取得できない場合は、それがノード数とコンテナーごとのコアの積であり、コンテナーがノードのサイズであると想定されます。 |
assumed.yarn.scheduler.maximum.allocation.mb= "8000"
|
各 YARN コンテナーで使用できると想定されるメモリ (メガバイト単位)。YARN 設定ファイルから yarn.scheduler.maximum.allocation.mb 値を取得できる場合は、それを使用します。それ以外の場合は、「想定」値が使用されます。これは、ドライバーとエグゼキューターのメモリを制限するために使用される値です。クラスター上で利用可能なリソースを特定できない場合、クラスター上で利用可能なメモリはノード数にこの値を乗算したものであると想定されます。 |