Spark の値
次の設定が alpine.conf の Spark 送信に追加され、必要に応じて編集できます。これらは一部の全体的な設定を定義するために使用できますが、オペレーター レベルで定義した Spark チューニングが優先されます。
| 名前 | デフォルト値 | 注意 |
|---|---|---|
spark.yarn.api.timeout
|
5000
|
|
spark.yarn.report.interval
|
2000
|
|
spark.executor.extraJavaOpts
|
||
spark.rdd.compress
|
true
|
|
spark.io.compression.codec
|
"org.apache.
|
|
spark.eventLog.enabled
|
false
|
|
spark.dynamicAllocation.enabled
|
true
|
動的割り当てはオペレーター レベルで無効にできます。この値に関係なく、クラスターが動的割り当てを有効にするように正しく構成されている場合は、動的割り当てのみが使用されます。 |
spark.driver.maxResultSize
|
2g
|
ドライバーに戻すことができるデータの最大サイズを設定する Spark 値。 |
spark.driver.extraJavaOptions
|
-XX:MaxPermSize=
|