Apache Spark SQL 用コネクタ — 機能と設定
Apache Spark SQL 用コネクタを使用すると、Spark SQL データベースや Databricks に接続してデータにアクセスできます。このページでは、機能、利用可能な設定、および Apache Spark SQL へのデータ接続を行う際の注意事項に関する情報を提供しています。
ページ コンテンツ
コネクタの機能
Apache Spark SQL 用コネクタを使用してデータにアクセスすると、次の機能が利用可能になります。
| 機能 | サポートについて |
|---|---|
| ロードする方法 |
|
| カスタム クエリ | はい |
| ストアド プロシージャ | はい |
| カスタム接続のプロパティ | はい |
| ID プロバイダによるシングル サインオン | はい |
| Web クライアントでのオーサリング | はい |
| Linux Web Player でのサポート | はい |
データ ソース プロパティ
サポートされているデータ ソース プロパティは次のとおりで、Apache Spark SQL 用コネクタでデータ接続を作成する際に構成できます。
| オプション | 説明 |
|---|---|
| サーバー | データが置かれているサーバーの名前です。 Spark Thrift Server がリッスンするポート番号を含めるには、名前の後にコロンに続けて指定します。 例: 既定のポート番号: |
| 認証方法 | データベースにログインする際に使用する認証方法。使用可能なオプションを以下に示します。
|
| ホスト FQDN | [Kerberos 認証でのみ使用可能] Spark Thrift Server ホストの完全修飾ドメイン名です。ホスト FQDN の詳細については、Apache Spark SQL システムのアドミニストレータに問い合わせてください。 |
| サービス名 | [Kerberos 認証でのみ使用可能] Spark サーバーの Kerberos サービス プリンシパル名です。たとえば、"spark" です。サービス名の詳細については、Apache Spark SQL システムのアドミニストレータに問い合わせてください。 |
| 領域 | [Kerberos 認証でのみ使用可能] Spark Thrift Server ホストの領域です。現在の Kerberos 設定で、既定の Kerberos 領域が構成されている場合は、空白のままにしてください。領域の詳細については、Apache Spark SQL システムのアドミニストレータに問い合わせてください。 |
| ID プロバイダ |
[ID プロバイダ (OAuth2) 認証にのみ適用されます。] データ ソースへのログインに使用する ID プロバイダを選択します。ドロップダウン メニューで使用できるオプションは、OAuth2IdentityProviders 設定に追加した ID プロバイダです。 |
| スコープ |
[ID プロバイダ (OAuth2) 認証にのみ適用されます。] スコープは、データ ソースへのログイン時に Spotfire がユーザーに代わって要求する権限を決定します。 既定
カスタム テキスト ボックスにスコープを手動で入力します。値はスペースで区切ります。 |
| Thrift 転送モード | Spark Thrift Server に要求を送信するために使用する転送モードを選択します。使用可能なオプションを以下に示します。
|
| HTTP パス | [Thrift 転送モード HTTP でのみ使用可能] 接続先の Spark サーバーに対応する URL の一部を指定します。 注: サーバー フィールドで指定したホストおよびポートに URL の一部が追加されます。
たとえば、HTTP アドレス |
| 接続タイムアウト (秒) | データベースへの接続が確立されるために許容される最大時間 (秒)。既定値は 120 秒です。 |
| コマンド タイムアウト (秒) | コマンドの実行の最長許容時間 (秒)。既定値は 1800 秒です。 |
Apache Spark SQL 接続データ ソースのカスタム プロパティ
Apache Spark SQL 接続データ ソースのカスタム プロパティとして許可されるドライバ設定の既定リストは、次のとおりです。許可されるカスタム プロパティを変更する方法については、「どのプロパティを許可するかを制御する」を参照してください。
許可される既定のカスタム プロパティ
ADUserNameCase, AOSS_AuthMech, AOSS_CheckCertRevocation, AOSS_Min_TLS, AOSS_PWD, AOSS_TrustedCerts,
AOSS_UID, AOSS_UseSystemTrustStore, AsyncExecPollInterval, AutoReconnect, BinaryColumnLength,
Canonicalization, CheckCertRevocation, ClientCert, ClientPrivateKey, ClientPrivateKeyPassword,
ClusterAutostartRetry, ClusterAutostartRetryTimeout, DecimalColumnScale, DefaultStringColumnLength,
DelegateKrbCreds, DelegationUID, DriverConfigTakePrecedence, EnableAsyncExec, EnablePKFK,
EnableQueryResultDownload, EnableStragglerDownloadMitigation, EnableSynchronousDownloadFallback,
FastSQLPrepare, ForceSynchronousExec, HTTPAuthCookies, InvalidSessionAutoRecover, LCaseSspKeyName,
MaximumStragglersPerQuery, Min_TLS, ProxyHost, ProxyPort, ProxyPWD, ProxyUID, QueryTimeoutOverride,
RateLimitRetry, RateLimitRetryTimeout, RowsFetchedPerBlock, ServiceDiscoveryMode, ShowSystemTable,
SocketTimeout, StragglerDownloadMultiplier, StragglerDownloadPadding, StragglerDownloadQuantile,
ThrowOnUnsupportedPkFkRestriction, TrustedCerts, TwoWaySSL, UseNativeQuery, UseOnlySSPI, UseProxy,
UseSystemTrustStore, UseUnicodeSqlCharacterTypesサポートされるデータ型
外部データ ソースとの接続をセットアップするときに、Spotfire ではデータ ソースのデータ型を対応する Spotfire のデータ型にマップする必要があります。以下は、Apache Spark SQL コネクタがサポートするデータ型です。
| データベースのデータ型 | Spotfire のデータ型 |
|---|---|
| BINARY | Binary |
| BOOLEAN | Boolean |
| TIMESTAMP | DateTime |
| TINYINT | Integer |
| SMALLINT | Integer |
| INT | Integer |
| BIGINT | LongInteger |
| DOUBLE | Real |
| FLOAT | SingleReal |
| STRING | String |
| DECIMAL (precision (p), scale (s)) | p = 0 および s = 0 の場合:Currency p <= 9 かつ s = 0 の場合:Integer p <=18 かつ s = 0 の場合:LongInteger p <= 15 の場合:Real その他の場合:Currency
注: 一時テーブル/ビューからの DECIMAL カラムは、精度 (p, s) が無制限 (0, 0) であるため、常に Spotfire のデータ型 Currency にマッピングされます。 |
サポートされている関数
サポートされている関数は、計算カラムやカスタム式など、インデータベース データテーブルを操作するときに使用できる関数です。
以下は、Apache Spark SQL コネクタがサポートする関数です。
| 関数の種類 | サポートされている機能 |
|---|---|
| 日付および時刻 |
DateDiff、Date_Add、Date_sub、Day、DayOfMonth、From_utc_timestamp、Hour、Minute、Month、Quarter、Second、To_date、To_utc_timestamp、Week、WeekOfYear、Year
|
| 変換 | SN
|
| 数学 |
Abs、ACos、ASin、Atan、Bin、Ceil、Ceiling、Conv、Cos、Degrees、E、Exp、Floor、Hex、Ln、Log、Log2、Log10、Negative、Pi、Pmod、Positive、Pow、Power、Radians、Rand、Round、Sign、Sin、Sqrt、Tan
|
| 演算子 |
%、+、-、*、/
|
| 統計 |
Avg、Bit_And、Bit_Or、Bool_And、Bool_Or、Corr、Count、Covar_pop、Covar_samp、Max、Min、Percentile、StdDev_Pop、StdDev_Samp、Sum、UniqueCount、Variance、Var_Pop、Var_Samp
|
| テキスト |
ASCII、Concat、Concat_ws、Find_in_set、Get_json_object、Instr、Length、Locate、Lower、Lcase、LPad、LTrim、Parse_url、Regexp_extract、Regexp_replace、Repeat、Reverse、RPad、Rtrim、Space、Translate、Trim、Ucase、Upper
|
- 一時ビュー/一時テーブル
- グローバル一時ビュー