Apache Spark SQL および Databricks からのデータへのアクセス
Spotfire では、Spark SQL および Databricks システムのデータにアクセスできます。
このタスクについて
始める前に
- Apache Spark SQL コネクタは、Spotfire を実行しているコンピュータ上でドライバを必要とします。「Spotfire のドライバとデータソース」を参照してください。
- データベースがサポートされていることを確認するには、Apache Spark SQL コネクタのシステム要件を参照してください。
手順
-
[ファイルとデータ]
フライアウトで、[接続先] をクリックします。
- データ ソースのリストで、Apache Spark SQL または Databricks を選択します。
- 右側のパネルで、新規接続を作成するか、または共有データ接続からデータを追加するかを選択します。
- Apache Spark SQL 用コネクタ — 機能と設定
Apache Spark SQL 用コネクタを使用すると、Spark SQL データベースや Databricks に接続してデータにアクセスできます。このページでは、機能、利用可能な設定、および Apache Spark SQL へのデータ接続を行う際の注意事項に関する情報を提供しています。
Apache Spark SQL データ接続の操作とトラブルシューティング
このタスクについて
前提条件:Spark Thrift Server
Apache Spark SQL 向けの Spotfire コネクタを使用して Apache Spark SQL のデータにアクセスするには、クラスタに Spark Thrift Server をインストールする必要があります。Spark Thrift Server は、ODBC 経由での Spark SQL へのアクセスを提供し、いくつかの Hadoop ディストリビューションには既定では含まれていない可能性があります。
前提条件: spark.shuffle.service.enabled
Apache Spark 2.1 以降に接続するときにインデータベースのロード方法を使用し、分析でエラーが発生した場合は、Spark サーバーでオプション spark.shuffle.service.enabled
の有効化が必要な場合があります。
Databricks SQL Analytics への接続
Databricks SQL Analytics クエリーを実行するための Apache Spark SQL 接続を作成することもできます。Databricks に接続できるようにするには、Databricks ODBC ドライバをインストールする必要があります。Apache Spark SQL コネクタのシステム要件を確認し、適切なドライバを見つけるために「Spotfire のドライバとデータ ソース」を参照してください。
実行されていない Databricks クラスタ
まだ実行されていない Databricks クラスタに接続すると、最初の接続試行によってクラスタの開始がトリガーされます。これには数分かかる場合があります。Spotfire が正常に接続されると、[データベース] 選択メニューにデータが入力されます。接続がタイムアウトした場合は、もう一度 [接続] をクリックする必要があります。
カスタム クエリーにおける Apache Spark SQL の一時ビューとテーブル
カスタム クエリーを作成していて、Apache Spark SQL の一時テーブルまたはビューからデータを使用する場合は、それらのオブジェクトを修飾名を使用して参照し、オブジェクトの名前と場所の両方を指定する必要があります。必要な修飾名の形式は次のとおりです:
databaseName.tempViewName
既定では、グローバル一時ビューは global_temp
データベースに格納されます。さまざまなデータベース名があり、Spotfire の使用可能なデータベース テーブルに階層構造で表示されます。global_temp データベースに格納されている myGlobalTempView
というグローバル一時ビューのすべてのカラムを選択するには:
SELECT * FROM global_temp.myGlobalTempView
一時ビュー/テーブル (Spotfire の [一時ビュー] または [一時テーブル] に一覧表示されています) は、常に #temp
データベースに存在します。myTempView
という名前の一時ビューのすべてのカラムを選択するには:
SELECT * FROM #temp.myTempView
ユーザー エージェントのタグ付け
使用する ODBC ドライバが UserAgentEntry
オプションをサポートしている場合、Spotfire はクエリーの UserAgentEntry
として次の文字列を含めます。
TIBCOSpotfire/<ProductVersion>