Apache Spark SQL からのデータへのアクセス

Spotfire では、Apache Spark SQL システムのデータにアクセスできます。

このタスクについて

Spark SQL システムのデータに接続するには、Apache Spark SQL 用コネクタを使用します。これらのシステムのデータを操作する際に使用できる機能については、「Apache Spark SQL 用コネクタ — 機能と設定」を参照してください。

始める前に

Apache Spark SQL コネクタは、Spotfire を実行しているコンピュータ上でドライバを必要とします。「Spotfire のドライバとデータソース」を参照してください。
データベースがサポートされていることを確認するには、Apache Spark SQL コネクタのシステム要件を参照してください。

手順

[ファイルとデータ] フライアウトで、[接続先] をクリックします。
データソースのリストで、[Apache Spark SQL] を選択します。
右側のパネルで、新規接続を作成するか、または共有データ接続からデータを追加するかを選択します。
- ライブラリーから共有データ接続を開く
- 新規接続の作成

Apache Spark SQL データ接続の操作とトラブルシューティング

このタスクについて

以下は、特に Spotfire で Apache Spark SQL 接続からのデータを操作する場合に役立つ情報です。

前提条件: Spark Thrift Server

Spotfire connector for Apache Spark SQL を使用して Apache Spark SQL のデータにアクセスするには、クラスタに Spark Thrift Server をインストールする必要があります。Spark Thrift Server は、ODBC 経由での Spark SQL へのアクセスを提供し、いくつかの Hadoop ディストリビューションには既定では含まれていない可能性があります。

前提条件: spark.shuffle.service.enabled

Apache Spark 2.1 以降に接続するときにインデータベースのロード方法を使用し、分析でエラーが発生した場合は、Spark サーバーでオプション spark.shuffle.service.enabled の有効化が必要な場合があります。

カスタムクエリーにおける Apache Spark SQL の一時ビューとテーブル

カスタムクエリーを作成していて、Apache Spark SQL の一時テーブルまたはビューからデータを使用する場合は、それらのオブジェクトを修飾名を使用して参照し、オブジェクトの名前と場所の両方を指定する必要があります。必要な修飾名の形式は次のとおりです:

databaseName.tempViewName

既定では、グローバル一時ビューは global_temp データベースに格納されます。さまざまなデータベース名があり、Spotfire の使用可能なデータベーステーブルに階層構造で表示されます。global_temp データベースに格納されている myGlobalTempView というグローバル一時ビューのすべてのカラムを選択するには:

SELECT * FROM global_temp.myGlobalTempView

一時ビュー/テーブル (Spotfire の [一時ビュー] または [一時テーブル] に一覧表示されています) は、常に #temp データベースに存在します。myTempView という名前の一時ビューのすべてのカラムを選択するには:

SELECT * FROM #temp.myTempView

ユーザーエージェントのタグ付け

使用する ODBC ドライバが UserAgentEntry オプションをサポートしている場合、Spotfire はクエリーの UserAgentEntry として次の文字列を含めます。

TIBCOSpotfire/<ProductVersion>