N-Gram 辞書ローダー

辞書データセット入力（N-Gram 辞書ビルダーオペレーターによって作成された出力辞書データセットとまったく同じカラムを持つ）と、N-Gram 辞書ビルダー構成ファイルの場所（N-Gram 辞書ビルダーオペレーターの学習時には常に HDFS に格納され、出力接尾辞 _dictInfo を持つ）から N-Gram 辞書オブジェクトを作成します。

情報一覧

パラメーター	説明
カテゴリー	NLP
データソースタイプ	HD
出力を他のオペレーターに送信	はい
データ処理ツール	Spark

詳細については、「N-Gram 辞書ビルダー」を参照してください。

このオペレーターを使用すると、N-Gram 辞書ビルダーオペレーターを毎回再トレーニングすることなく、N-Gram 辞書を再利用できます。N-Gram 辞書ビルダーオペレーターによって作成された辞書をカスタムの方法でフィルターし、それを新しい辞書データセットとして使用して、テキストフィーチャライザーまたは LDA トレイナーオペレーターで使用できる N-Gram 辞書オブジェクトを作成できます。

入力

N-Gram 辞書（最も一般的な N-Gram 辞書ビルダーオペレーターの出力辞書で、フィルタリングされています）を表す表データセットで、N-Gram 辞書ビルダーデータセット出力とまったく同じカラム名と型を持ちます。

制限事項

このオペレーターには、N-Gram 辞書ビルダーデータセット出力とまったく同じカラム名と型の入力が必要です。そうしないとエラーが発生します。

構成

パラメーター説明

ノートこのオペレーターのパラメーター設定に関するメモまたは役立つ情報。 [ノート] フィールドに内容を入力すると、オペレーターに黄色のアスタリスクが表示されます。

パラメーター	説明
ノート	このオペレーターのパラメーター設定に関するメモまたは役立つ情報。 [ノート] フィールドに内容を入力すると、オペレーターに黄色のアスタリスクが表示されます。
N-Gram 辞書ビルダーの設定	トレーニングされた N-Gram 辞書ビルダーオペレーターの構成パラメーターとコーパス統計が保存されている HDFS ディレクトリを選択します。ノート: これは、最初に N-Gram 辞書ビルダーオペレーターを実行するときに作成され、`_dictInfo` サフィックスを追加して N-Gram 辞書データセットの同じ出力パスに保存されている必要があります。この構成ファイルには、文書のトレーニングコーパスに関する情報と、最初に N-Gram 辞書ビルダーをトレーニングするときにユーザーが指定したオプション (ステミング、大文字と小文字の区別、ストップワード、文のトークン化など) に関する情報が含まれています。