NLP の使用例

トレーニング セットとテスト セットを使用して、NLP オペレーターを使用してデータからいくつかの特徴を作成し、分類および混同行列を実行してモデルがどの程度うまく機能するかを確認します。

1. トレーニング データでは、N-Gram 辞書ビルダー を使用して、特徴の作成に使用される単語の辞書を作成します。トークン化と解析のオプションを指定します。辞書ビルダーは、トレーニング コーパス内の N-Gram (単語またはフレーズ) の辞書を作成します。モデルのトレーニングまたは予測のためにデータセットを特徴づけるときは、同じ N-Gram 辞書ビルダーを使用して、同じ N-Gram から特徴を作成していることを確認する必要があります。

   N-Gram 辞書ビルダーは、ドキュメントをトークン化する方法も定義します。このトークン化は、トレーニング データとテスト データ全体で一貫している必要もあります。N-Gram 辞書ビルダーの構成オプションの詳細については、ヘルプ トピックを参照してください。ただし、この使用例では、デフォルトのオプションを使用しています。

   N-Gram 辞書ビルダーの出力には、すべてのドキュメント内のすべての N-Gram、それらの N-Gram の出現頻度、および出現するドキュメントの数が表示されます。

   

   また、すべてのドキュメントに関する統計も提供されます。

   

   N-Gram 辞書ビルダーは テキスト フィーチャライザー以外の TIBCO Data Science - Team Studio オペレーターに接続できません。ただし、表形式の出力は HDFS に書き込まれます。この出力を使用するには、結果を保存するために指定した場所に移動し、その結果ファイルをワークフロー キャンバスにドラッグします。 (ここで辞書の結果を使用して実行できるもう 1 つの例は、並べ替えオペレーターを介して実行して、どの N-Gram が最も多くのドキュメントに出現したかを確認することです。)

2. テキスト フィーチャライザー オペレーターを使用して、最もよく使用される 500 語を辞書から選択します。次に、メッセージごとに、各単語が何回出現したかをスコア化します。

   トレーニング セットとテスト セットの両方に機能を提供するために、次のことを行います。

   1. テキスト フィーチャライザー オペレーターをトレーニング データと N-Gram 辞書ビルダーの両方に接続します。
   2. テキスト フィーチャライザー オペレーターをテスト データおよび N-Gram 辞書ビルダーに接続します。
   3. 各オペレーターを次の設定で構成します。

   設定	構成
   テキスト カラム	text_content
   N-Gram の選択方法	Appear in the Most Documents
   選択する一意の N-Gram の最大数 (または特徴ハッシュ サイズ)	500
   各 N-Gram とドキュメントの計算	Normalized N-Gram Count
   カラム名として N-Gram 値を使用する	No
   保存形式	CSV
   出力ディレクトリ	@default_tempdir/tsds_out
   出力名	@operator_name_uuid
   出力を上書き	true
   高度な Spark 設定の自動最適化	Yes

   トークン化された記事ごとに、選択した 500 個の N-Gram のそれぞれが出現した回数をカウントし、ドキュメント内のトークンの数に対してカウントを正規化します。したがって、記事の長さに比べてその単語がどのくらいの頻度で出現するかの指標を計算しています。 [保持するカラム] フィールドで computer_type カラムを選択することで、それを分類アルゴリズムの従属変数として使用します。

   各テキスト フィーチャライザーの結果は、各行が 1 つの記事を表し、各カラムが数値特徴であるデータセットです。

   最初のカラムは、保持するために選択した元のデータセットのカラムです。この場合、computer_type カラムの 1 つだけを保持することを選択しています。次の 4 つのカラムには、各記事に関する一般的な統計が含まれています。

   • number_of_tokens - 記事内のトークン (単語) の数。
   • normalized_number_tokens - すべての記事の平均トークン数に対して正規化された、記事内のトークンの数。
   • number_unique_tokens - 記事内の固有の単語の数。
   • normalize_number_unique_tokens - コーパスの平均に対して正規化された上記。

   

   次の 500 カラムはそれぞれ、最もよく使用される N-Gram の 正規化されたカウント数を表します。 ngram1_count_normalized は、トレーニング コーパス内の最もよく使われる N-Gram のドキュメントごとの正規化されたカウント数です。

   ngram1 はまだ不明です。これを調べるために、結果の [N-Grams to Column Names] セクションを確認します。

   この例では、ngram1 が from のトークンであることに注意してください。

   

   これで、各ドキュメント内の N-Gram の頻度を表す数値カラムと、そのドキュメントのカテゴリを含む 1 つのカテゴリー カラムを含むデータセットができました。この例では最も単純な分類アルゴリズムを使用していますが、テキスト データは TIBCO Data Science - Team Studio のほぼすべての分析能力と統合できます。TIBCO Data Science - Team Studio トランスフォーメーション オペレーターを使用して、データをさらにクリーンにして処理できます。サマリー統計などの探査オペレーターを使用して、コーパスのコンテンツを探索できます。ドキュメントを新しい、これまで知られていなかったカテゴリに分類できます。回帰アルゴリズムのいずれかを使用すると、一部の N-Gram の存在が他の N-Gram に依存しているかどうかを確認できます。トレーニングされた分類アルゴリズムの上にタッチポイントを構築して、新しいドキュメントを分類することもできます。

3. ナイーブ ベイズを使用した分類モデリング は、テキスト分類に使用される最も一般的なアルゴリズムの 1 つです。ここでは ナイーブ ベイズ を特徴化されたデータセットに適用し、新しいドキュメントを Mac または IBM ユーザー グループのいずれかに分類できる分類器を構築しています。

   特徴化されたデータセットを ナイーブ ベイズ オペレーターに接続し、ドキュメント カテゴリを従属カラムとして使用し、独立変数としてテキスト特徴 (たとえば、Ngram1_normalize_count) または (Doc_count) を使用しています。

   オプションで、エクスポートを使用してこのモデルをエクスポートできます。代わりに、ワークフローでこれを使用して、新しいドキュメントの題材を予測しています。