Différence entre StandardTokenizerFactory et KeywordTokenizerFactory dans Solr?

Je suis nouveau sur Solr.Je veux savoir quand utiliser StandardTokenizerFactory et KeywordTokenizerFactory?

J'ai lu les docs sur Apache Wiki, mais je ne suis pas à l'obtenir.

Quelqu'un peut-il expliquer la différence entre StandardTokenizerFactory et KeywordTokenizerFactory?

source d'informationauteur ravidev

  1. 26

    StandardTokenizerFactory :-

    Il tokenizes sur les espaces, ainsi que les bandes de caractères

    De la Documentation :-

    Divise les mots en caractères de ponctuation, retrait de signes de ponctuation.
    Cependant, un point qui n'est pas suivie par des espaces est considéré comme faisant partie de
    un jeton. Les fractionnements de mots, traits d'union, sauf si il y a un certain nombre dans la
    jeton. Dans ce cas, l'ensemble du jeton est interprétée comme un produit
    nombre et n'est pas partagé. Reconnaît les adresses de courriel et de l'Internet
    les noms d'hôte comme un jeton.

    Serait l'utiliser pour les champs où vous souhaitez faire votre recherche sur le champ de données.

    par exemple - 

    http://example.com/I-am+example?Text=-Hello

    serait de générer des 7 jetons (séparés par des virgules) -

    http,example.com,I,am,example,Text,Hello

    KeywordTokenizerFactory :-

    Mot clé de générateur de jetons ne pas diviser l'entrée à tous.

    Pas de traitement effectué sur la chaîne, et l'ensemble de la chaîne est traitée comme une entité unique.

    Ce n'est pas réellement faire toute la segmentation. Elle renvoie le texte original comme un seul terme.

    Principalement utilisé pour le tri ou le facettage des exigences, où vous voulez correspondre exactement à la facette pour le filtrage de plusieurs mots et de tri que le tri ne fonctionne pas sur les sous domaines.

    par exemple 

    http://example.com/I-am+example?Text=-Hello

    serait de générer un seul jeton - 

    http://example.com/I-am+example?Text=-Hello