Elasticsearch ralentir les performances des requêtes
Nous avons configuration de cluster elasticsearch avec 7 noeuds. Chaque nœud ayant une configuration comme celle -16G RAM, 8 Core cpu, centos 6.
Elasticsearch Version : 1.3.0
Un segment de Mémoire est - 9000m
1 Master (Non data)
1 Capable master (Non data)
5 Data node
Ayant des indices de 10, Dans lequel un indice ayant 55 millions de documents [ 254Gi (508Gi avec réplique) ] taille de repos tous les indices ayant environ 20k documents.
Toutes les 1 secondes il y a 5 à 10 nouveaux documents sont d'indexation.
Mais le problème est la recherche est peu lent. Près de la prise moyenne de 2000 ms à 5000 ms. Certaines requêtes sont dans 1 secondes.
Cartographie:
{
"my_index": {
"mappings": {
"product": {
"_id": {
"path": "product_refer_id"
},
"properties": {
"product_refer_id": {
"type": "string"
},
"body": {
"type": "string"
},
"cat": {
"type": "string"
},
"cat_score": {
"type": "float"
},
"compliant": {
"type": "string"
},
"created": {
"type": "integer"
},
"facets": {
"properties": {
"ItemsPerCategoryCount": {
"properties": {
"terms": {
"properties": {
"field": {
"type": "string"
},
"size": {
"type": "long"
}
}
}
}
}
}
},
"fields": {
"type": "string"
},
"from": {
"type": "string"
}
"id": {
"type": "string"
},
"image": {
"type": "string"
},
"lang": {
"type": "string"
},
"main_cat": {
"properties": {
"Technology": {
"type": "double"
}
}
},
"md5_product": {
"type": "string"
},
"post_created": {
"type": "long"
},
"query": {
"properties": {
"bool": {
"properties": {
"must": {
"properties": {
"query_string": {
"properties": {
"default_field": {
"type": "string"
},
"query": {
"type": "string"
}
}
},
"range": {
"properties": {
"main_cat.Technology": {
"properties": {
"gte": {
"type": "string"
}
}
},
"sub_cat.Technology.computers": {
"properties": {
"gte": {
"type": "string"
}
}
}
}
},
"term": {
"properties": {
"product.secondary_cat": {
"type": "string"
}
}
}
}
}
}
},
"match_all": {
"type": "object"
}
}
},
"secondary_cat": {
"type": "string"
},
"secondary_cat_score": {
"type": "float"
},
"size": {
"type": "long"
},
"sort": {
"properties": {
"_uid": {
"type": "string"
}
}
},
"sub_cat": {
"properties": {
"Technology": {
"properties": {
"audio": {
"type": "double"
},
"computers": {
"type": "double"
},
"gadgets": {
"type": "double"
},
"geekchic": {
"type": "double"
}
}
}
}
},
"title": {
"type": "string"
},
"product": {
"type": "string"
}
}
}
}
}
}
Nous utilisons Default Analyzer.
Toute Suggestion? Cette configuration n'est pas assez?
Ajouté à la cartographie. Merci
OriginalL'auteur Roopendra | 2014-10-29
Vous devez vous connecter pour publier un commentaire.
Ressemble indices peut pas tenir en mémoire, donc il y aura peu plus d'I/O disque en cours. Utilisez-vous les Ssd? Si non, vous devriez obtenir certains.
En plus de cela, votre nœuds besoin de plus de ressources (mémoire, CPU) à gérer que la taille de l'index.
Je suis un peu surpris sur les tailles ici: ~250 GO pour "seulement" 55 millions de documents est énorme et je ne vois pas de vous ranger tous les plus gros blobs (je peux me tromper, que c'est dur de voir à partir de la cartographie de la définition). Peut-être vous pouvez envisager de conserver certaines données ne sont pas analysées dans le cas où vous n'avez pas besoin de l'interroger, mais juste de le récupérer. Ce qui permettrait de réduire la taille de l'index.
Sauf ce que je n'ai pas d'autres idées, sans en connaître toutes les infrastructures plus en détail.
Dans le cas où vous avez les url et autres informations que je vous conseille à nouveau de définir les domaines comme
"index": "not_analyzed"dans la cartographie. Vous serez toujours en mesure de rechercher ceux-là, ils ne sont pas seulement sous forme de jeton/filtré etc lors de l'indexation. Cela devrait également améliorer la vitesse d'indexation beaucoup.OriginalL'auteur Torsten Engelbrecht
À ajouter à Torsten Engelbrecht, en réponse, à défaut de l'analyseur peut-être partie de la coupable. Cet analyseur de l'indice de toutes les formes de chaque mot comme une séparée, ce qui signifie qu'un seul verbe dans un langage complexe de conjugaison peut être indexé une douzaine de fois. Aussi, qui dégrade la qualité des résultats de la recherche. La même chose s'applique si vos documents contiennent des informations de mise en forme (balisage HTML ?).
Plus, les mots vides sont désactivés par défaut, ce qui signifie que chaque "le", "a"... en anglais par exemple sera indexé.
Vous devriez envisager d'utiliser localisée (analyseurs de boule de neige de l'analyseur, peut-être ?) et arrêter de mots de la langue utilisée dans votre document afin de limiter l'inverse de la taille de l'index et de cette façon, augmenter les performances.
Aussi, envisager de faire
not_analyzedchamps que md5, url, ids, et d'autres sortes de insondables champs.OriginalL'auteur xlecoustillier