Éviter les messages dupliqués sur JMS/ActiveMQ

Est-il un moyen de supprimer les messages dupliqués sur une file d'attente définie sur ActiveMQ serveur?

J'ai essayé de définir manuellement JMSMessageID, (message.setJMSMessageID("id unique")), mais le serveur ignore cette modification et de livrer un message avec construit-dans générés JMSMessageID.

Par la spécification, je n'ai pas trouvé la référence sur la façon de déduplication des messages.

Dans HornetQ, pour faire face à ce problème, nous avons besoin de déclarer le QG de la propriété spécifique org.hornetq.de base.message.impl.HDR_DUPLICATE_DETECTION_ID sur la définition du message.

c'est à dire:

Message jmsMessage = session.createMessage();
String myUniqueID = "This is my unique id"; //Could use a UUID for this
message.setStringProperty(HDR_DUPLICATE_DETECTION_ID.toString(), myUniqueID);

Quelqu'un sait si il y a une solution similaire pour les ActiveMQ?

InformationsquelleAutor Andre Pastore | 2011-02-08

7

Vous devriez regarder Apache Camel, il offre un Idempotent de consommation composant qui fonctionne avec n'importe quel fournisseur JMS, voir: http://camel.apache.org/idempotent-consumer.html

L'aide de qui, en combinaison avec la ActiveMQ composant rend l'utilisation de JMS assez simple, voir:
http://camel.apache.org/activemq.html
- Je suis dans le doute si cette méthode permettra de résoudre mon problème. J'ai besoin de garder qu'un seul exemple de message avec le même JMSMessageID seulement au cours de cette instance est dans la file d'attente. J'ai besoin de ce travail comme un Ensemble. Je veux être en mesure de mettre l'autre message avec le même JMSMessageID après la dernière idem élément a été retiré de la file d'attente. J'ai besoin d'implémenter et de tester. Mais, en se basant sur la Quantité décrite sur EAI livre, je pense que le concept ne correspond à mon état de nécessité. Mais, la solution proposée est la bonne. Je vais étudier plus à ce sujet et commentaire ici mes résultats. Merci
InformationsquelleAutor Tim Bish
5

Je doute si ActiveMQ prend en charge en mode natif, mais il devrait être facile à mettre en œuvre un idempotent de consommation. Une façon de le faire serait d'ajouter un identifiant unique pour chaque message le producteur de la fin, maintenant au consommateur final à l'aide d'un magasin(db, cache etc), une vérification peut être effectuée pour voir si le message a été reçu et continuent de processus sur la base de cette vérification.

Je vois un précédent stackoverflow question du même ordre - Apache ActiveMQ 5.3 - Comment configurer une file d'attente pour rejeter les messages en double? , qui peut également aider.

InformationsquelleAutor Biju Kunjummen
4

Il y a maintenant la possibilité de supprimer les messages en double cuit dans ActiveMQ transports. Voir les valeurs de configuration auditDepth et auditMaximumProducerNumber dans le Guide De Configuration De La Connexion.
- comment fait-on pour configurer ces paramètres pour éviter les doublons?
- Je ne suis pas sûr de ce que vous demandez. Comment, en général, pour appliquer la configuration dans ActiveMQ? Ou quelles sont les valeurs à utiliser pour ces champs particuliers?
- C'est juste qu'à partir de la description de paramètres, il n'a pas l'air si clair pour moi. Le auditDepth par exemple, la valeur c'est le Nb de messages ou le nb d'octets qui sera projeté en arrière doubles comptes? Concernant la auditMaximumProducerNumber, cela signifie qu'il ya un nombre limité de producteurs qui seront projetés? Btw, si un message avec le même contenu est publié par 2 les différents abonnés, c'est le message par hasard considéré comme dupliqué?
- IIUC ces paramètres pour garantir la détection de doublons pour 2048 de messages sur jusqu'à 64 producteurs. Mais comment ne ActiveMQ déterminer ce qu'est un doublon? Si c'est par JMSMessageID puis nous sommes de retour à la case départ, parce que nous ne pouvons pas jeu de.
InformationsquelleAutor Chris Pitman

Il y a un moyen de faire ActiveMQ pour filtrer les doublons en fonction de JMS propriété. il consiste à écrire un Activemq Plugin. Une base de courtier filtre qui envoie des messages en double à la deadletter de la file d'attente serait comme cette

import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.apache.activemq.broker.Broker;
import org.apache.activemq.command.Message;
import org.apache.activemq.command.ActiveMQMessage;
import org.apache.activemq.broker.BrokerFilter;
import org.apache.activemq.broker.ConnectionContext;
import org.apache.activemq.command.ConnectionInfo;
import org.apache.activemq.broker.ProducerBrokerExchange;
public class DuplicateFilterBroker extends BrokerFilter {
String messagePropertyName;
boolean switchValue;
public DuplicateFilterBroker(Broker next, String messagePropertyName) {
super(next);
this.messagePropertyName = messagePropertyName;
}
public boolean hasDuplicate(String propertyValue){
switchValue = propertyValue;
return switchValue;
}
public void send(ProducerBrokerExchange producerExchange, Message msg) throws Exception { 
ActiveMQMessage amqmsg = (ActiveMQMessage)msg; 
Object msgObj = msg.getMessage(); 
if (msgObj instanceof javax.jms.Message) { 
javax.jms.Message jmsMsg = (javax.jms.Message) msgObj; 
if (!hasDuplicate(jmsMsg.getStringProperty(messagePropertyName))) {
super.send(producerExchange, msg);
}
else {
sendToDeadLetterQueue(producerExchange.getConnectionContext(), msg);
} 
}
}  
}

certainement une très très belle façon de résoudre ce problème.

InformationsquelleAutor Monachus

0

Semblent la voie qui est suggéré dans la question, les travaux de l'ActiveMQ trop (2016/12). Voir la activemq-artemis guide. Cela nécessite le producteur pour définir une propriété spécifique dans le message.
```
Message jmsMessage = session.createMessage();
String myUniqueID = "This is my unique id";   //Could use a UUID for this
message.setStringProperty(HDR_DUPLICATE_DETECTION_ID.toString(), myUniqueID);
```
Cependant la classe contenant la propriété est différente:
org.apache.activemq.artemis.core.message.impl.HDR_DUPLICATE_DETECTION_ID et la valeur de la propriété est _AMQ_DUPL_ID.

InformationsquelleAutor Gab

Vous devez vous connecter pour publier un commentaire.