Comment mettre en place un bon filtre de langage?

Alors que je sais que cette question est assez vieux, mais il est couramment question...

Il y a une raison et une autre nécessité pour les filtres de blasphèmes (voir L'entrée de Wikipedia ici), mais ils tombent souvent à court d'être précis à 100% pour de très raisons distinctes; Contexte et précision.

Elle dépend (en totalité) sur ce que vous essayez d'atteindre à la plus de base, vous êtes probablement en train de couvrir le "sept des mots sales" et puis certains... Certaines entreprises ont besoin de filtrer les plus élémentaires de blasphème: de base des gros mots, des Url ou encore de renseignements personnels et ainsi de suite, mais d'autres ont besoin pour empêcher le compte de nommage (Xbox live est un exemple) ou beaucoup plus...

Contenu généré par l'utilisateur n'est pas seulement de contenir des gros mots, il peut également contenir l'offensive des références à:

• Actes sexuels
• L'orientation sexuelle
• Religion
• Origine ethnique
• Etc...

Et, éventuellement, dans plusieurs langues. Shutterstock a développé de base de la sale-listes de mots en 10 langues à ce jour, mais il reste basique et très orienté leur marquage besoins. Il y a un certain nombre d'autres listes disponibles sur le web.

Je suis d'accord avec la accepté de répondre qu'il n'est pas défini de la science et de la comme la langue est en constante évolution défi mais où 90% le taux de capture est mieux que 0%. Elle dépend uniquement sur vos objectifs et ce que vous essayez d'atteindre, le niveau de soutien que vous avez et combien il est important de supprimer les jurons de différents types.

Dans la construction d'un filtre, vous devez tenir compte des éléments suivants et comment ils se rapportent à votre projet:

• Mots/phrases
• Acronymes (FOAD/LMFAO etc)
• Les faux positifs (des mots, des lieux et des noms comme "mal jouer", de "scunthorpe" et "titsworth')
• Url (sites porno sont une cible évidente)
• Informations personnelles (email, adresse, téléphone, etc - si applicable)
• Choix de la langue (en général l'anglais par défaut)
• Modération (comment, le cas échéant, vous pouvez interagir avec le contenu généré par l'utilisateur et ce que vous pouvez faire avec elle)

Vous pouvez facilement construire un filtre de langage qui représente 90%+ de jurons, mais vous ne serez jamais atteint 100%. C'est juste pas possible. Le plus vous voulez obtenir à 100%, plus il devient difficile... après Avoir construit un complexe de blasphème moteur dans le passé, qui a traité plus de 500K en temps réel de messages par jour, je n'avais offrent les conseils suivants:

Une base de filtre impliquerait:

• La construction d'une liste des jurons
• Le développement d'une méthode de traiter avec les dérivations de jurons

Modérément complexes filer impliquerait, (En plus d'une base de filtre):

• À l'aide de complexes pattern matching pour traiter étendue des dérivations (utilisation avancée des regex)
• Traiter avec Leetspeak (3ll3)
• Traiter avec les faux positifs

Un filtre complexe nécessiterait un nombre de la suite (En plus modeste de filtre):

• Les listes blanches et des listes noires
• L'inférence bayésienne naïve filtrage des phrases/conditions
• Soundex fonctions (où un mot ressemble à un autre)
• Levenshtein
• Découlant
• De l'homme modérateurs pour aider à guider un moteur de filtrage, pour apprendre, par exemple, ou lorsque les matchs ne sont pas assez précis sans guidage (auto/permanence-l'amélioration du système)
• Peut-être une certaine forme de IA moteur

OriginalL'auteur nickhar

Au cours d'une entrevue d'emploi de la mine, la société CTO qui m'interviewait essayé un mot/web jeu que j'ai écrit en Java. D'une liste de mots de l'ensemble de l'Oxford English dictionary, ce fut le premier mot qui m'est venu à l'être deviné?

Bien sûr, le plus immonde mot dans la langue anglaise.

D'une certaine manière, j'ai toujours l'offre d'emploi, mais j'ai ensuite découvert la profanation de la liste de mots (pas contrairement à ce l'on) et a écrit un petit script pour générer un nouveau dictionnaire, sans tous les mauvais mots (sans même avoir à regarder la liste).

Pour votre cas particulier, je pense que la comparaison de la recherche à de vrais mots sonne comme le moyen d'y aller avec une liste de mots comme ça. Les autres styles/ponctuation besoin d'un peu plus de travail, mais je doute que les utilisateurs vont l'utiliser assez souvent pour être un problème.

OriginalL'auteur Matthew

Ont un coup d'oeil à CDYNE le Filtre de langage de Service Web

Les tests URL

OriginalL'auteur Tim Cavanaugh

Concernant votre "truc" le système subquestion, vous pouvez gérer tout cela en normalisant à la fois la "mauvaise parole" de la liste et le texte entrée par l'utilisateur avant de faire votre recherche. par exemple, l'Utilisation d'une série de regexes (ou tr si PHP a) pour convertir [$z 5] de "s", [4@] à "un", etc., ensuite, comparez les normalisé "mauvais mot de la liste des" contre le texte normalisé. Notez que la normalisation pourrait potentiellement entraîner des faux positifs, bien que je ne peux pas penser à des cas réels pour le moment.

Le plus grand défi est à venir avec quelque chose qui va laisser les gens de la citation "La pen est plus puissante que l'épée", tout en bloquant la "p e n i s".

OriginalL'auteur Dave Sherohman

Si vous pouvez faire quelque chose comme Digg/Stackoverflow, où les utilisateurs peuvent downvote/marque du contenu obscène... le faire.

Alors tout ce que vous devez faire est de revoir le "méchant" des utilisateurs, et de les bloquer s'ils enfreignent les règles.

OriginalL'auteur scunliffe

Ne le font pas. Il a juste conduit à des problèmes. Un clbuttic expérience personnelle que j'ai avec les filtres de blasphèmes est le moment où j'ai été kick/ban à partir d'un canal IRC pour mentionner que j'ai été "cap sur le pont à Hancock pour un couple d'heures" ou quelque chose à cet effet.

OriginalL'auteur Adam Jaskiewicz

Une fois que vous avez une bonne table MYSQL de quelques mauvais mots que vous souhaitez filtrer (j'ai commencé avec l'un des liens dans ce fil), vous pouvez faire quelque chose comme ceci:

$errors = array();  //Initialize error array (I use this with all my PHP form validations)

$SCREENNAME = mysql_real_escape_string($_POST['SCREENNAME']); //Escape the input data to prevent SQL injection when you query the profanity table.

$ProfanityCheckString = strtoupper($SCREENNAME); //Make the input string uppercase (so that 'BaDwOrD' is the same as 'BADWORD').  All your values in the profanity table will need to be UPPERCASE for this to work.

$ProfanityCheckString = preg_replace('/[_-]/','',$ProfanityCheckString); //I allow alphanumeric, underscores, and dashes...nothing else (I control this with PHP form validation).  Pull out non-alphanumeric characters so 'B-A-D-W-O-R-D' shows up as 'BADWORD'.

$ProfanityCheckString = preg_replace('/1/','I',$ProfanityCheckString); //Replace common numeric representations of letters so '84DW0RD' shows up as 'BADWORD'.

$ProfanityCheckString = preg_replace('/3/','E',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/4/','A',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/5/','S',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/6/','G',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/7/','T',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/8/','B',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/0/','O',$ProfanityCheckString); //Replace ZERO's with O's (Capital letter o's).

$ProfanityCheckString = preg_replace('/Z/','S',$ProfanityCheckString); //Replace Z's with S's, another common substitution.  Make sure you replace Z's with S's in your profanity database for this to work properly.  Same with all the numbers too--having S3X7 in your database won't work, since this code would render that string as 'SEXY'.  The profanity table should have the "rendered" version of the bad words.

$CheckProfanity = mysql_query("SELECT * FROM DATABASE.TABLE p WHERE p.WORD = '".$ProfanityCheckString."'");
if(mysql_num_rows($CheckProfanity) > 0) {$errors[] = 'Please select another Screen Name.';} //Check your profanity table for the scrubbed input.  You could get real crazy using LIKE and wildcards, but I only want a simple profanity filter.

if (count($errors) > 0) {foreach($errors as $error) {$errorString .= "<span class='PHPError'>$error</span><br /><br />";} echo $errorString;} //Echo any PHP errors that come out of the validation, including any profanity flagging.


//You can also use these lines to troubleshoot.
//echo $ProfanityCheckString;
//echo "<br />";
//echo mysql_error();
//echo "<br />";

Je suis sûr qu'il y est un moyen plus efficace de faire toutes ces remplacements, mais je ne suis pas assez intelligent pour le comprendre (et cela semble fonctionner bien, mais inefficace).

Je crois que vous devriez vous pencher du côté de la permettant aux utilisateurs d'enregistrer et d'utiliser des humains pour filtrer et ajouter à votre blasphème table en tant que de besoin. Mais tout dépend du coût d'un faux positif (bon mot signalé comme mauvais) par rapport à un faux négatif (mauvais mot de passe à travers). Qui devrait, à terme, régissent la façon dont agressif ou conservateur que vous êtes dans votre stratégie de filtrage.

Je serais également très attention si vous souhaitez utiliser des caractères génériques, car ils peuvent parfois se comporter de manière plus onerously que vous avez l'intention.

OriginalL'auteur andrew

Franchement, je préfère laisser le "truc" le système des mots et de les bannir au lieu de cela, ce qui est juste moi. Mais aussi il rend la programmation plus simple.

Ce que je fais est de mettre en œuvre une regex filtre comme suit: /[\s]dooby (doo?)[\s]/i ou le mot est précédé sur les autres, /[\s]doob(er|ed|est)[\s]/. Ces permettrait d'éviter le filtrage des mots comme apaisé, ce qui est parfaitement valide, mais aussi d'exiger la connaissance de l'autre des variantes et de mettre à jour le filtre si vous apprenez un nouveau. Bien évidemment, ces sont tous des exemples, mais vous devez décider de la façon de le faire vous-même.

Je ne suis pas sur de saisir tous les mots que je sais, pas quand je n'en ai pas vraiment envie de les connaître.

OriginalL'auteur Robert K

J'en ai conclu, afin de créer un bon filtre de langage nous avons besoin de 3 éléments principaux, ou, au moins, c'est ce que je vais faire. C'est ce qu'ils sont:

1. Le filtre: un service d'arrière-plan qui permet de vérifier à l'encontre d'une liste noire, de dictionnaire ou quelque chose comme ça.
2. Permettent pas de compte anonyme
3. Signaler un abus

Un bonus, il sera pour les récompenser en quelque sorte ceux qui contribuent avec précision l'abus de journalistes et de punir le délinquant, par exemple, de suspendre leurs comptes.

OriginalL'auteur Jaider

Ne pas.

Parce que:

• Clbuttic
• Le blasphème n'est pas OMG MAL
• Le blasphème ne peut pas être défini
• La plupart des gens tout à fait possible de ne pas apprécier d'être "protégé" de blasphème

Edit: Alors je suis d'accord avec l'intervenant qui a dit "la censure c'est mal", ce n'est pas la nature de cette réponse.

OriginalL'auteur eyelidlessness