Similarité cosinus vs distance de Hamming

Si je ne me trompe, je pense que vous avez un algorithme à mi-chemin entre les deux algorithmes. Pour la distance de Hamming, utilisation:

function check ($terms1, $terms2) {
    $counts1 = array_count_values($terms1);
    $totalScore = 0;
    foreach ($terms2 as $term) {
        if (isset($counts1[$term])) $totalScore += 1;
    }
    return $totalScore * 500 / (count($terms1) * count($terms2));
}

(Notez que vous ne faites qu'ajouter 1 pour chaque appariés élément dans le jeton de vecteurs.)

Et de similarité cosinus, utilisation:

function check ($terms1, $terms2) {
    $counts1 = array_count_values($terms1);
    $counts2 = array_count_values($terms2);
    $totalScore = 0;
    foreach ($terms2 as $term) {
        if (isset($counts1[$term])) $totalScore += $counts1[$term] * $counts2[$term];
    }
    return $totalScore / (count($terms1) * count($terms2));
}

(Notez que vous êtes en train d'ajouter le produit du jeton de compte entre les deux documents.)

La principale différence entre les deux est que similarité cosinus va donner un plus fort indicateur lorsque les deux documents ont le même mot plusieurs fois dans les documents, tandis que de Hamming distance ne se soucie pas de la façon dont souvent les jetons individuels venir.

Modifier: juste remarqué que votre requête à propos de la fonction de suppression de mots, etc. Je ne vous conseille si vous allez utiliser le cosinus de similarité en fonction des mots sont très fréquents (en anglais, au moins), vous risquez de fausser un résultat pas de filtrage. Si vous utilisez de Hamming distance, l'effet ne sera pas aussi grand, mais il pourrait encore être appréciable dans certains cas. Aussi, si vous avez accès à un lemmatizer, il permettra de réduire les accidents lorsqu'un document contient des "galaxies" et l'autre contient "la galaxie", par exemple.

Quelle façon vous allez, bonne chance!

OriginalL'auteur

Voici mon code corrigé pour le Cosinus fonction de Distance posté par Toto

function cosineSimilarity($tokensA, $tokensB)
{
    $a = $b = $c = 0;
    $uniqueTokensA = $uniqueTokensB = array();

    $uniqueMergedTokens = array_unique(array_merge($tokensA, $tokensB));

    foreach ($tokensA as $token) $uniqueTokensA[$token] = 0;
    foreach ($tokensB as $token) $uniqueTokensB[$token] = 0;

    foreach ($uniqueMergedTokens as $token) {
        $x = isset($uniqueTokensA[$token]) ? 1 : 0;
        $y = isset($uniqueTokensB[$token]) ? 1 : 0;
        $a += $x * $y;
        $b += pow($x,2);
        $c += pow($y,2);
    }
    return $b * $c != 0 ? $a / sqrt($b * $c) : 0;
}

OriginalL'auteur