Détecter la langue de chaîne de caractères en PHP

J'ai utilisé le Text_LanguageDetect paquet pear avec certains des résultats raisonnables. C'est très simple à utiliser, et il a une modeste 52 de la langue de base de données. L'inconvénient est la non-détection de l'est des langues Asiatiques.

require_once 'Text/LanguageDetect.php';
$l = new Text_LanguageDetect();
$result = $l->detect($text, 4);
if (PEAR::isError($result)) {
    echo $result->getMessage();
} else {
    print_r($result);
}

résultats dans:

Array
(
    [german] => 0.407037037037
    [dutch] => 0.288065843621
    [english] => 0.283333333333
    [danish] => 0.234526748971
)

Vous pourriez faire de ce côté client avec Google AJAX API de Langage (aujourd'hui disparu).

Avec le Langage AJAX API, vous pouvez traduire et de détecter la langue de blocs de texte dans une page web à l'aide de Javascript. En outre, vous pouvez activer la translittération sur n'importe quel champ de texte ou textarea dans votre page web. Par exemple, si vous avez été transliterating de l'Hindi, cette API va permettre aux utilisateurs de phonétiquement sort Hindi mots à l'aide de l'anglais et de les faire apparaître dans le Hindi script.

Vous pouvez détecter automatiquement une chaîne de langue

var text = "¿Dónde está el baño?";
google.language.detect(text, function(result) {
if (!result.error) {
var language = 'unknown';
for (l in google.language.Languages) {
if (google.language.Languages[l] == result.language) {
language = l;
break;
}
}
var container = document.getElementById("detection");
container.innerHTML = text + " is: " + language + "";
}
});

Et de traduire n'importe quelle chaîne écrite dans l'une des langues prises en charge (également disparu)

google.language.translate("Hello world", "en", "es", function(result) {
if (!result.error) {
var container = document.getElementById("translation");
container.innerHTML = result.translation;
}
});

J'ai essayé le Text_LanguageDetect bibliothèque et les résultats que j'ai obtenu n'étaient pas très bonnes (par exemple, le texte "test" a été identifié comme l'estonien et en anglais).

Je peux vous recommandons d'essayer le Yandex Traduire API qui est GRATUIT pour 1 million de caractères pour 24 heures et jusqu'à 10 millions de caractères d'un mois.
Il prend en charge (selon la documentation) plus de 60 langues.

<?php
function identifyLanguage($text)
{
$baseUrl = "https://translate.yandex.net/api/v1.5/tr.json/detect?key=YOUR_API_KEY";
$url = $baseUrl . "&text=" . urlencode($text);
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_CAINFO, YOUR_CERT_PEM_FILE_LOCATION);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, TRUE);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
$output = curl_exec($ch);
if ($output)
{
$outputJson = json_decode($output);
if ($outputJson->code == 200)
{
if (strlen($outputJson->lang) > 0)
{
return $outputJson->lang;
}
}
}
return "unknown";
}
function translateText($text, $targetLang)
{
$baseUrl = "https://translate.yandex.net/api/v1.5/tr.json/translate?key=YOUR_API_KEY";
$url = $baseUrl . "&text=" . urlencode($text) . "&lang=" . urlencode($targetLang);
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_CAINFO, YOUR_CERT_PEM_FILE_LOCATION);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, TRUE);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
$output = curl_exec($ch);
if ($output)
{
$outputJson = json_decode($output);
if ($outputJson->code == 200)
{
if (count($outputJson->text) > 0 && strlen($outputJson->text[0]) > 0)
{
return $outputJson->text[0];
}
}
}
return $text;
}
header("content-type: text/html; charset=UTF-8");
echo identifyLanguage("エクスペリエンス");
echo "<br>";
echo translateText("エクスペリエンス", "en");
echo "<br>";
echo translateText("エクスペリエンス", "es");
echo "<br>";
echo translateText("エクスペリエンス", "zh");
echo "<br>";
echo translateText("エクスペリエンス", "he");
echo "<br>";
echo translateText("エクスペリエンス", "ja");
echo "<br>";
?>

Vous pouvez voir comment détecter la langue pour une chaîne de caractères en php à l'aide de la Text_LanguageDetect Paquet Pear ou les télécharger pour les utiliser séparément comme un régulier de la bibliothèque php.

Une approche pourrait être de briser la chaîne d'entrée en mots, puis rechercher ces mots dans un dictionnaire anglais pour voir combien d'entre eux sont présents. Cette approche a quelques limitations:

• les noms propres ne peuvent pas être traités bien
• fautes d'orthographe peuvent perturber vos recherches
• abréviations comme "lol" ou "b4" ne sera pas forcément dans le dictionnaire

Je prendrais des documents de diverses langues de référence et de contre Unicode. Vous pouvez ensuite utiliser certains le raisonnement bayésien pour déterminer la langue dans laquelle il est juste de l'unicode des caractères utilisés. Ce serait séparée en français depuis l'anglais ou le russe.

Je ne sais pas exactement sur quoi d'autre qui pourrait être fait à l'exception de recherche de mots dans des dictionnaires de langue pour déterminer la langue (en utilisant une approche probabiliste).

J'ai eu de bons résultats avec https://github.com/patrickschur/language-detection et suis à l'aide de la production:

• Il utilise ngrams en langues pour détecter le plus probable de la langue (le plus long de votre chaîne /le plus de mots, le plus précis qu'il sera), ce qui semble une solide méthode éprouvée.
• De 110 langues sont prises en charge, mais vous pouvez également limiter le nombre de langues à seulement ceux qui vous intéressent.
• Formateur et de la Langue détecteur peut être facilement amélioré /adaptées. Il utilise la Déclaration Universelle des Droits de l'Homme dans chacune des langues comme la fondation pour détecter une langue, mais si vous savez quel type de phrases que vous l'expérience, vous pouvez facilement étendre ou de remplacer l'utilisé textes dans chaque langue et d'obtenir de meilleurs résultats plus rapidement. "Formation" de cette bibliothèque pour devenir meilleur, c'est facile.
• Je suggère d'augmenter setMaxNgrams (je l'ai mis à 9000) dans le Formateur et l'exécuter une fois, et puis également utiliser ce paramètre dans la Langue détecteur de classe. La modification de la ngrams nombre est un peu pas intuitif (j'ai dû chercher dans le code pour savoir comment ça fonctionne), ce qui est un inconvénient, et la valeur par défaut (310) est toujours trop faible à mon avis. Plus ngrams rend le deviner beaucoup mieux.
• Parce que la bibliothèque est très petit, il était relativement facile de comprendre ce qui se passe et comment le modifier.

Mon utilisation: j'analyse les e-mails pour un système de CRM afin de savoir dans quelle langue un e-mail a été écrit, afin d'envoyer le texte à un tiers de service n'était pas une option. Même si la Déclaration Universelle des Droits de l'Homme n'est probablement pas la meilleure base pour classer la langue de courriels (e-mails ont souvent stéréotypé, des pièces comme les salutations, qui ne font pas partie des Droits de l'Homme Déclaration), il identifie la langue appropriée dans 99% des cas, si il y a au moins 5 mots.

Mise à jour: j'ai réussi à améliorer la reconnaissance de la langue dans les e-mails en gros de 100% lors de l'utilisation de la langue-la détection de la bibliothèque avec les méthodes suivantes:

• Ajouter d'autres expressions courantes de la (les) langue échantillons, comme "Bonjour", "cordialement", "Cordialement". Ces expressions ne sont pas utilisés dans la Déclaration Universelle des Droits de l'Homme. Phrases couramment utilisées aider à la reconnaissance de la langue beaucoup, surtout ceux de formule est utilisée souvent à mon homme ("Bonjour", "bonne journée") si vous êtes l'analyse de la communication humaine.
• Définir le nombre maximal de ngram longueur de 4 (au lieu de la valeur par défaut 3).
• Garder le maxNgrams à 9000 comme avant.

Ces faire faire de la bibliothèque un peu plus lent, je vous suggère de les utiliser d'une façon asynchrone, si possible, et de mesurer la performance. Dans mon cas c'est plus que rapide et beaucoup plus précis.