“Illégale séquence d'Octets” erreur lors de l'utilisation des commandes shell dans mac terminal bash

"Illégal séquence d'octets" erreur lors de la tentative d'extraire les caractères non anglais à partir d'un fichier volumineux dans MacOS shell bash.
C'est le script que je suis en train d'utilisation:

sed 's/[][a-z,0-9,A-Z,!@#$%^&*(){}":/_-|. -][\;''=?]*//g' < $1 >Abhineet_extract1.txt;
sed 's/\(.\)/\
/g' <Abhineet_extract1.txt | sort | uniq |tr -d '\n' >&1;
rm Abhineet_extract1.txt;

et voici l'erreur que j'obtiens: 

uniq: stdin: Illegal byte sequence

'+?

OriginalL'auteur Abhineet Prasad | 2013-09-23

  1. 12

    Il semble qu'une locale UTF-8 est à l'origine de Illegal byte sequence.

    Au lieu de dire:

    LC_CTYPE=C your_command

    man locale dit:

       These environment variables affect each locale categories for all
   locale-aware programs:

   LC_CTYPE

           Character classification and case conversion.
    Merci pour votre aide. L'erreur a disparu, mais la sortie ne contient plus que '+? des personnages. J'ai été l'alimentation de la sortie à partir d'une requête sqlite pour le script. J'ai formaté la sortie au format csv, puis mon script commencé à travailler.
    C'est pas très clair ce que vous dites. Veuillez mettre à jour votre question à la place.
    J'ai rencontré ce problème lors de la suppression de certaines données sensibles de mon historique de git en utilisant git filter-branch --tree-filter "find . -type f -exec sed -i -e 's/originalpassword/newpassword/g' {} \;" et cela a fonctionné comme un charme
    Alors, est-ce un problème de Tri? ne FreeBSD encore, souffrent de ce problème? ou devrais-je simplement le fichier d'un bug avec Apple et de leur dire de mettre à jour leurs anciens cul bin/utils?

    OriginalL'auteur devnull