Erreur lors de l'importation Tensorflow en Python 2.7 sous Ubuntu 12.04. 'GLIBC_2.17 non trouvé"

J'ai juste réussi à installer tensorflow 0.12rc0 sur CentOS 6.5 avec la glibc 2.12, sans avoir les privilèges root. Simplement en installant tensorflow binaires via le pip a été de me donner une erreur, liée à la version de la GLIBC ainsi.

Fondamentalement, vous avez 4 options pour faire face à cette (chacune avec certains avantages et inconvénients):

Option 1 - Mise à niveau de votre système de GLIBC à l'échelle mondiale.

C'est, probablement, la meilleure option, si votre système prend en charge cette, vous avez les privilèges de root, et que vous êtes persuadé que cette mise à jour ne va pas casser quoi que ce soit pour une raison ou une autre. En fin de compte, cela va jusqu'à la mise à niveau de l'ensemble de la distribution Linux. Ici's une belle petite liste de défaut sur les versions de la GLIBC sur les distributions.

Option 2 - Ajouter la deuxième GLIBC pour votre système

La compilation ou de télécharger les binaires. Le plus simple&simple option. Surtout si vous avez seulement besoin de exécuter quelques scripts simples.

• Il est possible d'avoir plusieurs versions de la glibc sur le même système, mais il faut le faire avec un grand soin.
• Vous n'aurez pas de détruire votre système, si tous vos modifications seraient limitées à un environnement virtuel.
• De nombreux programmes, installer/compiler avant de peut-être en s'appuyant sur l'ancienne bibliothèque GLIBC, voudrais juste crash dans votre nouvel environnement (par exemple, votre IDE python). Y compris les plus élémentaires de commandes bash, comme "lc", "cd", etc.
• D'autres effets secondaires comme d'importantes fuites de mémoire sont également possibles.
• Donc, c'est une très mauvaise idée de ajouter un nouveau GLIBC normal de votre environnement, par exemple via .bashrc.
• D'autre part, si vous avez besoin d'un outil spécifique dans votre nouvel environnement virtuel, vous pouvez le recompiler, de se lier à nouveau de la GLIBC. Donc, qu'il soit OK dans votre nouvel environnement.
• Cependant, personnellement, j'ai vite renoncé recompiler tout ce dont j'ai besoin dans un nouvel environnement (sans racine et un gestionnaire de paquets).
• Un approche légèrement différente est officiellement proposé par la GLIBC les développeurs, pour les essais de nouveaux GLIBC construit.

Option 3 - Patch tensorflow

Cette peuvent travailler pour la TF de la version 0.6.0, mais vous auriez probablement recommencer à partir de zéro, lors de chaque nouvelle tensorflow version est disponible. E. g. ici's un correctif pour 0.9.0.

Option 4 - Compiler tensorflow à partir de la source

Si vous le re-compiler à partir des sources et de lien à l'encontre de votre existant, GLIBC, plus récent, GLIBC ne serait plus nécessaire. D'une certaine façon, cette option n'a pas été mentionné dans la réponse ici encore. À mon humble avis, c'est la meilleure option, à la fois "en général", et "spécialement pour tensorflow".

• Ceci fonctionne bien avec r0.11 et serait probablement travailler pendant des années, mais théoriquement, il pourrait briser dans certains nouveaux tensorflow version, si ils décident de fait l'usage d'une nouvelle GLIBC fonctionnalité, n'est pas présent dans les anciennes versions.
• Pour être honnête, bâtiment tensorflow à partir de la source n'est pas simple, en particulier sur les systèmes obsolètes.

Un rapide résumé de "construction de tensorflow sur le système obsolète":

Bien que le guide officiel fournit une "l'installation à partir des sources" section, il ya quelques trucs que vous devez faire pour construire sur un système désuet. Ici, je suppose, que vous n'avez pas les privilèges root (si vous ne le faites - vous sera probablement en mesure d'installer le même pré-requestities avec un gestionnaire de paquet, plutôt manuellement les construire à partir de la source).

J'ai trouvé deux bien documenté histoires de réussite: #1, #2 et un certain nombre de posts sur le github (surtout sur un ensemble de bibliothèques de lien à l'intérieur du binaire): #1, #2, #3, #4. J'ai dû combiner les astuces, décrit on à réussi à compiler TF dans mon cas.

1. Tout d'abord, vérifiez votre gcc --version, et vérifier qu'il prend en charge le c++11. Le mien était 4.4.7, de sorte qu'il ne fonctionne pas. J'ai téléchargé gcc-4.9.4 le code source, et compilé. Cette étape est assez simple, mais la compilation elle-même peut prendre quelques heures. Comme une solution de contournement pour un problème avec les sections de bazel, j'ai compilé avec gcc des chemins codés en dur à as,ld et nm. Cependant, vous pouvez essayer une autre solution: (Un, Deux).

   #!/bin/sh
   
   unset LIBRARY_PATH CPATH C_INCLUDE_PATH 
   unset PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE LD_LIBRARY_PATH
   
   cd gcc-4.9.4
   ./contrib/download_prerequisites
   
   mkdir objdir
   cd objdir
   
   
   # I've added --disable-multilib to fix the following error:
   # /usr/bin/ld: crt1.o: No such file: No such file or directory
   # collect2: ld returned 1 exit status
   # configure: error: I suspect your system does not have 32-bit 
   # developement libraries (libc and headers). If you have them,
   # rerun configure with --enable-multilib. If you do not have them, 
   # and want to build a 64-bit-only compiler, rerun configure 
   # with --disable-multilib.           
   
   ../configure --prefix=$HOME/opt/gcc-4.9.4 \
                --disable-multilib \
                --disable-nls \
                --enable-languages=c,c++ \
                --with-ld=/usr/bin/ld \
                --with-nm=/usr/bin/nm \
                --with-as=/usr/bin/as
   
   make        
   make install

2. Vérifier votre java --version. Avec les sections de bazel requiert JDK 8, installer si nécessaire. (Ils fournir certains jdk7 téléchargements connexes, pour avec les sections de bazel-0.4.1 mais il semble comme ils le jugent obsolète)

3. J'ai créé une use_gcc_4.9.4.sh fichier, avec les variables d'environnement nécessaires. J'utilise source ./use_gcc_4.9.4.sh quand j'ai besoin de quelque chose lié à ce nouveau compilateur.

   #!/bin/sh
   this=$HOME/opt/gcc-4.9.4
   export PATH=$this/bin:$PATH
   export CPATH=$this/include:$CPATH
   export LIBRARY_PATH=$this/lib:$LIBRARY_PATH
   export LIBRARY_PATH=$this/lib64:$LIBRARY_PATH
   export LD_LIBRARY_PATH=$this/lib:$LD_LIBRARY_PATH
   export LD_LIBRARY_PATH=$this/lib64:$LD_LIBRARY_PATH

4. Le courant avec les sections de bazel binaire (0.4.1) nécessite la GLIBC 2.14, nous avons donc à compiler avec les sections de bazel à partir de la source ainsi (avec notre nouveau gcc). OK, à moins que vous ne sont autorisé à exécuter un nombre très limité de threads sur la machine cible. (Cette post décrit quelques autres solutions de contournement, mais dans mon cas, ils n'étaient pas nécessaires, peut-être en raison des récentes mises à jour avec les sections de bazel code.)

5. Obtenir tensorflow code source git clone https://github.com/tensorflow/tensorflow, et installer les composants requis vous avez besoin d' (CUDA,cuDNN,python, etc). Voir guide officiel.

6. Si vous n'utilisez pas le système par défaut de gcc (par exemple, si vous avez eu à compiler plus récente de gcc, comme discuté ci-dessus), ajouter les liens suivante drapeaux à tensorflow/third_party/gpus/crosstool/CROSSTOOL.tpl, ligne 59:

   linker_flag: "-L/home/username/localinst/opt/gcc-4.9.4/lib64"
   linker_flag: "-Wl,-rpath,/home/username/localinst/opt/gcc-4.9.4/lib64"

   Sans cette étape, vous seriez probablement rencontrer un message d'erreur comme cette:

   # ERROR: /home/username/localdistr/src/tensorflow/tensorflow/tensorflow/core/debug/BUILD:33:1: null failed: protoc failed: error executing command bazel-out/host/bin/external/protobuf/protoc '--cpp_out=bazel-out/local_linux-py3-opt/genfiles/' '--plugin=protoc-gen-grpc=bazel-out/host/bin/external/grpc/grpc_cpp_plugin' ... (remaining 8 argument(s) skipped): com.google.devtools.build.lib.shell.BadExitStatusException: Process exited with status 1.
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by bazel-out/host/bin/external/protobuf/protoc)
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.8' not found (required by bazel-out/host/bin/external/protobuf/protoc)
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.18' not found (required by bazel-out/host/bin/external/protobuf/protoc)

7. Enfin, pour éviter la GLIBC dépendances, nous devons lier statiquement certaines bibliothèques, par l'ajout de la -lrt de l'éditeur de liens drapeau (peut-être -lm ainsi). J'ai trouvé plusieurs posts, ce qui suggère d'ajouter cela dans une manière différente:

   • via avec les sections de bazel ligne de commande (peut sembler raisonnable, mais ne fonctionne pas pour moi au courant tensorflow version, en quelque sorte),
   • via "avec les sections de bazel-tensorflow/externe/protobuf/BUILD"(pas sûr si cela fonctionne, mais cela n'a pas l'air commode ce fichier n'est créé lors de la tentative de construire lui-même)

   • via "third_party/gpu/crosstool/CROSSTOOL.tpl" (le même fichier que nous avons juste modifié à l'étape précédente, juste en dessous des lignes, nous avons déjà ajouté).

     linker_flag: "-lrt"
     linker_flag: "-lm"

   • via "tensorflow/tensorflow.bzl" (fonctionne pour moi, mais moins pratique simplement parce que vous devez modifier un autre fichier. Je n'en suis pas sûr à 100% de l'équivalent du point précédent)

   Sans -lrt j'ai couru dans la GLIBC, spécifique à la version d'erreur à nouveau, en essayant de import tensorflow:

   # ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/username/anaconda3/envs/myenvname/lib/python3.5/site-packages/tensorflow/python/_pywrap_tensorflow.so)

   Sans -lm vous pouvez exécuter en cette (pour moi, il s'est avéré être pas nécessaire).

8. Exécuter le processus de construction.

    source ./use_gcc_4.9.4.sh
    ./configure
    bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
    bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
    pip install --upgrade /tmp/tensorflow_pkg/tensorflow-0.12.0rc0-cp35-cp35m-linux_x86_64.whl

1. Essayez d'exécuter la suite de simple script python pour tester si les choses les plus élémentaires du fonctionnement:

   import tensorflow as tf
   hello = tf.constant('Hello, TensorFlow!')
   sess = tf.Session()
   print(sess.run(hello))
   
   a = tf.constant(10)
   b = tf.constant(32)
   print(sess.run(a + b))

Ok, donc, ici, est l'autre solution que j'ai mentionné dans mon réponse précédente, c'est plus compliqué, mais il faut toujours travailler sur des systèmes avec la GLIBC>=2.12 et GLIBCXX>=3.4.13.
Dans mon cas, c'était sur un CentOS 6.7, mais c'est aussi très bien pour Ubuntu 12.04.

Nous allons avoir besoin d'une version de gcc qui prend en charge le c++11, soit sur une autre machine ou un isolé installer; mais pas pour le moment.

Ce que nous allons faire ici est de modifier le _pywrap_tensorflow.donc binaire, dans le but de weakify' son libc et libstdc++ dépendances, de sorte que ld accepte de lier les bouchons, nous allons faire. Ensuite, nous allons nous faire de ces talons pour les symboles manquants, et enfin nous allons pré-charge de tout cela lors de l'exécution de python.

Tout d'abord, je tiens à remercier Jacques pour son excellent article ( http://www.lightofdawn.org/wiki/wiki.cgi/NewAppsOnOldGlibc ) et de précieux conseils, je n'aurais pas pu le faire sans lui.

Donc, nous allons commencer par weakifying les dépendances, c'est juste sur le remplacement de la droite octets dans _pywrap_tensorflow.donc. Veuillez noter que cette étape ne fonctionne que pour la version actuelle de tensorflow (0.6.0). Donc, si ce n'est pas déjà fait, créer et activer votre virtualenv si vous en avez un (si vous n'êtes pas admin virtualenv est une solution, une autre est d'ajouter --user drapeau à pip de commande), et installer tensorflow 0.6.0 (remplacer le cpu par gpu dans l'url si vous voulez que le gpu de la version) :

pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.6.0-cp27-none-linux_x86_64.whl

Et nous allons weakify tous les ennuyeux dépendances, voici la commande pour la version du processeur de tensorflow:

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xC6A93C 0xC6A99C 0xC6A9EC 0xC6AA0C 0xC6AA1C 0xC6AA3C; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

Et voici le gpu un (exécuter seulement de la bonne ou vous aurez corrompu le fichier binaire):

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xDC5EA4 0xDC5F04 0xDC5F54 0xDC5F74 0xDC5F84 0xDC5FA4; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

Vous pouvez le vérifier avec:

readelf -V ${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so

Avoir un oeil sur l'article si vous voulez comprendre ce qui se passe ici.

Maintenant, nous allons faire les stubs pour le manque de la libc symboles:

mkdir ~/my_stubs
cd ~/my_stubs
MYSTUBS=~/my_stubs
printf "#include <time.h>\n#include <string.h>\nvoid* memcpy(void *dest, const void *src, size_t n) {\nreturn memmove(dest, src, n);\n}\nint clock_gettime(clockid_t clk_id, struct timespec *tp) {\nreturn clock_gettime(clk_id, tp);\n}" > mylibc.c
gcc -s -shared -o mylibc.so -fPIC -fno-builtin mylibc.c

Vous besoin pour effectuer cette étape sur la machine avec les dépendances manquantes (ou à la machine, avec les mêmes versions de bibliothèques standard (dans un cluster par exemple)).

Maintenant, nous allons probablement changer de machine, car nous avons besoin d'un gcc qui prend en charge le c++11, et il n'est probablement pas sur la machine qui manque de toutes les dépendances (ou vous pouvez utiliser un isolé installer une version récente de gcc). Dans la suite, je suppose que nous sommes encore dans ~/my_stubs et en quelque sorte vous partagez votre maison à travers les machines, sinon vous aurez juste à copier le .donc les fichiers que nous allons générer quand c'est fait.

Donc, un tampon que nous pouvons faire pour libstdc++, et pour les autres disparus, nous allons à la compilation de gcc source (cela peut prendre un certain temps pour cloner le dépôt):

printf "#include <functional>\nvoid std::__throw_bad_function_call(void) {\nexit(1);\n}" > bad_function.cc
gcc -std=c++11 -s -shared -o bad_function.so -fPIC -fno-builtin bad_function.cc
git clone https://github.com/gcc-mirror/gcc.git
cd gcc
mkdir my_include
mkdir my_include/ext
cp libstdc++-v3/include/ext/aligned_buffer.h my_include/ext
gcc -I$PWD/my_include -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hashtable.so -fPIC -fno-builtin libstdc++-v3/src/c++11/hashtable_c++0x.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/chrono.so -fPIC -fno-builtin libstdc++-v3/src/c++11/chrono.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/random.so -fPIC -fno-builtin libstdc++-v3/src/c++11/random.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hash_bytes.so -fPIC -fno-builtin ./libstdc++-v3/libsupc++/hash_bytes.cc

Et c'est tout! Vous pouvez maintenant exécuter un tensorflow script python par préchargement tous nos bibliothèques partagées (et votre local libstdc++):

LIBSTDCPP=`ldconfig -p | grep libstdc++.so.6 | grep 64 | cut -d' ' -f4` #For 64bit machines
LD_PRELOAD="$MYSTUBS/mylibc.so:$MYSTUBS/random.so:$MYSTUBS/hash_bytes.so:$MYSTUBS/chrono.so:$MYSTUBS/hashtable.so:$MYSTUBS/bad_function.so:$LIBSTDCPP" python ${TENSORFLOW_DIR}/models/image/mnist/convolutional.py

🙂

Que l'erreur provient principalement si votre GNU C Library n'est pas à jour.
Vous pouvez vérifier quelle version vous êtes en cours d'exécution à l'aide d'un simple

$ ldd --version

La sortie devrait ressembler à ceci:

ldd (Ubuntu EGLIBC 2.19-0ubuntu6.6) 2.19
Copyright (C) 2014 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.
There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

La 2.19 est votre version de la GLIBC. Pour mettre à niveau, vous pouvez visiter le GNU C Library projet de site web et de télécharger la dernière version.
Le lien vers la dernière de la glibc est ici : GNU C library Télécharger
Au moment de la rédaction de cette réponse de la dernière version stable était de 2,22.

J'ai essayé de courir tensorflow sur les deux Ubuntu 12.04 et 14.04. Ubuntu 14.04 ne jetez pas ce problème car il est livré avec la glibc 2.19 installé par défaut.

Espère que cela aide.

Le lien de @Théo T la réponse est plus de travail, donc j'ai dû essayer plusieurs solutions de rechange pour enfin en trouver un qui fonctionne.

mkdir ~/my_libc_env
cd ~/my_libc_env
wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.deb
wget http://launchpadlibrarian.net/137699829/libc6-dev_2.17-0ubuntu5_amd64.deb
wget ftp://ftp.icm.edu.pl/vol/rzm5/linux-slc/centos/7.0.1406/cr/x86_64/Packages/libstdc++-4.8.3-9.el7.x86_64.rpm
ar p libc6_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
ar p libc6-dev_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
rpm2cpio libstdc++-4.8.3-9.el7.x86_64.rpm| cpio -idmv

Exécuter du code python avec tensorflow

LD_LIBRARY_PATH="$HOME/my_libc_env/lib/x86_64-linux-gnu/:$HOME/my_libc_env/usr/lib64/" $HOME/my_libc_env/lib/x86_64-linux-gnu/ld-2.17.so `which python` your_program.py

Avis: vous devez télécharger le paquet deb par votre plate-forme:

x86:

https://launchpad.net/ubuntu/raring/i386/libc6/2.17-0ubuntu5.1

wget http://launchpadlibrarian.net/151932048/libc6_2.17-0ubuntu5.1_i386.deb
sudo dpkg -i libc6_2.17-0ubuntu5.1_i386.deb

x64:

https://launchpad.net/ubuntu/raring/amd64/libc6/2.17-0ubuntu5.1

wget http://launchpadlibrarian.net/151925896/libc6_2.17-0ubuntu5.1_amd64.deb
sudo dpkg -i libc6_2.17-0ubuntu5.1_amd64.deb

Test sur mon Ubuntu 12.04 x64.

J'ai eu "version" GLIBC_2.14" introuvable " lors de l'importation de tensorflow en python. Réussi à importer tensorflow dans python3.5 sur Centos6.6 à l'aide de virtualenv:

mkdir ~/tensorflow
cd ~/tensorflow
virtualenv --system-site-packages -p python3.5 ~/tensorflow
source bin/activate
wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.deb
wget http://launchpadlibrarian.net/137699829/libc6-dev_2.17-0ubuntu5_amd64.deb
wget ftp://195.220.108.108/linux/mageia/distrib/4/x86_64/media/core/updates/libstdc++6-4.8.2-3.2.mga4.x86_64.rpm
wget https://rpmfind.net/linux/centos/7.4.1708/updates/x86_64/Packages/glibc-2.17-196.el7_4.2.i686.rpm
ar p libc6_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
ar p libc6-dev_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
rpm2cpio libstdc++6-4.8.2-3.2.mga4.x86_64.rpm | cpio -idmv
rpm2cpio glibc-2.17-196.el7_4.2.i686.rpm | cpio -idmv
pip3.5 install --upgrade tensorflow
export PYTHONPATH="$HOME/tensorflow/lib/python3.5/site-packages/"
alias tfpython='LD_LIBRARY_PATH="$HOME/tensorflow/lib/x86_64-linux-gnu/:$HOME/tensorflow/usr/lib64/" $HOME/tensorflow/lib/x86_64-linux-gnu/ld-2.17.so /usr/local/bin/python3.5'
tfpython

J'ai eu le même problème et trouvé la solution suivante:

conda install tensorflow