Fehler beim importieren von Tensorflow in Python 2.7 in Ubuntu 12.04. 'GLIBC_2.17 nicht gefunden"

Ich habe es gerade geschafft zu installieren tensorflow 0.12rc0 auf CentOS 6.5 mit glibc 2.12, ohne root-Rechte. Einfach installieren tensorflow binäre via pip war mir ein Fehler, im Zusammenhang mit der GLIBC-version als auch.

Grundsätzlich haben Sie 4 Möglichkeiten, wie man mit diesem (jeweils mit einigen vor-und Nachteile):

Option 1 - Upgrade Ihr system GLIBC weltweit.

Dies ist, wahrscheinlich, die beste option, wenn Ihr system dies unterstützt, haben Sie root-Privilegien, und Sie sind zuversichtlich, dass dieses upgrade nicht etwas zu brechen, aus irgendeinem seltsamen Grund. Letztlich, dies geht bis zur Modernisierung der gesamten Linux-distribution. Hier's eine schöne kurze Liste der Standard-GLIBC-Versionen auf populäre Distributionen.

Option 2 - Add zweite GLIBC auf Ihrem system

Kompilieren oder download binary. Die meisten einfachen&einfache option. Vor allem, wenn Sie brauchen nur zu führen Sie einige einfache Skripte.

• Es möglich ist mehrere glibc-Versionen auf dem gleichen system, aber man sollte dies mit größter Sorgfalt.
• Sie nicht zerstören, Ihr system, wenn Sie alle Ihre änderungen beschränkt sich auf eine virtuelle Umgebung.
• Viele Programme installiert/kompiliert werden, bevor Sie sein könnten Berufung auf alte GLIBC, würde einfach Abstürzen in Ihrem neuen Umfeld (z.B. python-IDE). Einschließlich der meisten grundlegende bash-Befehle, wie "lc", "cd", etc.
• Andere Nebenwirkungen wie erhebliche Speicher-Lecks sind auch möglich.
• So, es ist eine sehr schlechte Idee,fügen Sie neue GLIBC zu Ihrem normalen Umfeld, z.B. über .bashrc.
• Auf der anderen Seite, wenn Sie benötigen einige spezifische Werkzeug in Ihrer neuen virtuellen Umgebung, Sie können kompilieren Sie es, die Verknüpfung von gegen die neue GLIBC. So, dass es funktionieren würde, OK in Ihrer neuen Umgebung.
• Aber persönlich, habe ich schnell aufgegeben Neukompilierung alles was ich brauche in einer neuen Umgebung (ohne root und ein Paket-manager).
• Eine etwas anderen Ansatz ist offiziell angeboten von GLIBC-Entwickler, für die Prüfung der neuen GLIBC baut.

Option 3 - Patch tensorflow

Diese für TF-0.6.0, aber Sie würden wahrscheinlich haben, um wieder von vorne anzufangen, wenn jede neue tensorflow version veröffentlicht wird. E. g. hier's ein Update für 0.9.0.

Option 4 - Kompilieren tensorflow von der Quelle

Wenn Sie re-kompilieren aus dem Quellcode und link mit Ihrem vorhandenen GLIBC, neuere GLIBC wäre nicht mehr nötig. Irgendwie, wird diese option nicht erwähnt wurde in jeder Antwort hier noch. Imho, ist dies die beste option, die beide " im Allgemeinen " und "speziell für tensorflow".

• Dies funktioniert OK mit r0.11 und wahrscheinlich wäre die Arbeit für Jahre, aber theoretisch, könnte es brechen in einigen der neueren tensorflow version, wenn Sie entscheiden würde, tatsächlich verwenden einige neue GLIBC-Funktionen nicht in älteren Versionen.
• Um ehrlich zu sein, Gebäude tensorflow aus den Quellen ist nicht einfach, insbesondere auf veralteten Systemen.

Eine kurze Zusammenfassung der "Gebäude-tensorflow auf veraltete system":

Obwohl der offizielle Leitfaden bietet eine "die Installation aus Quellen" Abschnitt, es gibt paar tricks, die Sie tun müssen, um es zu bauen auf einem veralteten system. Hier gehe ich davon aus, dass Sie nicht über root-Privilegien (wenn Sie es tun - Sie würden wahrscheinlich in der Lage sein zu installieren die gleichen vor-requestities mit einem Paket-manager, sondern Sie manuell erstellen Sie von der Quelle).

Fand ich zwei gut dokumentierte Erfolgsgeschichten: #1, #2 und eine Reihe von nützlichen Beiträgen im offiziellen github (meist über eine Reihe von Bibliotheken link in der binären): #1, #2, #3, #4. Ich hatte zu kombinieren tricks beschrieben, die es erfolgreich zu kompilieren TF in meinem Fall.

1. Zuerst von allen, überprüfen Sie Ihre gcc --version, und überprüfen, dass es unterstützt c++11. Mir war 4.4.7, so wird es nicht funktionieren. Ich habe heruntergeladen gcc-4.9.4-source-code, und es kompiliert. Dieser Schritt ist ziemlich einfach, aber die Zusammenstellung selbst nehmen kann einige Stunden. Als ein workaround für ein Problem in bazel, das ich zusammengestellt habe gcc mit hardcoded Pfade zu as,ld und nm. Jedoch können Sie versuchen, eine andere workarounds: (Eins, Zwei).

   #!/bin/sh
   
   unset LIBRARY_PATH CPATH C_INCLUDE_PATH 
   unset PKG_CONFIG_PATH CPLUS_INCLUDE_PATH INCLUDE LD_LIBRARY_PATH
   
   cd gcc-4.9.4
   ./contrib/download_prerequisites
   
   mkdir objdir
   cd objdir
   
   
   # I've added --disable-multilib to fix the following error:
   # /usr/bin/ld: crt1.o: No such file: No such file or directory
   # collect2: ld returned 1 exit status
   # configure: error: I suspect your system does not have 32-bit 
   # developement libraries (libc and headers). If you have them,
   # rerun configure with --enable-multilib. If you do not have them, 
   # and want to build a 64-bit-only compiler, rerun configure 
   # with --disable-multilib.           
   
   ../configure --prefix=$HOME/opt/gcc-4.9.4 \
                --disable-multilib \
                --disable-nls \
                --enable-languages=c,c++ \
                --with-ld=/usr/bin/ld \
                --with-nm=/usr/bin/nm \
                --with-as=/usr/bin/as
   
   make        
   make install

2. Überprüfen Sie Ihre java --version. Bazel erfordert JDK 8 installieren Sie es, falls erforderlich. (Sie immer noch bieten einige jdk7 Verwandte downloads zum bazel-0.4.1, aber es sieht aus wie Sie halten es für veraltet)

3. Habe ich einen separaten use_gcc_4.9.4.sh - Datei mit den erforderlichen Umgebungsvariablen. Ich benutze source ./use_gcc_4.9.4.sh wenn ich so etwas im Zusammenhang mit diesem neuen compiler.

   #!/bin/sh
   this=$HOME/opt/gcc-4.9.4
   export PATH=$this/bin:$PATH
   export CPATH=$this/include:$CPATH
   export LIBRARY_PATH=$this/lib:$LIBRARY_PATH
   export LIBRARY_PATH=$this/lib64:$LIBRARY_PATH
   export LD_LIBRARY_PATH=$this/lib:$LD_LIBRARY_PATH
   export LD_LIBRARY_PATH=$this/lib64:$LD_LIBRARY_PATH

4. Den aktuellen bazel binäre (0.4.1) benötigt GLIBC-2.14, so müssen wir kompilieren bazel von der Quelle als auch (mit unserem neuen gcc). Funktioniert OK, es sei denn, Sie sind nur die Ausführung erlaubt eine sehr begrenzte Anzahl von threads auf der Ziel-Maschine. (Diese post beschreibt einige zusätzliche workarounds, aber in meinem Fall wurden Sie nicht benötigt, vielleicht wegen der letzten updates in bazel-code.)

5. Erhalten tensorflow Quellcode git clone https://github.com/tensorflow/tensorflow, und installieren Voraussetzungen Sie brauchen (CUDA,cuDNN,python, etc). Sehen official guide.

6. Wenn Sie nicht mit dem Standard-gcc (z.B. wenn Sie hatte zu kompilieren neuere gcc, wie oben beschrieben), fügen Sie die folgenden linker-flags zu tensorflow/third_party/gpus/crosstool/CROSSTOOL.tpl, Zeile 59:

   linker_flag: "-L/home/username/localinst/opt/gcc-4.9.4/lib64"
   linker_flag: "-Wl,-rpath,/home/username/localinst/opt/gcc-4.9.4/lib64"

   Ohne diesen Schritt, werden Sie wahrscheinlich laufen in Fehlermeldungen wie diese:

   # ERROR: /home/username/localdistr/src/tensorflow/tensorflow/tensorflow/core/debug/BUILD:33:1: null failed: protoc failed: error executing command bazel-out/host/bin/external/protobuf/protoc '--cpp_out=bazel-out/local_linux-py3-opt/genfiles/' '--plugin=protoc-gen-grpc=bazel-out/host/bin/external/grpc/grpc_cpp_plugin' ... (remaining 8 argument(s) skipped): com.google.devtools.build.lib.shell.BadExitStatusException: Process exited with status 1.
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by bazel-out/host/bin/external/protobuf/protoc)
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.8' not found (required by bazel-out/host/bin/external/protobuf/protoc)
   # bazel-out/host/bin/external/protobuf/protoc: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.18' not found (required by bazel-out/host/bin/external/protobuf/protoc)

7. Schließlich, um zu vermeiden, GLIBC Abhängigkeiten, wir haben zu statisch link einige Bibliotheken, indem die -lrt linker-flag ( vielleicht -lm ). Fand ich mehrere Beiträge, was darauf hindeutet, fügen Sie diese in einer anderen Art und Weise:

   • über bazel Befehlszeile (klingt vernünftig, aber nicht für mich arbeiten, auf aktuelle tensorflow version, irgendwie),
   • über "bazel-tensorflow/extern/protobuf/BUILD"(nicht sicher, ob es funktioniert, aber das sieht nicht so bequem - diese Datei wird nur erzeugt, während der build-Versuch selbst)

   • über "third_party/gpus/crosstool/CROSSTOOL.tpl" (die gleiche Datei haben wir gerade im vorigen Schritt bearbeitete, knapp unterhalb der Linien haben wir bereits Hinzugefügt).

     linker_flag: "-lrt"
     linker_flag: "-lm"

   • über "tensorflow/tensorflow.bzl" (funktioniert für mich, aber weniger bequem, weil du einfach zu Bearbeiten eine weitere Datei. Ich bin nicht sicher, es ist 100% gleichwertig mit dem vorherigen Punkt)

   Ohne -lrt ich lief in GLIBC-version-spezifische Fehler wieder versuchen zu import tensorflow:

   # ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /home/username/anaconda3/envs/myenvname/lib/python3.5/site-packages/tensorflow/python/_pywrap_tensorflow.so)

   Ohne -lm können Sie diese (für mich, es war nicht notwendig).

8. Führen Sie den build-Prozess.

    source ./use_gcc_4.9.4.sh
    ./configure
    bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package
    bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
    pip install --upgrade /tmp/tensorflow_pkg/tensorflow-0.12.0rc0-cp35-cp35m-linux_x86_64.whl

1. Versuchen, führen Sie die folgenden einfachen python-Skript zu testen, ob die grundsätzlichen Dinge, die funktionieren kann:

   import tensorflow as tf
   hello = tf.constant('Hello, TensorFlow!')
   sess = tf.Session()
   print(sess.run(hello))
   
   a = tf.constant(10)
   b = tf.constant(32)
   print(sess.run(a + b))

InformationsquelleAutor Igor

Okay also hier ist die andere Lösung, die ich wissen in meinem Vorherige Antwort, es ist mehr tricky, aber sollte immer funktionieren auf Systemen mit GLIBC - >=2.12 und GLIBCXX>=3.4.13.
In meinem Fall war es auf einem CentOS-6.7, aber es ist auch gut für Ubuntu 12.04.

Wir gehen zu müssen, um eine version von gcc unterstützt c++11, die entweder auf einem anderen Rechner oder auf eine isolierte installieren; aber nicht für den moment.

Was wir gonna do ist hier Bearbeiten Sie die _pywrap_tensorflow.also binäre, damit 'weakify' seine glibc und libstdc++ Abhängigkeiten, so dass die ld akzeptiert die Verknüpfung der stubs, wir sind gonna machen. Dann werden wir diese stubs für die Symbole fehlen, und endlich sind wir gonna pre-load-all dies beim ausführen von python.

Erste von allen, ich danke James für seine große Artikel ( http://www.lightofdawn.org/wiki/wiki.cgi/NewAppsOnOldGlibc ) und die wertvollen Ratschläge, ich konnte es nicht geschafft ohne ihn.

Also lassen Sie uns beginnen, indem weakifying die Abhängigkeiten, es geht nur um das einbauen der richtigen bytes in _pywrap_tensorflow.so. Bitte beachten Sie, dass dieser Schritt funktioniert nur für die aktuelle version von tensorflow (0.6.0). Also, wenn Ihr nicht bereits geschehen, erstellen und aktivieren Sie Ihre virtualenv, wenn Sie eine haben (wenn Sie nicht admin virtualenv ist eine Lösung, eine andere ist das hinzufügen --user Flagge, um die pip-Befehl), und installieren Sie tensorflow 0.6.0 (ersetzen Sie die cpu durch die gpu in der url, wenn Sie möchten, dass die gpu-version) :

pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.6.0-cp27-none-linux_x86_64.whl

Lassen und ist weakify alle die lästigen Abhängigkeiten, hier ist der Befehl für die cpu-version des tensorflow:

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xC6A93C 0xC6A99C 0xC6A9EC 0xC6AA0C 0xC6AA1C 0xC6AA3C; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

Und hier ist die gpu (nur die richtige oder werden Sie beschädigt die binäre):

TENSORFLOW_DIR=`python -c "import imp; print(imp.find_module('tensorflow')[1])"`
for addr in 0xDC5EA4 0xDC5F04 0xDC5F54 0xDC5F74 0xDC5F84 0xDC5FA4; do printf '\x02' | dd conv=notrunc of=${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so bs=1 seek=$((addr)) ; done

Können Sie es mit:

readelf -V ${TENSORFLOW_DIR}/python/_pywrap_tensorflow.so

Haben Sie einen Blick auf die Artikel, wenn Sie möchten, um zu verstehen, was hier Los ist.

Nun, wir sind gonna machen die stubs für die fehlenden libc-Symbole:

mkdir ~/my_stubs
cd ~/my_stubs
MYSTUBS=~/my_stubs
printf "#include <time.h>\n#include <string.h>\nvoid* memcpy(void *dest, const void *src, size_t n) {\nreturn memmove(dest, src, n);\n}\nint clock_gettime(clockid_t clk_id, struct timespec *tp) {\nreturn clock_gettime(clk_id, tp);\n}" > mylibc.c
gcc -s -shared -o mylibc.so -fPIC -fno-builtin mylibc.c

Du müssen zu führen, Schritt auf die Maschine mit den fehlenden Abhängigkeiten (oder Maschine mit ähnlichen Versionen von standard-Bibliotheken (in einem cluster zum Beispiel)).

Jetzt sind wir gonna wahrscheinlich änderung der Maschine, da brauchen wir einen gcc unterstützt c++11, und es ist wahrscheinlich nicht an der Maschine, das nicht alle Abhängigkeiten (oder verwenden Sie eine isolierte installieren Sie eine aktuelle gcc). In der folgenden ich nehme an, wir sind immer noch in ~/my_stubs und irgendwie Sie teilen sich Ihre Heimat durch die Maschinen, sonst wirst du nur noch zu kopieren .also Dateien, die wir gonna erzeugen, wenn es fertig ist.

So, eine stub, die wir tun können, für die libstdc++, und für die restlichen fehlenden, wir gehen zur Kompilierung von gcc-source (es könnte einige Zeit dauern, zu Klonen Sie das repository):

printf "#include <functional>\nvoid std::__throw_bad_function_call(void) {\nexit(1);\n}" > bad_function.cc
gcc -std=c++11 -s -shared -o bad_function.so -fPIC -fno-builtin bad_function.cc
git clone https://github.com/gcc-mirror/gcc.git
cd gcc
mkdir my_include
mkdir my_include/ext
cp libstdc++-v3/include/ext/aligned_buffer.h my_include/ext
gcc -I$PWD/my_include -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hashtable.so -fPIC -fno-builtin libstdc++-v3/src/c++11/hashtable_c++0x.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/chrono.so -fPIC -fno-builtin libstdc++-v3/src/c++11/chrono.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/random.so -fPIC -fno-builtin libstdc++-v3/src/c++11/random.cc
gcc -std=c++11 -fpermissive -s -shared -o $MYSTUBS/hash_bytes.so -fPIC -fno-builtin ./libstdc++-v3/libsupc++/hash_bytes.cc

Und das ist es! Sie können nun eine tensorflow python-Skript durch vorspannen alle unsere gemeinsamen Bibliotheken (und Ihre lokalen libstdc++):

LIBSTDCPP=`ldconfig -p | grep libstdc++.so.6 | grep 64 | cut -d' ' -f4` #For 64bit machines
LD_PRELOAD="$MYSTUBS/mylibc.so:$MYSTUBS/random.so:$MYSTUBS/hash_bytes.so:$MYSTUBS/chrono.so:$MYSTUBS/hashtable.so:$MYSTUBS/bad_function.so:$LIBSTDCPP" python ${TENSORFLOW_DIR}/models/image/mnist/convolutional.py

🙂

InformationsquelleAutor Théo T

Dass Fehler vor allem entsteht, wenn Ihr GNU C-Bibliothek ist nicht up-to-date.
Sie können überprüfen, welche version Sie ausführen, mit einem einfachen

$ ldd --version

Die Ausgabe sollte wie folgt sein:

ldd (Ubuntu EGLIBC 2.19-0ubuntu6.6) 2.19
Copyright (C) 2014 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.
There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

Die 2.19 ist Ihre GLIBC-version. Upgrade Sie können besuchen Sie die GNU-C-Bibliothek-Projekt-website und laden Sie die neueste version.
Der link zu den neuesten glibc ist hier : GNU-C-Bibliothek Herunterladen
Zum Zeitpunkt des Schreibens dieser Antwort die die Letzte stabile version war 2.22.

Ich habe versucht mit tensorflow auf beiden Ubuntu 12.04 und 14.04. Ubuntu 14.04 nicht werfen nicht das Problem, wie es kommt mit glibc 2.19 standardmäßig installiert.

Hoffe, es hilft.

InformationsquelleAutor shanky_thebearer

Den link in @Théo T s Antwort ist nicht mehr arbeiten, also musste ich versuchen, mehrere alternativen, um endlich eine, die funktioniert finden.

mkdir ~/my_libc_env
cd ~/my_libc_env
wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.deb
wget http://launchpadlibrarian.net/137699829/libc6-dev_2.17-0ubuntu5_amd64.deb
wget ftp://ftp.icm.edu.pl/vol/rzm5/linux-slc/centos/7.0.1406/cr/x86_64/Packages/libstdc++-4.8.3-9.el7.x86_64.rpm
ar p libc6_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
ar p libc6-dev_2.17-0ubuntu5_amd64.deb data.tar.gz | tar zx
rpm2cpio libstdc++-4.8.3-9.el7.x86_64.rpm| cpio -idmv

Ausführen von python-code mit tensorflow

LD_LIBRARY_PATH="$HOME/my_libc_env/lib/x86_64-linux-gnu/:$HOME/my_libc_env/usr/lib64/" $HOME/my_libc_env/lib/x86_64-linux-gnu/ld-2.17.so `which python` your_program.py

InformationsquelleAutor Honglei Liu