AWS Lambda nicht den Import LXML

Ich bin versucht, das LXML-Modul innerhalb von AWS Lambda und hat kein Glück. Ich heruntergeladen LXML mit dem folgenden Befehl:

pip install lxml -t folder

Herunterladen, um es auf meine lambda-Funktion-Bereitstellung-Paket. Ich Zip den Inhalt meiner lambda-Funktion wie ich es mit allen anderen lambda-Funktionen, und es hochgeladen AWS Lambda.

Aber egal was ich versuche ich bekomme diese Fehlermeldung, wenn ich die Funktion ausführen:

Unable to import module 'handler': /var/task/lxml/etree.so: undefined symbol: PyFPE_jbuf

Wenn ich es lokal, ich habe keine Probleme, es ist einfach wenn ich auf Lambda, wo dieses Problem Auftritt.

  • lxml benötigt system-level-Pakete installiert werden, die getan werden muss, auf eine Amazon linux-AMI und in Ihrem lambda-bundle
InformationsquelleAutor user3024827 | 2016-04-04
  1. 7

    Ich Stand vor dem gleichen Problem.

    Den link gepostet von Raphaël Braud war hilfreich und so wurde es dieses:
    https://nervous.io/python/aws/lambda/2016/02/17/scipy-pandas-lambda/

    Mit den beiden links konnte ich erfolgreich importieren lxml und andere benötigte Pakete. Hier sind die Schritte, die ich gefolgt:

    • Starten einer ec2-Maschine mit dem Amazon Linux ami

    • Führen Sie das folgende Skript zu sammeln Abhängigkeiten:

      set -e -o pipefail
sudo yum -y upgrade
sudo yum -y install gcc python-devel libxml2-devel libxslt-devel

virtualenv ~/env && cd ~/env && source bin/activate
pip install lxml
for dir in lib64/python2.7/site-packages \
     lib/python2.7/site-packages
do
if [ -d $dir ] ; then
   pushd $dir; zip -r ~/deps.zip .; popd
fi
done  
mkdir -p local/lib
cp /usr/lib64/ #list of required .so files
local/lib/
zip -r ~/deps.zip local/lib

    • Handler erstellen und Arbeiter, die Dateien wie angegeben in die link. Beispiel-Inhalt der Datei:

    handler.py

    import os
import subprocess


libdir = os.path.join(os.getcwd(), 'local', 'lib')

def handler(event, context):
    command = 'LD_LIBRARY_PATH={} python worker.py '.format(libdir)
    output = subprocess.check_output(command, shell=True)

    print output

    return

    worker.py:

    import lxml

def sample_function( input_string = None):
    return "lxml import successful!"

if __name__ == "__main__":
    result = sample_function()
    print result
    • Add-handler und Arbeitnehmer eine zip-Datei.

    Ist hier, wie die Struktur der zip-Datei sieht nach der oben genannten Schritte:

    deps 
├── handler.py
├── worker.py 
├── local
│   └── lib
│       ├── libanl.so
│       ├── libBrokenLocale.so
|       ....
├── lxml
│   ├── builder.py
│   ├── builder.pyc
|       ....
├── <other python packages>
    • Stellen Sie sicher, Sie geben Sie die richtige handler-name, der beim erstellen der lambda-Funktion. Im obigen Beispiel wäre es - " - handler.handler"

    Hoffe, das hilft!

    InformationsquelleAutor Mask
  2. 4

    Sich auf diese Antworten habe ich Folgendes gefunden, gut zu arbeiten.

    Die Pointe ist hier, dass python-lxml Kompilierung mit statische libs, und die Installation in das aktuelle Verzeichnis statt in site-packages.

    Es bedeutet auch, können Sie schreiben Sie Ihre python-code wie gewohnt, ohne die Notwendigkeit für eine deutliche worker.py oder das hantieren mit LD_LIBRARY_PATH

    sudo yum groupinstall 'Development Tools'
sudo yum -y install python36-devel python36-pip
sudo ln -s /usr/bin/pip-3.6 /usr/bin/pip3
mkdir lambda && cd lambda
STATIC_DEPS=true pip3 install -t . lxml
zip -r ~/deps.zip *

    nehmen es auf die nächste Ebene, verwenden Sie die serverlose und docker, alles zu behandeln. hier ist ein blog-post, die dies verdeutlicht:
    https://serverless.com/blog/serverless-python-packaging/

    InformationsquelleAutor Foofy
  3. 2

    AWS Lambda verwenden eine spezielle version von Linux (so weit ich das sehen kann).

    Mit "pip install a_package -t-Ordner" ist die gute Sache zu tun, in der Regel wird es helfen, um Paket-Abhängigkeiten innerhalb des Archivs, der gesendet wird, an die Lambda, aber die Bibliotheken und vor allem die binären Bibliotheken haben, um kompatibel mit der version des OS und Python auf lambda.

    Können Sie das xml-Modul enthalten in Python : https://docs.python.org/2/library/xml.etree.elementtree.html

    Wenn Sie wirklich brauchen, lxml, dieser link gibt einige tricks, wie Sie zu kompilieren shared libraries für Lambda :
    http://www.perrygeo.com/running-python-with-compiled-code-on-aws-lambda.html

    InformationsquelleAutor Raphaël Braud
  4. 2

    Ausbau einer bit-Maske auf seine Antwort. Bei der Installation von lxml insbesondere die libxslt und libxml2-Bibliotheken bereits installiert sind, ist auf der AMI, der ausgeführt wird, die AWS lambda. Daher ist es keine Notwendigkeit zum starten eines unterprozesses mit einem anderen LD_LIBRARY_PATH wie in Antwort, ist es jedoch notwendig, zu laufen, pip installieren lxml auf einer AMI-Bild (es könnte möglich sein, um cross-kompilieren als gut, aber ich weiß nicht, wie).

    Launch an ec2 machine with Amazon Linux ami
Run the following script to accumulate dependencies:
set -e -o pipefail
sudo yum -y upgrade
sudo yum -y install gcc python-devel libxml2-devel libxslt-devel

virtualenv ~/env && cd ~/env && source bin/activate
pip install lxml
for dir in lib64/python2.7/site-packages \
    lib/python2.7/site-packages
do
    if [ -d $dir ] ; then
        pushd $dir; zip -r ~/deps.zip .; popd
    fi
done

    Beachten Sie, dass die letzten Schritte von Marks Antwort ist ausgelassen. Sie können lxml direkt von der python-Datei, die enthält die handler-Methode.

    InformationsquelleAutor Hans Peter Hagblom
Schreibe einen Kommentar