Escape-Zeichen in bash (für JSON)

Bin ich mit git, dann die Buchung der commit-Nachricht und die anderen bits als JSON-payload an einen server.

Derzeit habe ich:

MSG=`git log -n 1 --format=oneline | grep -o ' .\+'`

setzt MSG etwas wie:

Calendar can't go back past today

dann

curl -i -X POST \
  -H 'Accept: application/text' \
  -H 'Content-type: application/json' \
  -d "{'payload': {'message': '$MSG'}}" \
  'https://example.com'

Mein real JSON hat ein paar Felder.

Dies funktioniert gut, aber natürlich, wenn ich eine commit-Nachricht wie die oben mit einem Apostroph, der JSON ist ungültig.

Wie kann ich entkommen der gewünschten Zeichen in der bash? Ich bin nicht vertraut mit der Sprache, so bin mir nicht sicher wo zu beginnen. Ersetzen ' mit \' würde den job tun, zu mindestens vermute ich.

InformationsquelleAutor der Frage Rich Bradshaw | 2012-04-07

  1. 43

    Mit Python:

    Diese Lösung ist nicht Reine bash, aber es ist nicht-invasiv und behandelt unicode.

    json_escape () {
    printf '%s' "$1" | python -c 'import json,sys; print(json.dumps(sys.stdin.read()))'
}

    Beachten Sie, dass JSON ist Teil der standard-python-Bibliotheken und hat für eine lange Zeit gewesen, so ist dies ein ziemlich minimal python-Abhängigkeit.

    Oder mit PHP:

    json_escape () {
    printf '%s' "$1" | php -r 'echo json_encode(file_get_contents("php://stdin"));'
}

    Verwenden, etwa so:

    $ json_escape "ヤホー"
"\u30e4\u30db\u30fc"

    InformationsquelleAutor der Antwort polm23

  2. 26

    Anstatt sich Gedanken darüber, wie Sie richtig zitieren, die Daten in einer Datei speichern und verwenden Sie die @ Konstrukt, das curl ermöglicht mit der --data option. Um sicherzustellen, dass die Ausgabe von git ist korrekt escaped für den Einsatz als JSON-Wert, verwenden Sie ein tool wie jq zum generieren des JSON, anstatt es manuell.

    jq -n --arg msg "$(git log -n 1 --format=oneline | grep -o ' .\+')" \
   '{payload: { message: $msg }}' > git-tmp.txt

curl -i -X POST \
  -H 'Accept: application/text' \
  -H 'Content-type: application/json' \
  -d @git-tmp.txt \
  'https://example.com'

    Können Sie auch direkt von der Standardeingabe mit -d @-; das überlasse ich als übung für den Leser, um die Leitung zu bauen, liest aus git und erzeugt das richtige Nutzlast-Nachricht upload mit curl.

    (Hinweis: es ist jq ... | curl ... -d@- 'https://example.com' )

    InformationsquelleAutor der Antwort chepner

  3. 12

    War ich auch versucht zu escape-Zeichen in der Bash, für die übertragung per JSON, wenn stieß ich auf diese. Ich fand, dass es tatsächlich eine größere Liste von Zeichen, die mit Escapezeichen versehen werden müssen – vor allem, wenn Sie versuchen, zu behandeln free form text.

    Gibt es zwei Tipps, die ich nützlich fand:

    • Die Bash benutzen ${string//substring/replacement} syntax beschrieben in diesem thread.
    • Mit der eigentlichen steuerzeichen für Tabulator, newline, carriage return, etc. In vim können Sie diese durch Eingabe von Strg+Vgefolgt von dem eigentlichen control-code (Strg+ tab zum Beispiel).

    Den daraus resultierenden Bash Ersatz kam ich mit sind wie folgt:

    JSON_TOPIC_RAW=${JSON_TOPIC_RAW//\\/\\\\} # \ 
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//\//\\\/} # /
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//\'/\\\'} # ' (not strictly needed ?)
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//\"/\\\"} # " 
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//   /\\t} # \t (tab)
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//
/\\\n} # \n (newline)
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//^M/\\\r} # \r (carriage return)
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//^L/\\\f} # \f (form feed)
JSON_TOPIC_RAW=${JSON_TOPIC_RAW//^H/\\\b} # \b (backspace)

    Habe ich in diesem Stadium nicht so geklappt hat, wie zu entkommen, die Unicode-Zeichen korrekt, das ist auch (scheinbar) erforderlich ist. Ich update meine Antwort, wenn ich diese Arbeit heraus.

    InformationsquelleAutor der Antwort xsgordon

  4. 9

    OK, finden Sie heraus, was zu tun ist. Die Bash unterstützt das nativ als erwartet, obwohl, wie immer, die syntax ist nicht wirklich sehr guessable!

    Im wesentlichen ${string//substring/replacement} gibt, was man Bild, so dass Sie verwenden können,

    MSG=${MSG//\'/\\\'}

    Dazu. Das nächste problem ist, dass die erste regex funktioniert nicht mehr, aber das kann ersetzt werden mit

    git log -n 1 --pretty=format:'%s'

    Am Ende, ich hatte es nicht einmal nötig, Ihnen zu entkommen. Stattdessen habe ich nur getauscht, alle ' in der JSON \". Tja, man lernt jeden Tag etwas.

    InformationsquelleAutor der Antwort Rich Bradshaw

  5. 4
    git log -n 1 --format=oneline | grep -o ' .\+' | jq --slurp --raw-input

    Die obige Zeile funktioniert bei mir. finden
    https://github.com/stedolan/jq für mehr jq tools

    InformationsquelleAutor der Antwort wcy

  6. 4

    Der einfachste Weg ist, mit jshonein Kommandozeilen-tool zum analysieren, Lesen und erstellen von JSON -.

    jshon -s 'Your data goes here.' 2>/dev/null

    InformationsquelleAutor der Antwort m-szalik

  7. 2

    Fand ich, dass so etwas wie :

    MSG=`echo $MSG | sed "s/'/\\\\\'/g"`

    InformationsquelleAutor der Antwort user907860

  8. 0

    Hatte ich die gleiche Idee: senden einer Nachricht mit commit-Nachricht nach dem commit.
    Zuerst habe ich versucht ähnlich war als autor hier.
    Aber später fand eine bessere und einfachere Lösung.

    Gerade erstellte php-Datei, die Sie senden die Nachricht und rufen Sie es mit wget.
    in hooks/post-receive : 

    wget -qO - "http://localhost/git.php"

    in git.php:

    chdir("/opt/git/project.git");
$git_log = exec("git log -n 1 --format=oneline | grep -o ' .\+'");

    Erstellen und dann JSON und CURL-Aufruf im PHP-Stil

    InformationsquelleAutor der Antwort KirillDE

  9. 0

    Dies ist eine Flucht-Lösung mit Perl, entweicht backslash (\), doppeltes Anführungszeichen (") und steuerzeichen U+0000 zu U+001F:

    $ echo -ne "Hello, ?\n\tBye" | \
  perl -pe 's/(\\(\\\\)*)/$1$1/g; s/(?!\\)(["\x00-\x1f])/sprintf("\\u%04x",ord($1))/eg;'
Hello, ?\u000a\u0009Bye

    InformationsquelleAutor der Antwort Josh Bode

  10. 0

    jq kann dies tun.

    Konvertieren von string zu JSON

    jq -aR . <<< '猫に小判'

    Erklären,

    • -a bedeutet "ascii-output"
    • -R bedeutet "raw-input"
    • . bedeutet "Ausgang der Wurzel des JSON-Dokument"
    • <<< ist nur ein Weg, um eine Zeichenfolge übergeben, die in stdin

    Git + Curl Use-Case -

    Beheben Sie das code Beispiel von der OP, einfach Rohr durch jq.

    MSG=`git log -n 1 --format=oneline | grep -o ' .\+' | jq -aR .`

    InformationsquelleAutor der Antwort jchook

Schreibe einen Kommentar