Wie berechne crc32-Prüfsumme von string auf linux bash

Kam ich gegen dieses problem selbst und ich wollte nicht gehen, um den "Streit" zu installieren crc32. Ich kam mit dieser, und obwohl es ein wenig böse, es sollte auf den meisten Plattformen oder die meisten modernen linux sowieso ...

echo -n "LongString" | gzip -c | tail -c8 | hexdump -n4 -e '"%u"'

Nur um einige technische details, gzip verwendet crc32 in den letzten 8 bytes und die -c option bewirkt die Ausgabe auf die Standardausgabe und tail Streifen aus den letzten 8 bytes.

hexdump war ein wenig kniffliger und ich musste futz etwa mit ihm für eine Weile, bevor ich kam mit etwas befriedigendes, aber das format scheint hier richtig analysiert, die gzip-crc32 als ein einzelnes 32-bit-Zahl:

• -n4 nimmt nur die relevanten ersten 4 bytes der gzip Fußzeile.
• '"%u"' ist Ihre standard fprintf format-string formatiert werden die bytes als ein einzelner vorzeichenloser 32-bit-Ganzzahl. Beachten Sie, dass Anführungszeichen geschachtelten in einfache Anführungszeichen (hier.

Wenn Sie möchten, eine hexadezimale Prüfsumme können Sie ändern Sie den format-string zu '"%08x"' (oder '"%08X"' für Großbuchstaben hex) welches format wird die Prüfsumme als 8 Zeichen (0 gepolsterten) hexadezimal.

Wie gesagt, nicht die eleganteste Lösung, und vielleicht nicht ein Ansatz, den Sie benutzen wollen würde in einer performance-sensitiven Szenario aber ein Ansatz sein Appell, angesichts der nahezu Universalität der Befehle verwendet.

Der schwache Punkt hier für cross-Plattform-usability ist wahrscheinlich die hexdump Konfiguration, da ich gesehen habe, variiert es von Plattform zu Plattform und es ist ein bisschen fummelig. Ich würde vorschlagen, wenn Sie dieses sollten Sie versuchen, einige test-Werte und vergleichen Sie mit der Ergebnisse einer online-tool.

BEARBEITEN Wie vorgeschlagen von @PedroGimeno in den Kommentaren, können Sie leiten Sie die Ausgabe in od statt hexdump für identische Ergebnisse ohne fummelig Optionen. ... | od -t x4 -N 4 -A n für hex - ... | od -t d4 -N 4 -A n für dezimal.

Unter Ubuntu, zumindest /usr/bin/crc32 ist ein kurzes Perl-Skript, und Sie können ganz genau sehen, aus seiner Quelle, dass alle es tun können, ist offen-Dateien. Es hat keine Möglichkeit, von stdin Lesen -- es muss nicht eine Besondere Behandlung für - als einen Dateinamen oder eine -c parameter oder ähnliches.

Also der einfachste Ansatz ist, mit ihm zu Leben, und stellen Sie eine temporäre Datei.

tmpfile=$(mktemp)
echo -n "LongString" > "$tmpfile"
crc32 "$tmpfile"
rm -f "$tmpfile"

Wenn Sie wirklich nicht wollen, um eine Datei schreiben (z.B. ist es mehr Daten, als Sie in Ihrem Dateisystem können nehmen-unwahrscheinlich, wenn es wirklich einen "long string", aber für die Zwecke für das argument...) könnte man eine named pipe. Um eine einfache, nicht-random-access-reader dies ist zu unterscheiden von einer Datei:

fifo=$(mktemp -u)
mkfifo "$fifo"
echo -n "LongString" > "$fifo" &
crc32 "$fifo"
rm -f "$fifo"

Hinweis: die & hintergrund-Prozess, der die schreibt fifo, denn es wird blockiert, bis der nächste Befehl gelesen.

Werden mehr wählerisch über die Erstellung temporärer Dateien finden Sie unter: https://unix.stackexchange.com/questions/181937/how-create-a-temporary-file-in-shell-script

Alternativ verwenden Sie, was ist im Skript so ein Beispiel, von dem schreiben Sie Ihre eigene Perl-one-liner (die Anwesenheit von crc32 auf Ihrem system zeigt an, dass Perl und das Modul installiert sind), oder verwenden Sie die Python one-liner, die Sie bereits gefunden habe.

Hier ist ein reines Bash-Implementierung:

#!/usr/bin/env bash

declare -i -a CRC32_LOOKUP_TABLE

__generate_crc_lookup_table() {
  local -i -r LSB_CRC32_POLY=0xEDB88320 # The CRC32 polynomal LSB order
  local -i index byte lsb
  for index in {0..255}; do
    ((byte = 255 - index))
    for _ in {0..7}; do # 8-bit lsb shift
      ((lsb = byte & 0x01, byte = ((byte >> 1) & 0x7FFFFFFF) ^ (lsb == 0 ? LSB_CRC32_POLY : 0)))
    done
    ((CRC32_LOOKUP_TABLE[index] = byte))
  done
}
__generate_crc_lookup_table
typeset -r CRC32_LOOKUP_TABLE

crc32_string() {
  [[ ${#} -eq 1 ]] || return
  local -i i byte crc=0xFFFFFFFF index
  for ((i = 0; i < ${#1}; i++)); do
    byte=$(printf '%d' "'${1:i:1}") # Get byte value of character at i
    ((index = (crc ^ byte) & 0xFF, crc = (CRC32_LOOKUP_TABLE[index] ^ (crc >> 8)) & 0xFFFFFFFF))
  done
  echo $((crc ^ 0xFFFFFFFF))
}

printf 'The CRC32 of: %s\nis: %08x\n' "${1}" "$(crc32_string "${1}")"

# crc32_string "The quick brown fox jumps over the lazy dog"
# yields 414fa339

Testen:

bash ./crc32.sh "The quick brown fox jumps over the lazy dog"
The CRC32 of: The quick brown fox jumps over the lazy dog
is: 414fa339