Zugriff auf bitfields beim Lesen/schreiben von binären Daten Strukturen

Schreibe ich einen parser für das binäre format. Dieses binäre format besteht aus verschiedenen Tabellen, die wiederum in binäre format mit unterschiedlichen Feldgrößen in der Regel (irgendwo zwischen 50 - 100).

Meisten dieser Strukturen bitfields und werden ähnlich Aussehen wie diese, wenn dargestellt in C:

struct myHeader
{
  unsigned char fieldA : 3
  unsigned char fieldB : 2;
  unsigned char fieldC : 3;
  unsigned short fieldD : 14;
  unsigned char fieldE : 4
}

Stieß ich auf das struct-Modul, merkte aber an, dass die niedrigste Auflösung war ein byte und nicht ein bit, sonst ist das Modul ziemlich viel war das Recht fit für diese Arbeit.

Ich weiß bitfields werden unterstützt, mithilfe von ctypes, aber ich bin mir nicht sicher, wie das interface ctypes Strukturen mit bitfields hier.

Meine andere option ist, manipulieren die bits selbst und Speisen ihn in bytes und verwenden Sie es mit dem struct-Modul - da habe ich aber in der Nähe 50-100 verschiedene Arten von solchen Strukturen, die den code schreiben, für das wird mehr fehleranfällig. Ich bin auch besorgt über die Effizienz, da dieses Werkzeug könnte verwendet werden, um zu analysieren, große Gigabyte von binären Daten.

Dank.

es gibt auch 3rd-party-bit-array / bit manipulation Bibliotheken.
Es wäre ziemlich viel Arbeit, aber man könnte wahrscheinlich entwerfen eine Klasse, die könnte parse C-Stil-Struktur-Definitionen (oder etwas ähnliches zu Ihnen eliminiert, dass die Verpackung Mehrdeutigkeit) in einen Satz von Masken, die für jedes Bitfeld, Lesen Sie die Daten über das struct-Modul zu erhalten, um die byte-Ebene, und bieten __getattr__ Zugang.
Ja ich kam jetzt über diese tools - python-bitstring, Construct, BitReader - und ein Blick in die docs. Bit-Leser scheint wie eine gute Lösung, aber ich sehe hier, dass die Leistung ist gonna be ein großer hit. Bauen soweit ich finden konnte, von Ihrer grundlegenden Dokumentation doesnt support-bit-Felder. Python-bitstring klingt vielversprechend und müssen in Graben etwas tiefer
ja Russell, das ist meine Letzte alternative, da der inzwischen so etwas wie eine höhere Ebene der Abstraktion zu unterstützen bitfields mit der struct-Modul.

InformationsquelleAutor Tuxdude | 2011-08-25

4

Mit bitstring (die Sie erwähnen, sind Sie auf der Suche auf) es sollte einfach genug zu implementieren. Zuerst erstellen Sie einige Daten zu Dekodieren:
```
>>> myheader = "3, 2, 3, 14, 4"
>>> a = bitstring.pack(myheader, 1, 0, 5, 1000, 2)
>>> a.bin
'00100101000011111010000010'
>>> a.tobytes()
'%\x0f\xa0\x80'
```
Und dann decodieren Sie wieder nur
```
>>> a.readlist(myheader)
[1, 0, 5, 1000, 2]
```
Ihre größte Sorge könnte auch der Geschwindigkeit. Die Bibliothek ist gut optimiert Python, aber das ist nicht annähernd so schnell wie eine C-Bibliothek wäre.
- Dank Scott - ja, ich habe geprüft, Ihre bitstring Bibliothek und es kommt sehr nahe an meine Anforderungen in der Tat. In der Tat habe ich die Frage gepostet in der mailing-Liste hier. Ich kann es verstehen kann gelesen werden als eine Liste, aber ich würde gerne verwenden Sie vorzugsweise ein Wörterbuch nur für die Bequemlichkeit der besseren Lesbarkeit des Codes, da die Strukturen werde ich zu tun haben würde, mehr als 20 oder 30 Felder leicht. Ich weiß, es wird unterstützt in der Packung, aber würde gerne wissen, wie es mit entpacken, da dies die primäre Funktionalität.
- Sie können nicht Auspacken zu einem Wörterbuch nur noch. Ich denke, man braucht so etwas wie die decode-Methode vorgeschlagen hier, das bisher noch nicht getan worden, teilweise wegen dem, was ich wirklich gerne zurück ist ein Wörterbuch bestellt - ich bin mir nicht sicher, dass eine ungeordnete Wörterbuch wäre nützlich. Ich werde darüber nachdenken, es etwas mehr, obwohl...
- ja, es macht Sinn und gibt ein Wörterbuch bestellt, aber ich denke, es ist Unterstützung vorhanden ist, unmittelbar nur in Python 3.3a0 (oder zumindest bezogen auf das, was die Seite sagt hier - PEP372
InformationsquelleAutor Scott Griffiths
6

Habe ich noch nicht intensiv getestet, aber es scheint zu funktionieren mit unsigned-Typen (edit: es funktioniert mit signed byte/short-Typen, auch).

Edit 2: Das ist wirklich hit oder miss. Es hängt von der Art der Bibliothek-compiler verpackt die bits in der Struktur, die nicht standardisiert ist. Zum Beispiel mit gcc 4.5.3 es funktioniert so lange, wie ich nicht das Attribut zu packen, struct, d.h. __attribute__ ((__packed__)) (also statt 6 bytes bekommt es eingepackt in die 4 bytes, die Sie überprüfen können, mit __alignof__ und sizeof). Ich kann es fast durch hinzufügen _pack_ = True dem ctypes-Struktur-definition, aber es nicht für fieldE. gcc notes: "Offset-verpackt, bit-field 'fieldE' hat sich in den GCC-4.4".
```
import ctypes

class MyHeader(ctypes.Structure):
    _fields_ = [
        ('fieldA', ctypes.c_ubyte, 3),
        ('fieldB', ctypes.c_ubyte, 2),
        ('fieldC', ctypes.c_ubyte, 3),
        ('fieldD', ctypes.c_ushort, 14),
        ('fieldE', ctypes.c_ubyte, 4),
    ]

lib = ctypes.cdll.LoadLibrary('C/bitfield.dll')

hdr = MyHeader()
lib.set_header(ctypes.byref(hdr))

for x in hdr._fields_:
    print("%s: %d" % (x[0], getattr(hdr, x[0])))
```
Ausgabe:
```
fieldA: 3
fieldB: 1
fieldC: 5
fieldD: 12345
fieldE: 9
```
C:
```
typedef struct _MyHeader {
    unsigned char  fieldA  :  3;
    unsigned char  fieldB  :  2;
    unsigned char  fieldC  :  3;
    unsigned short fieldD  : 14;
    unsigned char  fieldE  :  4;
} MyHeader, *pMyHeader; 

int set_header(pMyHeader hdr) {

    hdr->fieldA = 3;
    hdr->fieldB = 1;
    hdr->fieldC = 5;
    hdr->fieldD = 12345;
    hdr->fieldE = 9;

    return(0);
}
```
- Siehe ein Beispiel getestet, ohne die Notwendigkeit für jede C-code oder dlls bei allen in Hat Python ein Bitfeld geben?
- Ihr Beispiel stellt eine Möglichkeit zur Speicherung solche Daten innerhalb von Python selbst. Aber wie kann man die importieren oder exportieren von Daten aus einem/in einen Strom von bytes, die gelesen/geschrieben werden auf der Festplatte oder kann recvd/gesendet über das Netzwerk ?
- Das ist das, was die union ist, und die flags.asbyte Feld in diesem Beispiel. Danke für den Hinweis, dass es nicht so klar. Ich habe Poliert den text um es ein wenig klarer. Heh 🙂
InformationsquelleAutor Eryk Sun

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.