Konvertieren Sie die Word2vec-Bin-Datei in Text

Auf dem word2vec-toolkit mailing-Liste, Thomas Mensink hat Antwort in form von ein kleines C-Programm, das zu konvertieren .bin-Datei in text um. Dies ist eine Modifikation der Ferne.c-Datei. Ich ersetzte den ursprünglichen Abstand.c mit Thomas-code unten und wieder aufgebaut word2vec (make clean; make), umbenannt und kompiliert Entfernung zum readbin. Dann ./readbin vector.bin wird, erstellen Sie eine text-version von vector.bin.

// Copyright 2013 Google Inc. All Rights Reserved.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
//     http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.

#include <stdio.h>
#include <string.h>
#include <math.h>
#include <malloc.h>

const long long max_size = 2000;         //max length of strings
const long long N = 40;                  //number of closest words that will be shown
const long long max_w = 50;              //max length of vocabulary entries

int main(int argc, char **argv) {
  FILE *f;
  char file_name[max_size];
  float len;
  long long words, size, a, b;
  char ch;
  float *M;
  char *vocab;
  if (argc < 2) {
    printf("Usage: ./distance <FILE>\nwhere FILE contains word projections in the BINARY FORMAT\n");
    return 0;
  }
  strcpy(file_name, argv[1]);
  f = fopen(file_name, "rb");
  if (f == NULL) {
    printf("Input file not found\n");
    return -1;
  }
  fscanf(f, "%lld", &words);
  fscanf(f, "%lld", &size);
  vocab = (char *)malloc((long long)words * max_w * sizeof(char));
  M = (float *)malloc((long long)words * (long long)size * sizeof(float));
  if (M == NULL) {
    printf("Cannot allocate memory: %lld MB    %lld  %lld\n", (long long)words * size * sizeof(float) / 1048576, words, size);
    return -1;
  }
  for (b = 0; b < words; b++) {
    fscanf(f, "%s%c", &vocab[b * max_w], &ch);
    for (a = 0; a < size; a++) fread(&M[a + b * size], sizeof(float), 1, f);
    len = 0;
    for (a = 0; a < size; a++) len += M[a + b * size] * M[a + b * size];
    len = sqrt(len);
    for (a = 0; a < size; a++) M[a + b * size] /= len;
  }
  fclose(f);
  //Code added by Thomas Mensink
  //output the vectors of the binary format in text
  printf("%lld %lld #File: %s\n",words,size,file_name);
  for (a = 0; a < words; a++){
    printf("%s ",&vocab[a * max_w]);
    for (b = 0; b< size; b++){ printf("%f ",M[a*size + b]); }
    printf("\b\b\n");
  }  

  return 0;
}

Entfernte ich die "\b\b" aus der printf.

Durch die Art und Weise, die resultierende text-Datei enthält immer noch den text von word und einige unnötige Leerzeichen, die ich nicht wollen, für einige numerische Berechnungen. Ich entfernte die erste Spalte text und die nachfolgende leere aus jeder Zeile mit bash-Kommandos.

cut --complement -d ' ' -f 1 GoogleNews-vectors-negative300.txt > GoogleNews-vectors-negative300_tuples-only.txt
sed 's/$//' GoogleNews-vectors-negative300_tuples-only.txt

InformationsquelleAutor der Antwort Glenn

Laden Sie sich die binary-Datei in word2vec, und speichern Sie dann die text-version wie folgt:

from gensim.models import word2vec
 model = word2vec.Word2Vec.load_word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)
 model.save("file.txt")

`

InformationsquelleAutor der Antwort batgirl

Ich hatte ein ähnliches Problem, ich wollte bin/nicht bin(gensim) Modelle Ausgabe als CSV-Datei.

hier ist der code, der bedeutet, dass auf python, vorausgesetzt, Sie haben gensim installiert:

https://gist.github.com/dav009/10a742de43246210f3ba

InformationsquelleAutor der Antwort David Przybilla

Hier ist der code den ich benutze:

import codecs
from gensim.models import Word2Vec

def main():
    path_to_model = 'GoogleNews-vectors-negative300.bin'
    output_file = 'GoogleNews-vectors-negative300_test.txt'
    export_to_file(path_to_model, output_file)


def export_to_file(path_to_model, output_file):
    output = codecs.open(output_file, 'w' , 'utf-8')
    model = Word2Vec.load_word2vec_format(path_to_model, binary=True)
    print('done loading Word2Vec')
    vocab = model.vocab
    for mid in vocab:
        #print(model[mid])
        #print(mid)
        vector = list()
        for dimension in model[mid]:
            vector.append(str(dimension))
        #line = { "mid": mid, "vector": vector  }
        vector_str = ",".join(vector)
        line = mid + "\t"  + vector_str
        #line = json.dumps(line)
        output.write(line + "\n")
    output.close()

if __name__ == "__main__":
    main()
    #cProfile.run('main()') # if you want to do some profiling

InformationsquelleAutor der Antwort Franck Dernoncourt

Wenn Sie die Fehlermeldung erhalten:

ImportError: No module named models.word2vec

dann ist es, weil es war ein API-update. Dies funktioniert:

from gensim.models.keyedvectors import KeyedVectors

model = KeyedVectors.load_word2vec_format('./GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('./GoogleNews-vectors-negative300.txt', binary=False)

InformationsquelleAutor der Antwort Raphael Schumann