Wie für das Lesen zu überspringen leere Dateien mit panda in Python

Ich lese alle Dateien in einem Ordner einzeln in ein DataFrame und dann überprüfe ich Sie für einige Bedingungen. Es gibt einige tausend Dateien, und ich würde Sie gerne pandas eine Ausnahme auslösen, wenn eine Datei leer ist, so dass meine Leser funtion würde diese Datei überspringen.

Ich habe so etwas wie:

class StructureReader(FileList):
    def __init__(self, dirname, filename):
        self.dirname=dirname
        self.filename=str(self.dirname+"/"+filename)
    def read(self):
        self.data = pd.read_csv(self.filename, header=None, sep = ",")
        if len(self.data)==0:
           raise ValueError
class Run(object):
    def __init__(self, dirname):
        self.dirname=dirname
        self.file__list=FileList(dirname)
        self.result=Result()
    def run(self):
        for k in self.file__list.file_list[:]:
            self.b=StructureReader(self.dirname, k)
            try:
                self.b.read()
                self.b.find_interesting_bonds(self.result)
                self.b.find_same_direction_chain(self.result)
            except ValueError:
                pass

Reguläre Datei, die ich bin auf der Suche für eine Bedingung sieht wie folgt aus: 

"A/C/24","A/G/14","WW_cis",,
"B/C/24","A/G/15","WW_cis",,
"C/C/24","A/F/11","WW_cis",,
"d/C/24","A/G/12","WW_cis",,

Aber irgendwie glaube ich nicht, jemals ValueError aufgewachsen, und meine Funktionen sind auf der Suche leere Dateien, das gibt mir eine Menge "Leere DataFrame ..." - Zeilen in meine Ergebnisse Datei. Wie kann ich das Programm überspringen Sie leere Dateien?

InformationsquelleAutor Leukonoe | 2016-03-21
  1. 6

    Ich würde zunächst überprüfen, ob die Datei leer ist, und wenn es nicht leer ist, werde ich versuchen, es mit pandas.
    hier: https://stackoverflow.com/a/15924160/5088142 Sie finden ein schöner Weg, um zu überprüfen, ob eine Datei leer ist:

    import os
def is_non_zero_file(fpath):  
    return True if os.path.isfile(fpath) and os.path.getsize(fpath) > 0 else False
    InformationsquelleAutor Yaron
  2. 3

    Sollten Sie nicht verwenden pandas, sondern direkt die python-Bibliotheken. Die Antwort ist, es gibt: python, wie Sie überprüfen, die Datei leer ist oder nicht

    InformationsquelleAutor DevShark
  3. 2

    Können Sie sich Ihre Arbeit mit folgenden code, fügen Sie einfach Ihre CSVs Pfad zu der Pfad variable, und führen Sie. Sollten Sie ein Objekt raw_data das ist ein Pandas dataframe.

    import os, pandas as pd, glob
import pandas.io.common

path = "/home/username/data_folder"
files_list = glob.glob(os.path.join(path, "*.csv"))

for i in range(0,len(files_list)):
   try:
       raw_data = pd.read_csv(files_list[i])
   except pandas.io.common.EmptyDataError:
      print(files_list[i], " is empty and has been skipped.")
    InformationsquelleAutor Ahmad M.
  4. 1

    Wie über diese 

    files = glob.glob('*.csv')
files = list(filter(lambda file: os.stat(file).st_size > 0, files))
data = pd.read_csv(files)
    InformationsquelleAutor Nick Mortimer
Schreibe einen Kommentar