Google Spreadsheet-CSV in einen Pandas-Datenrahmen übernehmen

Lud ich eine Datei in Google spreadsheets (auf einem öffentlich zugänglichen Beispiel IPython-Notebook, mit Daten) war ich mit der Datei in seiner ursprünglichen form gelesen werden konnte in ein Pandas Dataframe. Also ich benutze jetzt folgenden code zum Lesen der Tabelle funktioniert gut, aber nur als string, und ich bin nicht mit etwas Glück zu versuchen, um es wieder in einen dataframe (Sie können die Daten)

import requests
r = requests.get('https://docs.google.com/spreadsheet/ccc?key=0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc&output=csv')
data = r.content

Die Daten, die endet auf der Suche wie: (1. Zeile die überschriften)

',City,region,Res_Comm,mkt_type,Quradate,National_exp,Alabama_exp,Sales_exp,Inventory_exp,Price_exp,Credit_exp\n0,Dothan,South_Central-Montgomery-Auburn-Wiregrass-Dothan,Residential,Rural,1/15/2010,2,2,3,2,3,3\n10,Foley,South_Mobile-Baldwin,Residential,Suburban_Urban,1/15/2010,4,4,4,4,4,3\n12,Birmingham,North_Central-Birmingham-Tuscaloosa-Anniston,Commercial,Suburban_Urban,1/15/2010,2,2,3,2,2,3\n

Den einheimischen pandas code, bringt in der disk-resident-Datei sieht wie folgt aus:

df = pd.io.parsers.read_csv('/home/tom/Dropbox/Projects/annonallanswerswithmaster1012013.csv',index_col=0,parse_dates=['Quradate'])

Eine "saubere" Lösung wäre es hilfreich, viele bieten eine einfache Möglichkeit zur Freigabe von Datensätzen für Pandas verwenden! Ich habe versucht eine Reihe von alternativen mit keinen Erfolg und ich bin mir ziemlich sicher, dass ich ' m fehlt etwas, das offensichtlich wieder.

Nur ein Update Hinweis: Das neue Google-Tabelle hat eine andere URL-Muster verwenden Sie Einfach diese statt der URL im obigen Beispiel und oder der weiter unten zu beantworten und Sie sollten in Ordnung sein, hier ist ein Beispiel:

https://docs.google.com/spreadsheets/d/177_dFZ0i-duGxLiyg6tnwNDKruAYE-_Dd8vAQziipJQ/export?format=csv&id

siehe Lösung unten von @Max Ghenis, die nur pd.read_csv, keine Notwendigkeit für StringIO oder Anfragen...

InformationsquelleAutor der Frage dartdog | 2013-10-26

Können Sie read_csv() auf eine StringIO Objekt:

from StringIO import StringIO  # got moved to io in python3.

import requests
r = requests.get('https://docs.google.com/spreadsheet/ccc?key=0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc&output=csv')
data = r.content

In [10]: df = pd.read_csv(StringIO(data), index_col=0,parse_dates=['Quradate'])

In [11]: df.head()
Out[11]: 
          City                                            region     Res_Comm  \
0       Dothan  South_Central-Montgomery-Auburn-Wiregrass-Dothan  Residential   
10       Foley                              South_Mobile-Baldwin  Residential   
12  Birmingham      North_Central-Birmingham-Tuscaloosa-Anniston   Commercial   
38       Brent      North_Central-Birmingham-Tuscaloosa-Anniston  Residential   
44      Athens                 North_Huntsville-Decatur-Florence  Residential   

          mkt_type            Quradate  National_exp  Alabama_exp  Sales_exp  \
0            Rural 2010-01-15 00:00:00             2            2          3   
10  Suburban_Urban 2010-01-15 00:00:00             4            4          4   
12  Suburban_Urban 2010-01-15 00:00:00             2            2          3   
38           Rural 2010-01-15 00:00:00             3            3          3   
44  Suburban_Urban 2010-01-15 00:00:00             4            5          4   

    Inventory_exp  Price_exp  Credit_exp  
0               2          3           3  
10              4          4           3  
12              2          2           3  
38              3          3           2  
44              4          4           4

InformationsquelleAutor der Antwort TomAugspurger

Scheint für mich arbeiten, ohne das StringIO:

test = pd.read_csv('https://docs.google.com/spreadsheets/d/' + 
                   '0Ak1ecr7i0wotdGJmTURJRnZLYlV3M2daNTRubTdwTXc' +
                   '/export?gid=0&format=csv',
                   # Set first column as rownames in data frame
                   index_col=0,
                   # Parse column values to datetime
                   parse_dates=['Quradate']
                  )
test.head(5)  # Same result as @TomAugspurger

BTW, einschließlich der ?gid= ermöglicht das importieren von verschiedenen Blättern, finden Sie die Gruppen-id in der URL.

InformationsquelleAutor der Antwort Max Ghenis

5

Mein Ansatz ist ein bisschen anders. Ich habe nur pandas.Dataframe (), aber offensichtlich benötigt, um installieren und importieren gspread. Und es hat funktioniert!
```
gsheet = gs.open("Name")
Sheet_name ="today"
wsheet = gsheet.worksheet(Sheet_name)
dataframe = pd.DataFrame(wsheet.get_all_records())
```
InformationsquelleAutor der Antwort Abhery Guha
4

Öffnen Sie den gewünschten Blatts in Ihrem browser. Stellen Sie sicher, es ist zumindest sichtbar durch jemand mit dem link. Kopieren und einfügen der URL. Du wirst etwas wie https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/edit#gid=NUMBER.
```
sheet_url = 'https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/edit#gid=NUMBER'
```
Wenden wir uns zunächst, dass in eine CSV-export-URL, wie https://docs.google.com/spreadsheets/d/BLAHBLAHBLAH/export?format=csv&gid=NUMBER:
```
csv_export_url = sheet_url.replace('/edit#gid=', '/export?format=csv&gid=')
```
Dann geben wir es an pd.read_csvdas kann eine URL sein.
```
df = pd.read_csv(csv_export_url)
```
Dieser wird brechen, wenn Google ändert seine API (es scheint undokumentierte), und kann wenig hilfreich, Fehler auftreten, wenn ein Netzwerkfehler Auftritt.

InformationsquelleAutor der Antwort Ken Arnold
1

Habe ich mit dem folgenden utils und es funktionierte so weit:
```
def load_from_gspreadsheet(sheet_name, key):
    url = 'https://docs.google.com/spreadsheets/d/{key}/gviz/tq?tqx=out:csv&sheet={sheet_name}&headers=1'.format(
        key=key, sheet_name=sheet_name.replace(' ', '%20'))

    log.info('Loading google spreadsheet from {}'.format(url))

    df = pd.read_csv(url)
    return df.drop([col for col in df.columns if col.startswith('Unnamed')], axis=1)
```
Müssen Sie die sheet_name und der Schlüssel. Der Schlüssel ist die Zeichenfolge, die Sie get aus der url in folgendem Pfad: https://docs.google.com/spreadsheets/d/{key}/edit/.

Können Sie den Wert ändern, der Header, wenn Sie mehr als eine Zeile für die Spalte-Namen, aber ich bin nicht sicher, ob es noch Arbeit mit multi-Header.

Er Bremsen kann, wenn Google wird Ihre APIs ändern.

Bitte beachten Sie, dass Ihre Tabelle muss öffentlich sein, jeder mit dem link auch Lesen kann.

InformationsquelleAutor der Antwort Gianmario Spacagna

Wenn die csv-Datei geteilt wurde über Laufwerk und nicht über die Kalkulationstabelle dann die unten ändern, um die url funktionieren würde

#Derive the id from the google drive shareable link.
#For the file at hand the link is as below
#<https://drive.google.com/open?id=1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69>
file_id='1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69'
link='https://drive.google.com/uc?export=download&id={FILE_ID}'
csv_url=link.format(FILE_ID=file_id)
#The final url would be as below:-
#csv_url='https://drive.google.com/uc?export=download&id=1-tjNjMP6w0RUV4GhJWw08ql3wYwsNU69'
df = pd.read_csv(csv_url)

Und der dataframe wäre (wenn Sie lief einfach den oben genannten code)

    a   b   c   d
0   0   1   2   3
1   4   5   6   7
2   8   9   10  11
3   12  13  14  15

Finden Sie unter arbeiten code hier.

InformationsquelleAutor der Antwort kaza

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.