Wie zum extrahieren von Daten aus Google Analytics und bauen ein data warehouse (webhouse) aus?

Wie immer, die Kenntnis der Struktur der zugrunde liegenden Transaktion Daten--die atomaren Komponenten zum Aufbau eines DW-ist der erste und größte Schritt.

Gibt es im wesentlichen zwei Möglichkeiten, basierend auf wie Sie die Daten abrufen. Einer von diesen, der bereits in einer vorherigen Antwort auf diese Frage, ist der Zugriff auf Ihre GA-Daten über die GA API. Das ist ziemlich nah an der form, wie die Daten angezeigt wird, in den GA-Bericht, eher als Transaktions-Daten. Der Vorteil der Verwendung dieses als Datenquelle ist, dass Ihre "ETL" ist sehr einfach, nur das Parsen der Daten aus dem XML-container ist über alles, was nötig ist.

Die zweite option beinhaltet grabbing werden die Daten viel näher an der Quelle.

Nichts kompliziertes, noch ein paar Zeilen von hintergrund sind vielleicht hilfreich hier.

• Den GA-Dashboard erstellt wird
  Parsen/filtern einer GA-Transaktion-log
  (der container
  das hält den GA-Daten
  entspricht ein Profil in einer
  Konto).

• Jede Zeile in diesem Protokoll steht für einen
  einzelne Transaktion und geliefert wird
  auf dem GA-server in form einer
  HTTP-Request vom client.

• Angefügt, dass der Antrag (das ist
  nominell für ein single-pixel-GIF)
  eine einzelne Zeichenfolge, die enthält alle
  die zurückgegebenen Daten aus, die
  _TrackPageview-Funktion call-plus-Daten aus dem client-DOM, GA-cookies
  legen Sie für diesen client, und das
  Inhalt des Browsers Lage
  bar (http://www....).

• Obwohl dieser Antrag von der
  client aufgerufen wird, indem Sie die GA
  Skript (die sich auf dem client)
  sofort nach Durchführung der GA in der Grundschule
  Daten-Sammel-Funktion
  (_TrackPageview).

So arbeiten direkt mit dieser Transaktion Daten ist wahrscheinlich die natürlichste Art und Weise zu errichten eines Data Warehouse; ein weiterer Vorteil ist, dass Sie vermeiden den zusätzlichen Aufwand eine zwischengeschaltete API).

Den einzelnen Zeilen der GA-log sind in der Regel nicht avaialble GA-Nutzer. Dennoch ist es einfacher, Sie zu bekommen. Diese beiden Schritte sollten ausreichen:

1. ändern der GA-tracking-code auf jeder Seite Ihrer Website so, dass es
   sendet eine Kopie von jeder GIF-Anfrage
   (eine Zeile in der GA logfile) auf Ihrer
   eigene server, insbesondere
   immeidately vor der Aufruf
   _trackPageview(), fügen Sie diese Zeile:

   pageTracker._setLocalRemoteServerMode();
   

2. Nächsten, nur setzen Sie einen single-pixel-gif
   Bild in Ihrem Dokument, und rufen Sie root
   es "__utm.gif".

So, jetzt Ihr server-Aktivitätenprotokoll enthält diese einzelnen transction Linien, wieder aufgebaut, aus einer Zeichenkette angehängt, um eine HTTP-Anforderung für den GA tracking pixel sowie aus anderen Daten in der Anforderung (z.B. der User-Agent-string). Das ehemalige string-ist nur eine Verkettung von Schlüssel-Wert-Paare, wobei jeder Schlüssel beginnt mit den Buchstaben "utm" (wahrscheinlich für "urching tracker"). Nicht jeder utm-parameter wird angezeigt, in jede GIF-Anfrage, einige von Ihnen, zum Beispiel, werden verwendet, nur für die e-commerce-Transaktionen--es hängt von der Transaktion.

Hier ist eine tatsächliche GIF Anfrage (Konto-ID wurde desinfiziert, sonst ist es intakt):

http://www.google-analytics.com/__utm.gif?utmwv=1&utmn=1669045322&utmcs=UTF-8&utmsr=1280x800&utmsc=24-bit&utmul=en-us&utmje=1&utmfl=10.0%20r45&utmcn=1&utmdt=Position%20Listings%20%7C%20Linden%20Lab&utmhn=lindenlab.hrmdirect.com&utmr=http://lindenlab.com/employment&utmp=/employment/openings.php?sort=da&&utmac=UA-XXXXXX-X&utmcc=__utma%3D87045125.1669045322.1274256051.1274256051.1274256051.1%3B%2B__utmb%3D87045125%3B%2B__utmc%3D87045125%3B%2B__utmz%3D87045125.1274256051.1.1.utmccn%3D(referral)%7Cutmcsr%3Dlindenlab.com%7Cutmcct%3D%2Femployment%7Cutmcmd%3Dreferral%3B%2B

Wie Sie sehen können, ist dieser string besteht aus einer Reihe von Schlüssel-Wert-Paare jeweils getrennt durch ein "&". Nur zwei triviale Schritte: (i) Spaltung dieser string auf das kaufmännische und-Zeichen; und (ii) ersetzen jedes gif-parameter (key) mit einem kurzen beschreibenden Satz, machen diese viel einfacher zu Lesen:

gatc_version 1

GIF_req_unique_id 1669045322

language_encoding UTF-8     

screen_resolution         1280 x 800  

screen_color_depth        24-bit    

browser_language          de-de     

java_enabled              1         

flash_version             10.0%20r45

campaign_session_new      1         

page_title                Position%20Listings%20%7C%20Linden% 20Lab

host_name lindenlab.hrmdirect.com

referral_url        http://lindenlab.com/employment

page_request              /employment/openings.php?sort=da

account_string            UA-XXXXXX-X

cookies __utma%3D87045125.1669045322.1274256051.1274256051.1274256051.1%3B%2B__utmb%3D87045125%3B%2B__utmc%3D87045125%3B%2B__utmz%3D87045125.1274256051.1.1.utmccn%3D(referral)%7Cutmcsr%3Dlindenlab.com%7Cutmcct%3D%2Femployment%7Cutmcmd%3Dreferral%3B%2B

Die cookies sind auch einfach zu Parsen (siehe Google präzise Beschreibung hier): zum Beispiel,

• __utma ist die unique-visitor-cookie,

• __utmb, __utmc sind session-cookies, und

• __utmz ist der überweisungsschein.

Die GA-cookies speichern die meisten Daten, die Aufzeichnung jeder Interaktion, die ein Benutzer (z.B. Klick auf einen markierten download-link, klicken auf einen link zu einer anderen Seite auf der Website, späteren Besuch am nächsten Tag, etc.). So zum Beispiel, das __utma cookie besteht aus einer Gruppen von ganzen zahlen, jede Gruppe getrennt durch einen "."; die Letzte Gruppe ist die Anzahl der Besuche für die Benutzer (eine "1" in diesem Fall).

InformationsquelleAutor der Antwort doug

Wie Shiva schon sagte, du kannst immer ziehen, GA Daten durch Google APIs und Lager-it-yourself. Allerdings, wenn Sie sind auf der Suche für einen kostengünstigen und effizienten warehousing tool, ausprobieren Analytics Leinwand @ http://www.analyticscanvas.com/

Könnte man auch überprüfen Sie heraus den Google-App-Galerie von Google Analytics entsprechende tools:
http://www.google.com/analytics/apps/

InformationsquelleAutor der Antwort Shayan Masood

Gibt es zwei wichtige Regeln, die über das laden der Daten in data-warehouse -

1. Initial load
2. Incremental data load

Beim design mit der GA-api, die Sie brauchen, zu laden, die ersten historischen Daten für einen bestimmten Zeitraum. Diese hat Ihre eigenen Komplikationen, wie Sie vielleicht in der Segmentierung Probleme, Verlust von Daten usw. Sie behandeln müssen, Seitenumbruch, etc..

Nachdem der anfängliche Ladevorgang abgeschlossen ist, führen Sie es dann im inkremental-Modus, wo Sie nur neue Daten nur. Diese Daten erhält, die an die gleiche Data-warehouse-Tabellen und nicht zu duplizieren, mit überlappenden Terminen.

Oben auf der GA verändert Ihre API Häufig, so dass Sie brauchen, um auf der Oberseite von diesem als auch.

In Anbetracht der oben genannten, veröffentlichten wir ein komplett verpackt data-warehouse mit Google Analytics und Salesforce-Daten-Konnektoren. Sie können überprüfen Sie heraus die details und Holen Sie sich Ideen, wie Sie möchten, die Installation eines eigenen data-Warehouse http://www.infocaptor.com/google-analytics-datawarehouse

Das minimum, die Sie benötigen würden, um design, ist irgendeine Art von hintergrund-daemon, der läuft im Alltag oder bei irgendeiner Frequenz. Sie müssen job-Tabellen überwachen den Erfolg und Misserfolg der Auszüge, so dass es fortgesetzt werden kann, von wo der Fehler aufgetreten ist.

Einige andere überlegungen
1. Was passiert, wenn Sie das Extrakt für den gleichen Datenbereich
2. Was ist, wenn ein job fehlschlägt, für bestimmte Termine

Ist es wichtig, um Ihre primären Schlüssel für Ihre DW Ziel-Tabellen.In den MySQL-insert-Anweisung mit Duplikat-Klausel stellen Sie sicher, dass keine doppelten Datensätze erstellt, im Falle des Nachladens von Daten.

Andere Sache, das design ist Ihre staging-Ebene. Sie extrahieren Daten aus GA und dump in eine Inszenierung. Diese Weise, wenn es Fehler beim laden in Target kann man einfach neu laden von staging. Auf diese Weise sind Sie nicht zu belasten Ihre GA-API beschränkt, und speichern Sie die Bandbreite so gut.

Finden Sie unser komplettes design an diesem Ort
http://www.infocaptor.com/help/social_analytics___datawarehouse.htm

Alle das beste mit deiner DW Mühe.

InformationsquelleAutor der Antwort Nilesh