Ursprünglicher Beitrag vom 12.12.2018. Aktualisiert am 30.05.2020
Wer kennt es nicht? Marketingdaten werden aus verschiedenen Quellen wie Google Ads, Search Console und Facebook Ads Insights in Form von Excel-Tabellen heruntergeladen und aufwendig mittels S-Verweisen und anderen Funktionen zusammengeführt, um sie anschließend in Pivot-Tabellen oder Grafiken darstellen zu können. Diese wiederkehrenden Aufgaben sind nicht nur lästig, ineffizient und fehleranfällig, sondern meist auch überflüssig.
In diesem Artikel stellen wir dir Supermetrics-Produkte vor, mit denen du die Datenbeschaffung mittels API-Konnektoren automatisieren kannst und damit wertvolle Zeit sparst. An konkreten Anwendungsfällen zeigen wir, wann und wofür du API-Konnektoren am besten einsetzt und erörtern die Vor- und Nachteile der verschiedenen Varianten. Wenn du dir selbst schon einen Überblick verschaffen willst, kannst du direkt zur Supermetrics-Produktübersicht springen.
Übrigens: Seit einigen Monaten sind wir zertifizierter Partner von Supermetrics. Benötigst du weitere Beratung oder eine Implementierung? Wir stehen dir gern zur Verfügung. Wir helfen unabhängig von deiner Vorhabensgröße. Darüber hast du die Möglichkeit Supermetrics vergünstigt über uns zu beziehen.
Inhalt
- Vom User-Interface zu API-Konnektoren: Daten automatisiert beziehen
- Was ist Supermetrics und wobei hilft es konkret?
- Welche Produkte gibt es bei Supermetrics? Was sind ihre Vor- und Nachteile und wann eignen sie sich?
- Welche Datenquellen stehen zur Verfügung?
- Datensicherheit
- Die wichtigsten Vorteile von Supermetrics auf einen Blick
Vom User-Interface zu API-Konnektoren: Daten automatisiert beziehen
Ein üblicher Weg, Kampagnendaten zu beschaffen, besteht darin, sich in das Interface der jeweiligen Datenquelle einzuloggen, zur gewünschten Ebene zu navigieren, den relevanten Zeitraum einzustellen und die Reports herunterzuladen. Dieser Vorgang muss jedes Mal beim Aktualisieren der Daten durchlaufen werden, was ineffizient und fehleranfällig ist.
Die meisten Datenquellen stellen ihre Daten aber auch über APIs zur Verfügung, sie können also automatisiert bezogen werden. Dafür gibt es die folgenden zwei Möglichkeiten.
APIs selber ansteuern
Du kannst die APIs direkt ansteuern, dich also mit der Dokumentation vertraut macht und die Abfragen und API-Calls zu den Datenquellen selber verfassen und laufen lassen. Eine solche Eigenentwicklung macht dich unabhängig von Drittanbietern, stellt dich aber auch vor eine Reihe von Herausforderungen, die oft schwerer wiegen als der Vorteil der Unabhängigkeit:
- Um die relevanten API-Calls zu definieren, muss man zuerst das Datenmodell der Quelle erfassen, was nicht immer einfach ist. In Google Ads zum Beispiel befinden sich Keywords und Anzeigen in der tiefsten Ebene, darüber liegen Anzeigengruppen, Kampagnen und Konten. Erweiterungen wie Sitelinks werden aus einem Pool den verschiedenen Ebenen zugeordnet. Die Datenmodelle unterschiedlicher Quellen müssen dann auf das eigene Datenmodell abgebildet werden.
- APIs haben häufig maximale Laufzeiten für Calls, die berücksichtigt werden müssen. Am Ende müssen die gewonnenen Daten außerdem auf Vollständigkeit überprüft werden, für den Fall, dass während des Calls ein Fehler aufgetreten ist.
- Zuletzt müssen Aktualisierungen selber eingepflegt werden. Gerade in der Marketingwelt werden regelmäßig neue Metriken auf Seite der Datenquelle geschaffen, zum Beispiel zu Engagement oder Conversions, welche jedes Mal nachgepflegt werden müssen. Wenn man also beschließt, APIs selber anzubinden, ist man wiederkehrend mit Pflege und Fehlerbehebung beschäftigt.
API-Konnektoren
Eine Alternative ist die Verwendung von API-Konnektoren. Da liegt der Aufwand der Erschließung, der Pflege und Wartung sowie der Erweiterung bei einem darauf spezialisierten Drittanbieter. Supermetrics ist ein solcher Drittanbieter, mit dem wir in den letzten Jahren viele gute Erfahrungen gesammelt haben.
Du tauschst die zuvor erwähnte Unabhängigkeit gegen Service und Schnelligkeit. In unserer Erfahrung ist das besonders in der sich schnell entwickelnden Marketingwelt ein wesentlicher Vorteil. Mit neuen Metriken und Methoden können Kampagnen strategisch weiterentwickelt werden. Ebenso wichtig ist der Punkt, dass für die Erschließung der Datenquellen keine IT-Abteilung zur Unterstützung benötigt wird, die nicht selten sowieso schon unter Mangel von Zeit und Personal arbeitet. So kannst du dich durch Schnelligkeit und Handlungsfähigkeit einen Vorteil vor der Konkurrenz verschaffen. Die Preise von API-Konnektoren sind aus unserer Sicht sehr überschaubar und kalkulierbar, was bei Eigenentwicklungen schwieriger ist.
Wann sind API-Konnektoren sinnvoll?
Am besten nutzt du einen API-Konnektor immer dann, wenn du regelmäßig Reportingdaten aus einer oder mehreren Quellen ziehst und zusammenführst, entweder im einfachen Reporting-Sinne oder um eine Logik anzuwenden und danach Handlungen oder Optimierungen vorzunehmen.
Der wichtige Punkt von Datensicherheit und an welchen Orten die Daten verarbeitet, transportiert und gespeichert werden, besprechen wir später in einem separaten Punkt.
Was ist Supermetrics und wobei hilft es konkret?
Die Tools von Supermetrics helfen dabei, automatisch Daten von einer oder mehreren Plattformen (z.B. Twitter Ads, Facebook Ads, Google Ads und Analytics) über ein nutzerfreundliches Interface zu ziehen und sie dann in Ziel-Anwendungen verfügbar zu machen. Ziele können Google Data Studio, Google Sheets oder auch BI-Tools wie Tableau, Qlik und Power BI sein.
Sämtlich Metriken, wie zum Beispiel Conversions, Klicks und Kosten, sowie Dimensionen wie Tag, Monat, Jahr, Kampagnenname und Anzeigengruppe können per Drag and Drop zusammengestellt und für den gewünschten Zeitraum in Tabellen geladen werden.
Die Nutzung von APIs mittels Supermetrics erfordert keine Programmier- oder Datenbankkenntnisse. Darüber hinaus ist die einheitliche Verfügbarkeit ein weiterer Vorteil. Daten aus verschiedenen Quellen werden von Supermetrics im gleichen Format zur Verfügung gestellt und es entfallen wiederkehrende Schritte der Angleichung und Normalisierung. Zum Beispiel sind Felder mit Datumsangaben oder Dezimalzahlen identisch formatiert. Somit ist kein lästiges Angleichen der Spalten notwendig, z.B. zum Vereinheitlichen von englisch und deutsch formatierten Tabellen (Punkt vs. Komma, TT-MM-JJJJ vs. JJJJ-MM-TT, usw.).
Supermetrics ermöglicht außerdem die Einrichtung einer automatischen Datenaktualisierung, die per Zeitplan gesteuert werden kann. Dadurch ist die Aktualität der Daten immer gewährleistet. Es entfallen fehleranfällige Copy-und-Paste-Aufgaben sowie die Pflege einer eigenen Infrastruktur durch IT-Spezialisten. Beides kann dir viel Zeit und Geld sparen.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Welche Produkte gibt es bei Supermetrics? Was sind ihre Vor- und Nachteile und wann eignen sie sich?
Supermetrics for Google Sheets
Produktseite: Supermetrics for Google Sheets
Die aus den APIs bezogenen Daten werden bei dieser Produktvariante in Tabellenform in Google Sheets geladen. Das kann einmalig oder nach Zeitplan wiederkehrend geschehen. Damit ist die Variante sehr gut für die Weiterverwendung in Sheets geeignet, nicht jedoch für Visualisierungen.
Vorteile
Die Daten werden in Google Sheets gespeichert und können von dort aus sehr individuell weiterverarbeitet werden. Die Verbindung zu den APIs ist nicht live, d.h. sobald die Daten geladen sind, gibt es keine Wartezeiten in der Darstellung. Die Tabelleninhalte können automatisch exportiert oder zur weiteren Kalkulation verwendet werden. Es können z.B. Pivot-Tabellen erstellt und automatisch durch einen Zeitplan mit neuen Daten aktualisiert werden. Außerdem können Sheets einfach mit anderen Personen geteilt werden.
Nachteile
Ein Google Sheet hat ein Limit von 2 Millionen Zellen. Daher ist es nicht immer möglich, die kleinste Datenaggregation zu wählen oder die Daten nach vielen Dimensionen aufzusplitten. Darüber hinaus kann das System bei sehr umfangreichen Datenmengen bzw. bei größeren Abfragen unserer Erfahrung nach an seine Grenzen geraten. Dies kann sich durch abgebrochene Abfragen oder sehr lange Refresh-Zeiten äußern. In einigen Fällen kann auch die jeweilige API das limitierende Element sein. Dieser Nachteil steckt allerdings in der Natur der Sache, da das Zielsystem Sheets ein Kalkulationsprogramm ist und damit nicht auch gleichzeitig die Vorteile von Datenbanken oder Visualisierungsprogrammen bieten kann. Positiv an dieser Stelle fällt auf, dass die Community und besonders der Support hier sehr schnell und hilfsbereit sind, wir haben dort immer konstruktive Vorschläge und Lösungen bekommen.
Dieses Video zeigt, wie Supermetrics for Google Sheets funktioniert.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Supermetrics for Excel
Produktseite: Supermetrics for Excel
Dieses Produkt funktioniert wie Supermetrics for Google Sheets, lädt die Daten aber in eine Microsoft-Excel-Tabelle. Das ist besonders dann von Vorteil, wenn man schon bestehende Excel-Tabellen zur Analyse hat und nur das Ziehen der Daten automatisieren oder vereinfachen möchte. Dieses Produkt eignet sich besonders, wenn die Verwendung von Google-Produkten nicht gestattet oder nicht möglich ist. Die Daten werden ohne Zwischenspeicherung direkt in die lokale Excel-Arbeitsmappe geladen. Von dort aus hat man selbst die Datenhoheit. Ansonsten sind Vor- und Nachteile dieselben wie für Supermetrics for Google Sheets.
Supermetrics for Google Data Studio
Produktseite: Supermetrics for Google Data Studio
Die aus den APIs bezogenen Daten werden in Google Data Studio geladen. Wesentlich hierbei ist, dass das Laden on demand passiert. Das bedeutet, dass die Daten jedes Mal, wenn ein Dashboard-Sheet durch einen Nutzer geöffnet wird, neu von der Quell-API gezogen werden. Ebenso werden die Daten bei der Anwendung von Filtern und einer Zeitraumauswahl erneuert. Es findet grundsätzlich keine Datenspeicherung wie bei Sheets statt (abgesehen von Caching-Mechanismen).
Vorteile
Der wesentliche Vorteil ist die Bereitstellung der Daten zu Visualisierungszwecken. Die geschieht per Direktanbindung, ohne Umwege, in einem Tool, das genau dafür gedacht ist. Dadurch, dass Daten nicht gespeichert werden, ist eine hohe Aktualität gewährleistet. Struktur und Logik der Datenquelle sind bereits vollständig in Data Studio abgebildet, d.h. du kannst intuitiv korrekte Visualisierungen erstellen.
Nachteile
Gerade unter Verwendung von vielen Datenquellen oder bei vielen Visualisierungen auf einer Seite kann es zu längeren Ladezeiten kommen. Das kannst du aber leicht umgehen, indem du die Visualisierungen auf mehrere Seiten aufteilst und Datenquellen über mehrere Data-Studio-Dashboards verteilst. Wenn das nicht möglich ist, kannst du alternativ auch nur Segmente von Daten laden, was die Abfragen und die Datenmengen verkleinert. Der größte Nachteile allerdings ist, dass verschiedenen Datenquellen nicht oder nur sehr eingeschränkt miteinander verbunden werden können. Es ist beispielsweise nicht möglich, die Leistungen verschiedener Datenquellen in einer Tabelle zusammenzufassen oder die Gesamtausgaben aller Marketingkanäle mit ihren Budgets zu vergleichen.
Supermetrics API
Produktseite: Supermetrics API
Im Gegensatz zu den bisher genannten Produkten kann das Ziel der Daten bei Supermetrics API auch eine Datenbank oder andere Tools sein, in denen komplexere Aufgaben abgebildet werden können. Die Zielplattform ist im Grunde offen, da lediglich eine zielunabhängige URL-Query ausgeführt werden muss. Die Ziele können dadurch Tableau, Power BI, Google BigQuery, SQL-Datenbanken, Python DataFrames und andere sein.
Dadurch ist Supermetrics API flexibel und vor allem in folgenden Fällen sehr gut geeignet:
- Du bist auf die Datenhistorie angewiesen. Diese lässt sich in den anderen bisher genannten Produkten nicht mitzeichnen.
- Du stößt an die Grenzen von Google Sheets, Microsoft Excel oder Google Data Studio. Google Sheets hat ein Limit von 2 Millionen Zellen, Excel hat ein Limit von rund 1,2 Millionen Zeilen (ausgenommen PowerQuery) und bei Google Data Studio können die Ladezeiten der Visualisierungen limitierend sein. Besonders bei vielen Accounts (z.B. Google-Ads-Konten) oder vielen verschiedenen Datenquellen (z.B. Facebook, Google Ads, Sheets, LinkedIn) gerät man hier oft an die Grenzen.
- Du willst deine Datenmodelle flexibel so bauen, dass du deine Daten mit anderen Datenquellen, zum Beispiel aus Marketing, Sales oder Support, verknüpfen kannst. Keine der oben genannten Varianten lässt das Anlegen von komplexen Datenmodellen zu. Zwar sind einige wenige 1:n-Verbindungen zwischen einzelnen Tabellen möglich, z.B. das Kombinieren von Facebook- und LinkedIn-Kampagnendaten über einen gemeinsamen Schlüssel wie “Datum” oder “Kampagnenname”. Sobald man jedoch für Analysen auf mehrere 1:n-Verbindungen oder gar n:n-Verbindungen angewiesen ist, ist dies im Grunde am besten über eine eigene Datenbank (z.B. SQL, Amazon Redshift oder Google BigQuery) abbildbar, die über Supermetrics API gespeist werden kann.
Supermetrics for Google BigQuery
Produktseite: Supermetrics for BigQuery
Dieses Produkt ist, ähnlich wie Supermetrics API, ebenfalls eher für Intensivnutzer geeignet. Es bietet im Grunde dieselbe Flexibilität, aber wie der Name schon sagt, sind Google-BigQuery-Tabellen das Ziel der Daten. Das Produkt ist gut geeignet für größere Datenmengen und spielt damit besonders bei der Anbindung vieler Werbekonten, bei der Anbindung von großen Werbekonten oder bei höherer Reporting-Tiefe seine Vorteile aus.
Bevor du Daten in deine BigQuery-Tabellen lädst, kannst du basierend auf einer Auswahl an Metriken und Dimensionen individuelle Tabellenschemas definieren. Die Bedienung ist grundsätzlich sehr einfach und erfordert im Gegensatz zur API keinen Programmieraufwand. Im Google Cloud Platform Marketplace wählt man einfach den Konnektor aus und fügt ihn seinem Account hinzu. Die Abrechnung erfolgt übrigens gleich auch über den Marketplace, d.h. man müsste hier keinen weiteren Lieferanten in der Buchhaltung anlegen lassen.
Nach der Verknüpfung mit einem Account steht der Konnektor mit einem Konfigurationsinterface direkt in der BigQuery-Konsole zur Verfügung. Dort kann man diverse Einstellungen treffen, wie die zu übertragenden Dimensionen und Metriken, die Partitionierung, die Look-Back-Periode und den Transferzeitpunkt und Rhythmus festlegen. Auch sogenannte Backloads können über das Interface in der BigQuery-Konsole mit wenigen Klicks durchgeführt werden, was beispielsweise erlaubt, die Daten der letzten X Tage ad hoc zu erneuern. Das ist übrigens häufiger notwendig, als man meint. Angenommen es werden Kampagnen während des Betriebs unbenannt, zum Beispiel weil sich in der Benennung ein kleiner Fehler eingeschlichen hat und man diesen zu Zuordnungszwecken beheben möchte. Dann sollte man diesen auch im Warehouse für die bereits geladenen Daten anpassen. Um hier nicht manuell manipulieren zu müssen, kann ein einfacher Backload der bestehenden Datensätze die schnellste Lösung sein. Da solche Features wertvolle Arbeitszeit in der Datenpflege sparen, solltest du solche Punkte ebenfalls in der Preisbetrachtung berücksichtigen.
Unser Fazit ist, dass Supermetrics for Google BigQuery besonders für Agenturen und für Firmen mit größeren Werbekonten eine sinnvolle Ergänzung im Datenwesen ist. Dem ein oder anderen mag das Preismodell an dieser Stelle vielleicht nicht ganz passen. An dieser Stelle möchten wir aber betonen, dass wir hier bisher auf eine hohe Verhandlungsbereitschaft von Supermetrics gestoßen sind. Wir konnten bisher immer eine für beide Seiten gute Lösung in Sachen Funktionsumfang und Preis finden.
Welche Datenquellen stehen zur Verfügung?
Quelle: https://supermetrics.com
Bei Supermetrics stehen derzeit schon sehr viele Datenquellen aus der Marketingwelt zur Verfügung. Dazu gehören Google Ads (AdWords), Facebook Ads, Twitter Ads, Bing Ads, Yandex Direct, SEMRush, Criteo, Mailchimp, Google Analytics, Google MyBusiness, Amazon Ads Vendor Central und viele mehr. Eigene Datenbanken, wie SQL, lassen sich ebenfalls anschließen.
Wir haben im Laufe der Nutzung festgestellt, dass Supermetrics regelmäßig weitere Datenquellen und APIs erschließt und in die Produkte integriert. Welche dabei Vorrang bekommen, können Kunden hier selber abstimmen. Auch wenn Vermarkter neue Dimensionen oder Metriken in die APIs integrieren, zieht Supermetrics oft schnell nach.
Datensicherheit
Zu diesem Thema haben wir einige Punkte zusammengetragen, die wir in der Privacy Policy und dem Data Processing Agreement (siehe Terms of Service) gefunden haben, Stand Dezember 2018. Dennoch möchten wir an dieser Stelle betonen, dass wir hier keine Rechtsberatung anbieten oder Anspruch auf Vollständigkeit und Korrektheit erheben. Die folgenden Informationen können daher lediglich als Anhaltspunkte dienen, ersetzen bei Bedarf aber keine eigenständige Recherche.
Wo werden die Daten gespeichert?
Grundsätzlich fließen aus den APIs bezogene Daten direkt in das Datenziel: Excel, Google Sheets, Google Data Studio oder deine eigene Datenbank, ohne dauerhaft im System von Supermetrics gespeichert zu werden. Es kann aber sein, dass Daten seitens Supermetrics kurzzeitig zwischengespeichert werden, zum Beispiel kann bei komplexeren Abfragen das Cachen von Zwischenresultaten nötig sein. Um beispielsweise eine Abfrage auszuführen, in der Share-of-Voice-Daten oder Quality Scores auf höheren Ebenen als der Keyword-Ebene dargestellt werden, muss Supermetrics Daten von der kleinsten Ebene ziehen und für die gewünschten Ebene aggregieren, da dies nicht (immer) seitens der API erledigt wird.
Eine dauerhafte Speicherung von solchen Datenmengen, wie man sie mit Supermetrics beziehen kann, würde sich übrigens in den Produktpreisen niederschlagen. Konkurrenzprodukte, die Datenspeicherung anbieten, wie zum Beispiel Dataroma, haben häufig volumenbasierte Preismodelle und höhere Preise.
Wo werden Daten verarbeitet?
Aus unserer Sicht ist Supermetrics hierzu nicht besonders konkret, beschreibt aber, dass die Verarbeitung, die Zwischenspeicherung oder das aus Performanzgründen nötige Caching außerhalb der EU stattfinden kann (siehe Supermetrics – Data Processing Agreement, Punkt 7 “Sub-processors and transfers to third countries”). Das kann einerseits den Grund haben, dass solche Leistungen bei Amazon und Google in den Datenzentren in den USA günstiger sind als in Europa (insbesondere Deutschland). Andererseits ergibt es Sinn, Datenzentren in den USA zu nutzen, wenn die Daten ohnehin aus den USA stammen. Dies wird vermutlich bei den am häufigsten genutzten Datenquellen (Google, Facebook, LinkedIn) der Fall sein, insbesondere wenn sich das Ziel (Sheets, Data Studio) ebenfalls potentiell in den USA befindet.
Wir halten es für sinnvoll, dieses Thema reflektiert aber nicht zu kritisch zu betrachten. Da aus unserer Sicht in der Regel keine personenbezogenen Daten über Supermetrics bezogen werden und die Datenverarbeitung in aggregierter Form stattfindet, gibt es oft keine besonderen Datenschutzherausforderungen. Bei Ausnahmen, wie beispielsweise Google-Analytics-Berichten mit der CRM-User-ID als Dimension, solltest du dich dann gesondert informieren.
Die wichtisten Vorteile von Supermetrics auf einen Blick
- Die Produkte in ihren Varianten sind sehr vielfältig und haben eine klare Ausrichtung auf Online-Marketing.
- Supermetrics kann Daten aus mehr als 40 Quellen beziehen. Damit kannst du sehr viele und vielleicht sogar alle deiner Marketing-Datenquellen automatisiert erschließen.
- Supermetrics kann die Daten in verschiedene Tools für die Datenanalyse und Kalkulation sowie der Datenvisualisierung einspeisen.
- Für Google Sheets und Google Data Studio gibt es zusätzlich eine Galerie mit kostenlosen Plug-and-Play-Marketing-Templates.
- Supermetrics bietet ein gutes Preis-Leistungs-Verhältnis, sowie einen guten und schnellen Service und ein Forum mit hilfsbereiter Community.
Wir haben Supermetrics im Laufe der letzten 5 Jahre als solide wahrgenommen. Sie haben sich und ihr Portfolio stetig und zügig weiterentwickelt. Der Kontakt mit dem Personal, insbesondere mit dem Support, war immer freundlich und zielführend, egal ob wir als kleiner oder großer Kunde aufgetreten sind.
Dieser Artikel beinhaltet Affiliate-Links von Supermetrics. Wenn du über einen dieser Links ein Produkt beziehst, erhalten wir eine Provision. Da uns diese hilft diesen Blog zu betreiben, würden wir uns über die Nutzung einer unserer Verlinkungen freuen. Wir möchten betonen, dass wir grundsätzlich unabhängig von Drittanbietern arbeiten und versuchen mit dem Ziel des höchsten Nutzens beraten.
Hast du konkrete Projekte mit API-Konnektoren im Allgemeinen oder Supermetrics vor Augen? Wir freuen uns dich zu unterstützen. Kontaktiere uns gern.