Observability

In der heutigen IT-Landschaft reicht es nicht mehr aus, Systeme nur oberflächlich zu überwachen. Es geht darum, ein tiefes Verständnis dafür zu entwickeln, wie und warum Systeme so funktionieren, wie sie es tun. Genau hier kommt Observability ins Spiel. Dieses Konzept ermöglicht es, durch gezielte Analyse von Metriken, Logs und Traces den internen Zustand von Anwendungen und Infrastrukturen zu durchdringen. Observability ist mehr als nur eine technische Notwendigkeit – es ist ein entscheidender Faktor für die Verbesserung der Systemverfügbarkeit, die Optimierung der Nutzererfahrung und die Beschleunigung von Innovationen.

Der Einsatz von Monitoring- und Analyse-Systemen bringt mehrere entscheidende Vorteile mit sich, die sowohl für Entwicklerteams als auch für Unternehmen insgesamt von großer Bedeutung sind. Zunächst ermöglicht die Nutzung solcher Tools eine schnellere Fehlerbehebung. Teams können Probleme frühzeitig erkennen und deren Ursachen präzise bestimmen, indem sie Metriken, Logs und Traces genau analysieren. Dadurch wird die Zeit bis zur Problemlösung (MTTR) erheblich verkürzt und so Ausfallzeiten minimiert.

Ein bedeutender Vorteil dieser Systeme ist die proaktive Überwachung. Anstatt nur auf das Auftreten von Problemen zu reagieren, können Teams potenzielle Schwierigkeiten bereits erkennen, bevor diese die Benutzererfahrung beeinträchtigen. Dies fördert eine höhere Verfügbarkeit und Zuverlässigkeit der Systeme.

Zusätzlich erleichtern diese Werkzeuge die Zusammen­arbeit zwischen Entwickler*innen, Betriebsteams und anderen Stakeholdern. Durch den gemeinsamen Zugriff auf identische Daten können alle Beteiligten effektiver zusammenarbeiten, um Probleme zu lösen oder Optimierungen vorzunehmen. Dies unterstützt die DevOps-Kultur, in der Entwicklung und Betrieb eng zusammenarbeiten.

Ein weiterer wesentlicher Aspekt ist die Optimierung der Systemleistung. Durch detaillierte Einblicke in die Leistung und Auslastung der Systeme lassen sich Engpässe erkennen und beseitigen, wodurch die Ressourcen effizienter genutzt und die Gesamtleistung gesteigert werden.
Zudem verbessert eine genauere Überwachung der Systeme die Kundenerfahrung. Unternehmen können sicherstellen, dass ihre Anwendungen und Dienste konsistent und zuverlässig laufen, was sich positiv auf die Kundenzufriedenheit und -bindung auswirkt.

Auch die Innovationsgeschwindigkeit profitiert von diesen Monitoring-Ansätzen: Teams können das Verhalten von Systemen genau beobachten und neue Features schneller und mit geringerem Risiko implementieren. Unmittelbar nach dem Rollout eines neuen Features können sie dessen Auswirkungen auf das Gesamtsystem überprüfen und bei Bedarf sofort Anpassungen vornehmen. 

Ein weiterer Vorteil liegt in der Kostenoptimierung. Durch die frühzeitige Problemerkennung und die optimale Nutzung von Ressourcen können Unternehmen unnötige Ausgaben für überdimensionierte oder ineffiziente Infrastrukturen vermeiden. Finanzielle Einbußen werden durch schnelle Problemlösungen und geringere Ausfallzeiten ebenfalls reduziert.

Schließlich tragen diese Systeme zur Einhaltung von Compliance und Sicherheitsstandards bei. Unternehmen können durch die kontinuierliche Überwachung und Analyse ihrer Systeme sicherstellen, dass sie regulatorische Anforderungen erfüllen und Sicherheitsstandards einhalten. Anomalien oder ungewöhnliche Aktivitäten können frühzeitig erkannt und entsprechende Maßnahmen ergriffen werden.

Der Einsatz von Überwachungs- und Analyse-Tools hat einen tiefgreifenden Einfluss auf die Planung und Gestaltung einer Cloud-Infrastruktur. Dieser Einfluss zeigt sich in verschiedenen Aspekten der Infrastrukturplanung und erfordert sorgfältige Überlegungen, um sicherzustellen, dass Metriken, Logs und Traces effektiv gesammelt und analysiert werden können.

Beim Architekturdesign und der Auswahl von Komponenten muss die Infrastruktur so gestaltet werden, dass sie eine reibungslose Integration von Überwachungsfunktionen ermöglicht. Dies ist besonders wichtig bei der Wahl von Cloud-Diensten und -Komponenten. Zum Beispiel erfordert eine Microservices-Architektur, die oft in der Cloud eingesetzt wird, eine besonders gute Überwachbarkeit, da Anwendungen in viele kleine, verteilte Dienste zerlegt werden. Hier ist es entscheidend, dass jeder Service beobachtbar ist, was die Wahl von passenden Logging- und Tracing-Lösungen beeinflusst. Ebenso muss bei der Containerisierung, etwa durch den Einsatz von Docker, gewährleistet sein, dass die Überwachungstools Metriken und Logs auch aus kurzlebigen oder dynamisch skalierenden Containern erfassen können.

Die Skalierbarkeit und Performance der Überwachungstools selbst ist ebenfalls ein wichtiger Aspekt in der Infrastrukturplanung. Diese Tools müssen mit der dynamischen Natur der Cloud-Infrastrukturen Schritt halten können. Die Infrastruktur muss entsprechend so dimensioniert und flexibel sein, dass sie große Datenmengen, die durch Tracing und Logging entstehen, speichern und in Echtzeit verarbeiten kann. Hierbei spielen auch die Auswahl der Speicherlösungen und die Entscheidung darüber, wie lange Daten aufbewahrt werden sollen, eine zentrale Rolle.

Ein weiterer Aspekt betrifft das Netzwerkdesign und die Sicherheit. Überwachung erfordert häufig, dass viele Daten über das Netzwerk übertragen werden, sei es innerhalb der Cloud oder zwischen verschiedenen Cloud-Regionen oder -Anbietern. Das Netzwerk muss so gestaltet sein, dass diese Daten effizient und sicher übertragen werden können, ohne den normalen Anwendungsverkehr zu beeinträchtigen. Hier können dedizierte Netzwerke oder VPNs für Überwachungsdaten eine Lösung sein. Außerdem muss die Übertragung und Speicherung dieser Daten sicher erfolgen, insbesondere wenn sensible Informationen betroffen sind. Dies könnte den Einsatz von Verschlüsselung oder speziellen Sicherheitsprotokollen erfordern.

Kostenmanagement ist ebenfalls ein zentraler Faktor bei der Planung. Überwachungstools können in großen, komplexen Cloud-Umgebungen erhebliche Kosten verursachen. Daher muss die Planung berücksichtigen, wie diese Tools effizient und kostengünstig eingesetzt werden können. Dies beinhaltet die Abschätzung der erforderlichen Ressourcen für das Sammeln, Speichern und Verarbeiten von Überwachungsdaten sowie die Entwicklung von Strategien zur Kostenoptimierung, wie durch Sampling, um nur relevante Daten zu erfassen.

Schließlich spielen Integration und Automatisierung eine entscheidende Rolle. Bei der Planung einer Cloud-Infrastruktur muss sichergestellt werden, dass Überwachungstools nahtlos in den DevOps-Prozess und in CI/CD-Pipelines integriert werden können. Dies erfordert die Berücksichtigung von Automatisierungstools wie Terraform oder Ansible, um die Konfiguration und Skalierung der Überwachungstools zu erleichtern. Zudem muss die Infrastruktur so gestaltet sein, dass kontinuierliches Monitoring und Feedback in den Entwicklungs- und Betriebszyklus eingebunden werden können, was die Implementierung von Alerting- und Dashboard-Tools beeinflusst.

Die Nutzung von cloudbasierten Diensten ist heute kaum mehr zu umgehen, da sie eine Reihe von Vorteilen bietet – die jedoch auch neue Herausforderungen mit sich bringen. Diese Dienste abstrahieren die zugrunde liegende Infrastruktur, sodass sich Nutzer*innen auf die Entwicklung und den Betrieb ihrer Anwendungen konzentrieren können, ohne sich um die Verwaltung der technischen Basis kümmern zu müssen. Diese Abstraktion führt jedoch zu einer erhöhten Komplexität, da die Kontrolle über die zugrunde liegenden Systeme eingeschränkt ist. In diesem Zusammenhang wird die Überwachung der Systeme (Observability) entscheidend, um dennoch tiefergehende Einblicke in die Performance und das Verhalten der verwendeten Services zu erhalten, Probleme zu identifizieren und die Leistung zu optimieren.

Managed-Services fördern häufig den Einsatz von Architekturen, die auf verteilten Systemen und Microservices basieren. Um sicherzustellen, dass alle Komponenten überwacht werden und das gesamte System nachvollziehbar bleibt, sind umfassende Überwachungstools notwendig. Ohne diese könnte es schwierig werden, Probleme zu erkennen, die durch das Zusammenspiel der verschiedenen Services entstehen. Zudem bieten diese cloudbasierten Lösungen oft eine hohe Automatisierung und dynamische Skalierung, was bedeutet, dass sich die Umgebung schnell ändern kann. Diese Dynamik erfordert eine kontinuierliche und detaillierte Überwachung, um sicherzustellen, dass die Änderungen keine negativen Auswirkungen auf die Verfügbarkeit oder Performance der Anwendungen haben. So behalten Nutzer die Kontrolle über die sich ständig ändernde Umgebung und können sicherstellen, dass sie wie erwartet funktioniert.

Ein weiterer Aspekt, der bei der Nutzung von Cloud-Diensten berücksichtigt werden muss, ist das Shared-Responsibility Model, bei dem der Cloud-Anbieter für bestimmte Sicherheits- und Betriebsaspekte verantwortlich ist, während der Kunde andere Bereiche selbst verwaltet. Um sicherzustellen, dass der Kunde seine Verantwortlichkeiten effektiv wahrnehmen kann, ist eine genaue Überwachung notwendig: Wie werden die Dienste genutzt? Und erfüllen sie die erwarteten Service-Level? Ohne diese Einblicke könnte es schwierig sein, Probleme zu erkennen und zu verstehen, ob sie in den Verantwortungsbereich des Kunden oder des Anbieters fallen.

Ferner erfordert die Nutzung solcher Dienste ein gewisses Vertrauen in den Cloud-Anbieter, dass die Services zuverlässig und performant sind. Eine gute Überwachung bietet eine Möglichkeit, dieses Vertrauen zu verifizieren, indem sie Transparenz in die Betriebsweise und die Performance der genutzten Services bringt. Schließlich ist in einer Umgebung, die stark auf diese cloudbasierten Lösungen setzt, ein schnelles Reagieren auf Vorfälle und deren Behebung von großer Bedeutung. Ohne geeignete Überwachungstools ist es sehr schwierig, die Ursache von Problemen zu identifizieren, da der direkte Zugriff auf die Infrastruktur limitiert ist. Mithilfe von Metriken, Logs und Traces können Probleme jedoch schneller verstanden und gelöst werden, auch wenn diese tief in den genutzten Diensten verborgen sind.

Ein umfassendes Verständnis der Performance und Gesundheit eines Systems ergibt sich aus dem Zusammenspiel von Hardware-Metriken und Business-Metriken, da beide unterschiedliche, aber einander ergänzende Rollen erfüllen. Hardware-Metriken sind relativ leicht zu erheben und bieten eine scheinbar vollständige Übersicht, doch für das Verständnis der tatsächlichen Produktleistung sind Business-Metriken oft entscheidender. Beispielsweise kann eine steigende CPU-Last auf ein Problem hinweisen, aber es bleibt unklar, worin das Problem tatsächlich besteht. Der erhöhte CPU-Load könnte beispielsweise durch viele Nutzer-Anfragen verursacht werden, die auftreten, weil etwas nicht richtig funktioniert, oder es könnte ein Hardware-Problem vorliegen. Ebenso könnte ein schlecht optimierter Hintergrund-Job die CPU unnötig belasten. Manchmal zeigt eine hohe CPU-Last aber auch einfach nur, dass der Server effizient arbeitet. Business-Metriken wie "gleichzeitig gestartete Streams" oder "Downloads pro Sekunde", bieten tiefergehende Einblicke in die Benutzererfahrung und die tatsächliche Systemnutzung und sind direkt mit der Funktionalität und dem Erfolg der auf der Infrastruktur laufenden Anwendungen und Dienste verknüpft. Sie messen, wie gut das System aus geschäftlicher Sicht funktioniert.

Die Implementierung von Business-Metriken erfordert eine enge Integration zwischen der Anwendung und den Monitoring-Tools. Dies kann durch spezifische Instrumentierung im Code erfolgen, wobei Entwickler*innen gezielt geschäftsrelevante Ereignisse erfassen. Eine solche Instrumentierung kann durch die Integration von Metrikbibliotheken wie Prometheus-Client-Libraries oder StatsD erfolgen. Alternativ können Business-Metriken auch durch die Analyse von Anwendungslogs abgeleitet werden, beispielsweise mit Tools wie  Elastic Stack oder Splunk. Überdies kann das Monitoring von API-Aufrufen wertvolle Business-Metriken liefern, wie die Anzahl erfolgreicher Transaktionen oder Fehlerraten, wobei Tools wie New Relic oder Datadog eingesetzt werden können.

Der Unterschied zwischen Open-Source-Observability-Tools und SaaS-Lösungen in Bezug auf die Kosten und den Aufwand lässt sich aus verschiedenen Perspektiven betrachten. Open-Source-Tools sind in der Regel lizenzkostenfrei, was sie auf den ersten Blick attraktiv macht. Allerdings müssen die Nutzer*innen hier Infrastruktur, Wartung und Verwaltung selbst übernehmen, was zu erheblichen Betriebskosten führen kann. Diese beinhalten den Bedarf an Hardware, Cloud-Ressourcen und qualifiziertem Personal für die Installation, Konfiguration und regelmäßige Wartung, was die Gesamtbetriebskosten (Total Cost of Ownership, TCO) deutlich erhöhen kann.

Im Gegensatz dazu erfordern SaaS-Lösungen feste Abonnementgebühren, die auf Faktoren wie der Anzahl der überwachten Systeme oder der Menge der verarbeiteten Daten basieren. Diese Kosten sind zwar vorhersehbar und umfassen in der Regel auch Infrastruktur und Wartung, allerdings können sie sich je nach Umfang der Nutzung summieren. SaaS-Lösungen bieten den Vorteil einer schnelleren Implementierung und weniger Betriebsaufwand, da der Anbieter die meisten administrativen Aufgaben übernimmt. Jedoch geht dies oft mit einer eingeschränkten Flexibilität einher, insbesondere wenn es um die Anpassung an spezifische Geschäftsanforderungen geht.

Ein weiterer entscheidender Aspekt ist die Flexibilität der Tools. Open-Source-Software ermöglicht Unternehmen, den Quellcode an ihre spezifischen Bedürfnisse anzupassen und eigene Features zu entwickeln. Dies ist besonders vorteilhaft in komplexen Szenarien, in denen beispielsweise selbst definierte Business-Metriken erhoben werden müssen. Allerdings erfordert diese Anpassungsfähigkeit ein spezialisiertes Team, das in der Lage ist, solche Modifikationen vorzunehmen und die langfristige Wartung sicherzustellen. SaaS-Lösungen hingegen bieten in der Regel weniger Anpassungsmöglichkeiten, können aber durch regelmäßige Updates und neue Funktionen ohne zusätzlichen internen Aufwand punkten.

Langfristig betrachtet erscheinen Open-Source-Tools aufgrund der eingesparten Lizenzkosten zunächst kostengünstiger. Allerdings müssen Unternehmen die laufenden Betriebskosten und die Opportunitätskosten berücksichtigen, die mit der Verwaltung dieser Tools verbunden sind. SaaS-Lösungen bieten dagegen klar kalkulierbare, wiederkehrende Kosten und reduzieren die Betriebslast. Für einige Unternehmen könnte die Investition in eine SaaS-Lösung wirtschaftlicher sein, insbesondere wenn die Geschwindigkeit der Implementierung und der laufende Support im Vordergrund stehen. Dennoch besteht auch bei SaaS-Lösungen das Risiko unerwarteter Preiserhöhungen, die eine Abkehr von der gewählten Lösung nötig machen könnte.

Der Vendor-Lock-In bei der Nutzung von SaaS-Lösungen wie New Relic ist ein bedeutender Faktor, den Unternehmen im Blick haben sollten. SaaS-Lösungen bieten den Vorteil einer schnellen Implementierung und umfassenden Funktionen, die es ermöglichen, schnell produktiv zu werden. Vornehmlich in der Anfangsphase oder bei weniger komplexen Anforderungen stimmt häufig das Preis-Leistungs-Verhältnis. Mit der Zeit können jedoch die steigenden Kosten durch spezifischen Anpassungswünsche das Verhältnis verschieben, wodurch ein Umstieg auf eine eigene Lösung in Betracht gezogen werden könnte.

Ein Ansatz, der den Vendor-Lock-In mildern kann, ist der Einsatz von Standardtechnologien wie OpenTelemetry, die eine bessere Datenportabilität ermöglichen. Durch solche Standards wird es potenziell einfacher, die gesammelten Daten auf andere Systeme zu übertragen, falls ein Wechsel notwendig wird. Dennoch bleiben spezialisierte Anforderungen, wie das Aktivieren von Tracing in asynchronen Jobs, oft eine Herausforderung, die tieferes Customizing erfordert und den Wechsel zu einer anderen Lösung erschweren kann.

Insgesamt sollten Unternehmen regelmäßig überprüfen, ob ihre aktuellen SaaS-Lösungen noch den besten Wert bieten. Während SaaS-Lösungen einen hervorragenden Startpunkt bieten, ist es wichtig, flexibel zu bleiben und Alternativen zu evaluieren, sobald die eigenen Bedürfnisse komplexer werden und über die Standardlösungen hinausgehen. Ein langfristiger Plan kann helfen, den Vendor-Lock-In zu minimieren und auf zukünftige Veränderungen vorbereitet zu sein.

Das Überwachen von selbst entwickelten Anwendungen ist ebenso wichtig wie das Monitoring der Infrastruktur und sollte nicht strikt voneinander getrennt betrachtet werden. Während es zahlreiche Best Practices für die Überwachung von (Cloud-)Infrastrukturen gibt, erfordert die Überwachung von eigens entwickelten Anwendungen oft einen individuelleren Ansatz, der auf die spezifischen Anforderungen der Software zugeschnitten ist.

Da Anwendungen häufig von externen Diensten wie Datenbanken abhängen, ist es unerlässlich, auch diese abhängigen Services im Blick zu haben, um die Gesamtgesundheit der Anwendung sicherzustellen. Wenn eine Anwendung ineffizient auf eine Datenbank zugreift und diese verlangsamt oder ausfällt, liegt das Problem häufiger bei der Anwendung als bei der Datenbank. Deswegen muss das Monitoring sicherstellen, dass nicht nur die Anwendung und ihre Infrastruktur funktionieren, sondern auch die Services, von denen die Anwendung abhängt.Ein praktisches Beispiel zeigt, wie wichtig umfassendes Monitoring ist: In einem Projekt wurden Webanfragen langsamer. Mithilfe von Tracing konnte festgestellt werden, dass die Datenbank langsamer geworden war, was jedoch nicht mit den Anfragen zusammenhing: Ein parallellaufender Report belastete die Datenbank stark. Dieses Beispiel verdeutlicht, dass eine umfassende Überwachung über die Grenzen der Anwendung hinausgehen muss, um effektiv zu funktionieren.

Wenn man ein Verständnis dafür entwickelt, wo in der Anwendung potenzielle Engpässe oder Incidents auftreten könnten, kann man sich gezielt auf diese Bereiche konzentrieren. Daher ist es wichtig, Traces inklusive ausgeführter Datenbankabfragen zu implementieren, um langsame Aufrufe identifizieren zu können. Wenn dieses Monitoring bereits in der Testumgebung vorhanden ist, lassen sich potenzielle Probleme wie fehlende oder ineffiziente Datenbankindizes schon vor dem Produktionsstart erkennen.

Observability spielt eine immer zentralere Rolle in der modernen Anwendungsentwicklung. Oft zeigt sich die Bedeutung einer umfassenden Überwachung erst in der Praxis, wenn unerwartete Probleme auftreten, und ab diesem Punkt wird Observability zu einem Schlüsselfaktor für die Weiterentwicklung und Stabilität der Anwendung. Dabei hat sie weitreichende Auswirkungen auf den gesamten Entwicklungsprozess, einschließlich der Scrum-Planung und der Definition of Done (DoD). Wenn man den Gedanken von Observability konsequent verfolgt, werden User Stories nicht mehr nur als Aufgaben zur Implementierung von Features gesehen, sondern als Annahmen, deren Erfolg überprüft und gemessen werden muss. Um dies zu ermöglichen, ist es notwendig, entsprechende Punkte in der Anwendung einzurichten, die eine aussagekräftige Erfassung und Auswertung von Daten ermöglichen.

Dies bedeutet auch, dass die DoD-Anforderungen nicht nur die reine Erfassung von Logs, Metriken und Traces umfassen sollten. Vielmehr müssen die gesammelten Daten so gestaltet sein, dass sie tatsächlich wertvolle Einblicke bieten und den Erfolg oder Misserfolg von Features messen können. Dabei sollte der Aufwand für Observability in einem angemessenen Verhältnis zur Komplexität der Anwendung stehen. Bei einfachen Anwendungen mit wenigen Abhängigkeiten ist ein minimalistischer Ansatz ausreichend, während komplexere Systeme eine umfangreichere Überwachung erfordern. Ein pragmatischer Einstieg in effektive Überwachung ist zum Beispiel die Anreicherung von Logs und Metriken mit zusätzlichen Kontextinformationen wie Benutzer-IDs oder Versionsnummern. Solche Metadaten erleichtern die Diagnose im Fehlerfall erheblich. 

In der DevOps-Kultur, die stark auf schnelles Feedback setzt, geht es nicht nur um das Monitoring technischer Kennzahlen, sondern auch um die Validierung der zugrunde liegenden Annahmen und Hypothesen über das Produkt. Ein vollständiger Feedback-Zyklus ist erst dann erreicht, wenn die erwarteten Auswirkungen in den relevanten Daten deutlich erkennbar sind. Daher sollte Observability integraler Bestandteil des gesamten Entwicklungsprozesses sein und alle Phasen der Planung und Umsetzung beeinflussen.

Observability ist ein unverzichtbares Element moderner IT-Infrastrukturen, das weit über die bloße Überwachung von Systemen hinausgeht. Sie ermöglicht ein tiefgehendes Verständnis darüber, wie und warum ein System auf eine bestimmte Weise funktioniert. Dies ist besonders wichtig in der DevOps-Kultur, wo Entwickler*innen für den gesamten Lebenszyklus ihrer Anwendungen verantwortlich sind. Durch die Kombination von Metriken, Logs und Traces können Probleme frühzeitig erkannt und deren Ursachen präzise bestimmt werden. Dies führt zu einer schnelleren Problemlösung, einer höheren Systemverfügbarkeit und einer optimierten Benutzererfahrung. Das Zusammenspiel von Hardware- und Business-Metriken ist dabei entscheidend, um sowohl technische Probleme als auch deren Auswirkungen auf das Geschäft und die Nutzererfahrung zu verstehen. Während Open-Source-Observability-Tools Flexibilität und Anpassungsfähigkeit bieten, punkten SaaS-Lösungen durch geringeren Verwaltungsaufwand und klare, planbare Kosten. Die Wahl zwischen diesen Ansätzen sollte daher sorgfältig abgewogen werden, um die beste Lösung für die individuellen Anforderungen eines Unternehmens zu finden.