Observability mit Michael Friedrich von GitLab

Hallo und herzlich willkommen zu einer weiteren Folge der Programmier.bar. Wir haben mal wieder einen Diebstahl für euch dabei. Und heute unterhalten wir uns über Observability. Was genau das ist, erfahren wir gleich. Neben dem Fabi ist auch dabei der Jo. Jo, Jo, Jo Hi. Und wir haben uns natürlich immer mal wieder einen Gast eingeladen. Uns hatte Michael Friedrich den lieben Michi von GitLab. Hi Michi. Servus, freut mich. Ja, uns auch. Vielleicht unsere Einstiegsfrage direkt am Anfang, bevor du ein bisschen darüber erzählst, wer du bist und was du bei GitLab machst, kannst du uns probieren, irgendwie kurz und knapp zu Erde zu erklären, was man unter dem Begriff Observability versteht. So knapp wie es irgendwie geht bei diesem Thema. Ich weiß, ich glaube, das ist durchaus die größte Challenge, diese Begrifflichkeit in den Blick zu fassen. Ich würde es versuchen so zu erklären. Ich möchte natürlich bei Usability in meine Systeme reinschauen. Ich möchte wissen, wenn meine Webseite langsam ist oder meine Kunden sagen irgendwas passt nicht. Wo kommt denn der Fehler her? Und in der Zeit von Microservices und Verteilte Architekturen wird es immer komplexer, für einen Entwickler oder auch für Operations Ingenieur oder DevOps Engineer reinzuschauen, um dann rauszufinden Ach, dieses Problem ist eigentlich die rote Karte, um um jetzt zum Beispiel den Shop schneller zu machen. Observability beschreibt die Methodiken und auch die Wege, wie man das analysieren kann, wie man Probleme lösen kann, wie man Dashboards baut usw. und so fort. Um das einfach entsprechend besser zu lösen. Das hebt sich vom traditionellen Monitoring ab. Da kann man ganz tief reingehen. An der Oberfläche ist es einfach wichtig zu wissen, dass viele unterschiedliche Systeme, unterschiedliche Eventtypen, die dazu beitragen, dass man auf zum Beispiel Themen oder Dinge erkennt, die man nicht, wo man keine Ahnung hat. Die sogenannten anderen Anons kommen immer dann später noch dazu. Ja, cool, was machst du denn? Da? Gibt es ja Wie kommt es du, dass du dich so gerne über Usability unterhältst? Muss man die Zeit ein paar Jahre zurückdrehen. Ich bin. Ich bin so 2009 herum auf der Uni Wien gewesen, im Bereich der NS und Nach Monitoring und da haben wir quasi eine Neigungsinstanz gehabt und und die ganzen Systeme überwacht. Für die für die Stadt ist in Österreich. Und dieses dieses Thema Monitoring ist ist mir da am Herzen geblieben. Bin auch in einer Open Source Projekt mit reingekommen, was mich nach Nürnberg getrieben hat und irgendwie Monitoring und Tools in dem Bereich zu entwickeln und dann auch zu wissen, wie werden meine Tools eingesetzt, wie wird sozusagen die Monitoring Software von jemanden verwendet, der tatsächlich eine Website seinen Shop überwachen möchte? Und bin ich dann auch in die Richtung Infrastrukturen schaut und und und diese ganzen Dinge die du als Entwickler eigentlich nicht im Fokus hast oder hattest früher. Das hat einfach fasziniert. Und dann habe ich gemacht was ist DevOps arm? Ist es jetzt quasi Workflow? Ist es Culture? Ist es Tools oder etwas in der Mitte und und haben dann einfach mehr auch mit City oder am Anfang mit Continuous Integration und dann auch Continuous Delivery oder Deployment beschäftigt und habe dann angefangen so 20, 17 oder 18 GitLab Schulungen für Kunden zu bauen, präzise zu halten. Und das hat mir so viel Spaß gemacht, dass ich mal ein bisschen weg vom ganzen Monitoring und Usability Thema bewegt habe und habe dann im Herbst 2019 eine Rolle bei GitLab gesehen und mir gedacht, ich liebe es, den Leuten was zu erklären, also Vorträge zu halten, Schulungen zu geben, praktische Beispiele mal auszuprobieren. Also so wie ich zum Beispiel gestern am Abend versucht habe, Epop Usability Programme zu testen. Das ist etwas, was ich sehr gerne magister. Und ich habe dann gesehen, dass es quasi im Developer Relations Team oder im Developer-Life steam quasi eine Rolle gibt. Habe mich beworben. Drei Monate später, was über die Feiertage ging, habe ich dann Zusage bekommen und habe im März 2020 als Developer Evangelist angefangen, Mittlerweile Senior, Aber ich bin sozusagen. Der Titel ist der Titel. Es ist wichtig, was du daraus machst und wo du dich entsprechend wohlfühlst. Mittlerweile halte ich auch viele Vorträge international auf Konferenzen, bin aber genauso in Deutschland auf mit Apps und anderen Events unterwegs, schreibe Blogartikel. Und das Schöne daran ist, dass Obskurität dann wieder zu mir zurückgekommen ist vor einiger Zeit, weil man natürlich auch für sich selbst in die Infrastruktur reinschauen muss. Warum ist das nicht effizient? Oder warum dauern die Jobs so lange, wo dann irgendwie aus dieser ganzen Geschichte dann auch das Desinteresse gekommen ist zu sagen okay, was ist jetzt dieses obsolet eigentlich? Oder welche Probleme löse ich denn damit? Ist es jetzt ein Passwort, was dir in den Kopf geworfen wird und jeder muss es machen, weil sich. Weil wir uns von Dingen wie Application Performance Monitoring Usability benannt haben. Teilweise wird es auf der Webseite einfach ersetzt und um es wirklich zu verstehen, muss man mal einen Anwendungsfall für sich selber finden. Und bei mir war es tatsächlich so, dass mich jemand gefragt hat, wie man Kubernetes überwacht und sagt Gut, wir können eine Metrik Monitoring machen, aber da steckt ja noch viel mehr dahinter. Also was, was ist sozusagen der Anspruch, ein Kubernetes Cluster oder Verteilte Architekturen zu überwachen? So bin ich dann einfach in mehr Themen von selber eingestiegen und da ist natürlich auch in GitLab ein aber das. Im Endeffekt geht es ausschließlich darum, allen zu zeigen, wie man sich das Leben leichter machen kann, mit OP Usability Praktiken, mit den entsprechenden Tools auch Dinge aufzuzeigen, die nicht funktionieren oder die jetzt aktuell gerade geübt werden. Aber wo es dann auch Zeit braucht, um, um, um sich damit auseinanderzusetzen oder auch zu planen für. In einem halben Jahr sollten wir uns das anschauen, aber wir wir machen es fix und so, das ist lange Rede, kurzer Sinn Ich würde mal sagen, ich habe sehr sehr viel gelernt über die letzten Jahre und kann auch sehr viel aus den Kästchen plaudern. Mein ursprünglicher Punkt, warum ich hier bin, ist Ich bin in der Schule vor vielen Jahren gesessen und wollte wissen, wie der Computer funktioniert und habe gesehen, dass es auf den vier 86 den Turbo Button gibt und wollte wissen, warum dieser Turbostaat nicht immer an ist. Was mich einfach dazu geführt hat, Hardware Software Systems Engineering zu studieren. Das heißt, ich habe dann auch gerne den Drang zu sagen, ich möchte wissen, wie das auf dem Bett Hardware funktioniert, wie funktioniert, mutiert, wie funktionieren andere Systeme? Und manchmal habe ich. Zu viel in dem Bereich. Aber ja, wenn ich mich nicht mit Technologie beschäftige, baue ich es nicht gerne Lego Modelle. Das sieht man jetzt im Podcast nicht, aber hinter mir steht ein Lego Millennium Falcon in riesengroß, der mir Freunde damals im Open Source Umfeld geschenkt haben. Und ja, im Flur draußen steht mittlerweile auch eine Titanic von Lego. Ein Kollege, mit dem wir eng zusammenarbeiten, der Thomas, bei dem es im Hintergrund ganz genauso aussieht und auch schon viele Vorträge gehalten haben. Ja, cool, super spannend. Also auf jeden Fall eine Story. Du hattest das ja vorhin, glaube ich, eine Einleitung schon sehr, sehr gut erklärt oder so ganz grob in dir eingefasst. Also für mich ist es so, dass das Thema Observability irgendwie super neu ist. Wir haben natürlich schon immer im Monitoring unsere Systeme betrieben, aber so wirklich diesen ganzheitlichen Ansatz zu verfolgen, das ist etwas, was ich eigentlich erst in der Vorbereitung dieses Podcast so mitbekommen habe. Und deswegen war es, glaube ich für mich so interessant, was Frank gesagt hat. Ein bisschen tiefer einsteigen, aber das nur mal so ein bisschen abzugrenzen, was eigentlich das klassische Monitoring gemacht hat und was jetzt mit diesem Begriff Observability irgendwie an Funktionalität, an Definition eigentlich hinzugekommen ist. Ja, ich sage mal so, ich würde sagen, das klassische Monitoring ist jetzt nicht weg oder tot oder oder wie auch immer. Ich würde versuchen, das Ganze ein bisschen einzugrenzen. Wir haben mit Agios oder anderen User Service Monitoring gehabt, wo wir sozusagen Blackbox mäßig versucht haben rauszufinden Ist das okay, Ist das okay? Oder Ja, es ist okay. Wir haben aber sozusagen Einblick in eine Applikation. Also ich schreibe jetzt nicht so Xcode, aber jetzt, wenn Publikationen, die vorhin am Warum ist und warum sind wir langsam oder was passiert denn da tatsächlich drin? Das war immer sehr schwierig, außer man hat sich hingesetzt und hat zum Beispiel sehr viele elf oder oder Dialogzeilen eingebaut, um das Ganze dann irgendwie zu korrelieren. Geht auch komplett durch, ist ist aber bis zu einem gewissen Grad. Gibt es mittlerweile neuere Wege, um in einer Applikation dann reinzuschauen? Was mich 20 16 mal herum fasziniert hat, war ähm. Also da muss man ein bisschen ausholen. Das ist Promise. Es ist quasi ein Ein Monitoring System, was sich Metriken von den HTTP Endpunkt abholen kann. Das heißt das System Projekt zu Projekt in einem zyklischen Intervall. Hast du was neues für mich, wie es zum Beispiel da diskutiert, wie ist irgendwas? Und das schöne daran ist, diesen HTTP Endpunkten mit Flash Matrix, den kann ich als Anwender oder als Entwickler auch bereitstellen. Also das ist etwas, was ich zum Beispiel wenn ich eine Applikation habe, die schon einen Webserver hat oder oder Treiber ist, das entsprechend zur Verfügung stellen könnte ich dort zum Beispiel im Docker. Das ist das, was ich gesehen habe 2016 zusätzliche Metriken rausgeben und sagen Hey, wenn so viele Container laufen und die verbrauchen so viele Ressourcen von außen, hat man da nicht wirklich einen Einblick gehabt. Und die Entwickler von Docker haben quasi Matrix Point in den Docker, die man eingebaut, sodass Promise jetzt zyklisch abfragen konnte. Was tut sich denn da drinnen? Also Whitebox Monitoring im klassischen Sinne. Und an diesem Anspruch habe ich dann nie gedacht. Eigentlich wäre es schön, wenn jede Applikation das bereitstellen würde, weil dann kann können die Entwickler, die wissen was was sozusagen in den vor sich geht, das entsprechend nach außen geben. Und wenn die entsprechenden Monitoring Systeme da sind, dann kann man das ja selbst Service verwenden. Also im besten Fall mit Auto Discovery von von Promises mit Dashboards zum Beispiel. Und ich als Entwickler kann mir dann sofort anschauen, ich Verbrauch oder die die Container oder die HTTP Request sind aus irgendeinem Grund und kann man den Verlauf anschauen, kann rausfinden, wer zu diesem Zeitpunkt kann das mit zum Beispiel dann geht mit korrelieren. Im besten Fall hätte ich dann zum Beispiel einen Request in GitLab mit City und und Monitoring und Metriken schon mitbringe. Das heißt, dass man das Ganze im Moment schon misst, aber das ist dann natürlich die Folgestufe von dem Ganzen. Im Wesentlichen geht es einfach darum, einen Einblick zu bekommen und ich auch als Entwickler das Leben leichter zu machen. Und Metrik Monitoring ist sozusagen eines der ersten gewesen. Dann gibt es noch Blockmonitoring, also dass man entsprechend alles auswertet, was gelockt wird. Dazu muss ich aber natürlich auch hergehen und entsprechend sinnvolles Logging einbauen. Und sinnvolles Logging ist kann man drüber streiten. Zum einen soll es schnell maschinenlesbar sein oder auswertbar, so dass ich zum Beispiel in einen lästig Stack oder Elasticsearch abspeichern kann in eine Dokumentenengine, um das ganze dann schnell auszuwerten, also ähnlich wie query oder Query zu sagen, Ich möchte jetzt alle Logs sehen von dieser Applikation in diesem Zeitraum oder wo der Begriff Error drin entsteht, um einfach einen Überblick zu bekommen. Ich gehe die. Zum Beispiel von dieser Applikation hoch, um das Ganze mit Metriken zu korrelieren usw. und so fort. Und da sieht man dann schon, dass der Begriff Korrelation ein bisschen im Hinterkopf ist. Was kann man denn dann tatsächlich noch an Daten heranziehen? Da hat sich auch dann irgendwann einmal sozusagen der Begriff der drei Säulen von Observability auch gegründet, weil dann versucht hat, den Unterschied zwischen Monitoring und Observable anhand dieser dieser Datentypen festzumachen. Was aber eigentlich nicht stimmt, weil es im Endeffekt nur Datentypen sind, also Metriken, Logs und Traces. Und dazu muss man wissen, Tracing oder Traces ist ähnlich wie ein Log. Aber um es zu visualisieren, wenn man sich zum Beispiel im Browser anschaut, in der Konsole die Ladezeiten von der Website, Also zuerst wird HTML geladen, dann irgendwelche Bilder, dann dauert es eine Weile, dann lädt ein Script für 14 Sekunden, weil es langsam ist. Und da möchte man natürlich, da hat man dieses diese Balken Diagramme haben und unter Umständen möchte man das entsprechend optimieren. Und ähnlich kann ich jetzt hergehen und sagen, das ist bei mir der Programmablauf in einer Applikation, aber in einem Monolithen wäre es okay, da ist es einfach, da kann ich tiefer reinschauen. Aber gerade in einer verteilten Umgebungen Microservices. Also das Beispiel wäre zum Beispiel in einen Shop einkaufen und aus irgendeinem Grund funktioniert der Check out nicht oder ist super langsam und die Webseite lädt nicht. Aber das sind involviert das Frontend dann ein Krieg gegen den Server, der irgendwo anders läuft und da ist dann das Backend wo in der Datenbank ist und ein Redis Cache. Die Requests gehen dann nach hinten rein und werden dann sozusagen wieder über das über die App ins Frontend geschickt. Und diesen Weg kann man sozusagen tracken und das ist eine Form, um tiefer reinzuschauen. In verteilte Umgebungen gibt es schon Traces beim Startzeitpunkt im Zeitpunkt und auch die Möglichkeit, einen Kontext hinzuzufügen. Wo bin ich denn gerade? Bin ich in einer Screenquery? Ist es ein 21 oder eine unterschiedliche Betriebssystemvariante, um dann wirklich zum Beispiel zu analysieren, diese Scenic, die jetzt sequenziell abgefeuert werden, die könnten wir eigentlich mit einer riesengroßen Parallel NoSQL abfedern oder mit einer besseren Transaktionoder denn den Code entsprechend optimieren. Aber bevor ich zu tief einsteige diese drei Datentypen oder diese drei Typen von Usability Daten haben sich über die Zeit einfach erweitert. Es kommen neue, neue Dinge immer wieder dazu und im Endeffekt sind es eigentlich nur Eventtypen oder andere Dinge, die ich, die ich versuche mit Usability zu aggregieren, zu korrelieren, auszuwerten, um dann einen Blick ins System zu bekommen. Okay, der große Unterschied ist eigentlich, dass man sagt okay, bei Monitoring hat man sozusagen diese ganzen einzelnen Datenquellen wie gehabt oder hat sich vielleicht auch nur einen bestimmten Bereich wie Matrix und Locks konzentriert und das jetzt durch das Thema Observability einfach mehr Datentypen bereitgestellt, also dass man auch eine andere Sicht auf den gesamten Applikations bekommt und versucht auch automatisch aus diesen ganzen Daten, die von den Systemen in die zusammengetragen wird, dann zu erkennen, was läuft in dem System vielleicht schief. Also da, was du ja auch angesprochen hast mit dieser Korrelation, also man versucht schon automatisiert diese Daten so zu agieren, sodass man mehr Erkenntnisse gewinnt. Was ist vielleicht die Ursache eines Problems, was ich jetzt identifiziere? Und das ist etwas, was mir über die Zeit sehr stark getrieben hat. Und am Anfang war ich auch nicht ganz davon überzeugt, aber mittlerweile sehe ich einfach den praktischen Nutzen davon. Wenn du diese ganzen unterschiedlichen Datentypen hast, musst du die, muss er das irgendwie einsammeln. Du musst die die Metriken irgendwo herbekommen und da ist es eine der Open Source Möglichkeiten. Und es gibt natürlich viele andere Anbieter Metriken, Low Cost Traces. Da gibt es Dinge, gibt es so was wie Profiling, also mittlerweile Continuous Profiling, dass du quasi in deiner Applikation mit ich nenne es mal magischen Technologien reinschaust und den Code der groß bekommst, um dann rauszufinden Aha, diese Funktion wird 1 Million mal aufgerufen, verbrennt immer eine Sekunde und deswegen ist die Applikation unter Umständen wirklich tief reinzuschauen. Früher hat man damit Per und diverse andere Tools, die manchmal funktioniert haben, manchmal nicht und in der Produktion dürfte man sie eh nicht installieren. Und das gleiche Spiel mit Baggern oder Grand für Memory Detektion, da geht Profiling auch einen Weg. Und das generiert dann auch wieder Daten und Muster bzw. Werte, die ich natürlich auch in einer gewissen Art und Weise gegen das Bestehende korrelieren möchte. Und ich möchte das System auch einfach Sachen fragen. Also wie ist der globale erste Der interessiert uns aber sozusagen auch auch rein zu schauen. Und das ist eigentlich auch meine Definition von Usability. Ich habe diese ganzen unterschiedlichen Daten und zum Beispiel auch etwas zu erkennen, was ich überhaupt nicht wusste und ich wusste auch nicht, dass ich fragen kann, es an anderen anderen. Ich habe letztens festgestellt, dass meine Pipelines sehr viele Kosten in der Cloud verursachen, weil sie halt laufen. Und man sagt ja dann auch so Never change a running system. Also Pipelines optimieren ist dann auch ein interessantes Unterfangen und ich konnte aber nicht wirklich rausfinden, warum die jetzt langsam sind und warum da im Hintergrund Ressourcen verschwendet werden. Und aus einem anderen Kontext heraus haben wir dann irgendwann mal rausgefunden, dass die das beim Download von Dependencies in einer in einem Job die DNS Latenz aus irgendeinem Grund hoch ist. Das heißt, dass das Auflösen von DNS Namen dauert, aber es dauert nur zu bestimmten Zeitpunkten. So und diese Daten habe ich jetzt aber nicht, das heißt Monitoring oder irgendwie gehabt, sondern von woanders her und das dann einfach da, das ist ein anderen an und das hätte ich nie in Verbindung gebracht so in der Nähe aber mit diesen unterschiedlichen Datenquellen bekomme ich so was und oder bekomme ich den Einblick, was es sonst noch gibt im Bereich von OP Usability. Und das ist etwas, was mich persönlich auch sehr fasziniert, dass man diese unterschiedlichen Datentypen Datenquellen, um dann die anderen an uns rauszufinden. Das ist ja etwas was was man vielleicht als Einzelner jetzt nicht unbedingt dauerhaft macht, sondern mit KI mit Eiio. Es ist auch ein Thema, was wieder hochkommt, was vor einigen Jahren noch sehr populär war. Einfach keine geschützte Hilfe zu bekommen war zu sagen okay, du schaust Software oder Sport, du hast einige Lust drauf, was ist denn jetzt tatsächlich wichtig, davon oder oder auch tiefer reinschauen zu können? Also es ist ja Wunschvorstellung von mir. Ich bekomme einfach die wichtigen Popups oder die wichtigen Nachrichten, dass eben die DNS Latenz gerade zu einem Problem führt. Und du möchtest doch bitte da reinschauen und nicht nur reinschauen, sondern das ist ein Vorschlag, um die Infrastruktur zu aktualisieren, weil natürlich dieses obsolete System jetzt nicht nur die Daten kennt, sondern es kann zum Beispiel auch mit GetOPs und Terraformen und habe zum Beispiel Zugriff auf das GitLab System, um dann einen Vorschlag zu machen. Hey, du könntest auch am Telefon Provider den zitieren oder den DNS Resolver auf etwas anderes setzen oder vielleicht dann in der Cloud reagieren. Ist gerade ein Ausfall in der Cloud, in AWS oder HTTP Google Cloud oder woanders. Und dann zu sagen, na ja, die Ausfälle sind jetzt im letzten Jahr sehr viele gewesen. Möchtest du vielleicht nicht das Data Center wechseln, oder? Also ist jetzt mein radikaler Ansatz. Aber es wäre zum Beispiel einfach interessant, diese ganze diese Bandbreite einfach zu erkennen, um dann nicht nur für den aktuellen Moment zu sagen Hey, das ist das Problem, sondern eben über die Zeit zu gehen und dann auch entsprechende Vorkasse zu machen. Und wenn dann Vorkasse zum Beispiel anzufangen, dann haben die Kollegen bei uns im Team bei GitLab gemacht oder machen es aktuell. Sie nehmen quasi Langzeit Metriken von Promisis. Nennt sich Thanos Thanos und verwenden diese Daten gemeinsam mit ets von von Facebook und lange Zeit vor Casting zu machen. Die Daten, die es da drinnen verwendet werden kann. Zum Beispiel dies diskutiere ich. Oder wie groß ist denn da der Datenbankcluster? Ich muss gestehen, ich weiß nicht genau, wie groß das ist, aber es sind sicher einige Terabyte oder vielleicht auch das muss man einfach langfristig planen können haben und so, da wie das ganze nach oben geht und auf GitLab und gibt es ja durchaus einige User, muss man das entsprechend natürlich dann im Blick haben. Und mit und mit AI oder KI kannst du dir dann zum Beispiel den Ast die Kurve nach oben zeichnen lassen, wo dann ein anderes Event GitLab hat. Vor einiger Zeit den Datenbank Klasse gesplittet haben um um zum Beispiel die Events woanders abzulegen, weil es halt einfach sehr viele, sehr viele Daten sind. Und da hat sich dann der Podcast natürlich wiederum verändert. Also es spielt dann auch Rolle, wie entwickelt sich die Infrastruktur, wie entwickeln sich die Daten, um dann entsprechend auch das gestützte Vorcasting da besser zu machen. Und ich glaube, dass das ein sehr, sehr interessanter Anwendungsfall ist, gerade wenn wir uns jetzt aktuell ja überall Augen halten dürfen oder vor Augen haben und uns fragen sie sind ja nicht der USA ist oder warum? Welche Probleme könnten wir lösen mit mit CLI oder egal gleichzeitig in Verbindung zu ziehen? Okay, wir machen jetzt Usability oder wir versuchen es zu machen. Könnte das zum Beispiel der nächste Schritt sein, Also bei zwei OPs nachgelagert zu sagen, wir holen uns auch die Unterstützung von Easy. Bis zu dem Zeitpunkt hat vielleicht jemand schon ein Tool für die für das entwickelt und ich habe schon einige Sachen gesehen im Bereich obsolet. So, jetzt ist es dann quasi marktreif oder machbar, ist aber im Endeffekt ein bisschen was entwickelt hat oder es gibt da schon vielleicht, vielleicht weiß ich es auch nicht. Das ist einfach ein sehr spannendes Thema, weil und da gehe ich jetzt ein bisschen tiefer noch rein, Für Entwickler ist Usability wichtig, aber es ist natürlich auch so Wir haben mit dem Left Shift von Security, mit DevOPs und Desktops alles auf die Entwickler geladen, mit Usability. Ja, baut doch bitte mal ein Instrument ihre mal den Code für das Tracking hinzu, füge Metriken hinzu, füge Profiling hinzufüge, füge hinzu. Aber das ist alles mehr Arbeit. Und eigentlich ist ein bisschen. Gerade als Entwickler möchte ich mich auf das Wesentliche fokussieren. Es ist gut, ein Code zu schreiben, der hoffentlich keine Bugs hat. Also Spoiler hat immer Bugs in meiner Erfahrung, aber im Endeffekt möchte ich mich darauf fokussieren und möchte die entsprechenden Tools zur Verfügung haben, weil es reinzuschauen, im besten Fall nicht etwas einzubauen, was dann eine Memory Regression hat beim Kunden, sondern die Sicherheit, Also die Pipeline sagt mir das dann schon, dass das zum Beispiel dieser geht, damit 10 % mehr Memory konsumiert oder Memory liegt drinnen hat gibt es Es ist auch eine Geschichte die hatte ich vor vielen Jahren Du baust was und du hast wirklich die Systeme, die dir helfen. Und der Kunde sagt dann irgendwann zu dir in meiner riesengroßen verteilten Umgebung habe ein Memory Leak bitte, bitte fixen und du kannst aber bei dir selber in deiner Umgebung das Problem nicht reproduzieren, weil du 1001 brauchst und. Im Quintessenz sagst Ja, für Entwickler ist es einfach. Dadurch, dass jetzt sich so die Arbeitsweise wir Systeme entwickeln und auch natürlich betreuen, dass du, wie du es ausgeführt hat, immer mehr Microservices hinzukommen, einfach die Notwendigkeit da und bietet eine gute Option letztendlich, sich dieses Thema irgendwie genauer anzuschauen, wie man Observability und diese ganzen Datenquellen eben nutzen kann, um dann bessere Erkenntnisse zu haben. In welchem Zustand ist mein System also gerade aus der eigenen Erfahrung, die vielleicht doch nicht so viel in diesem Bereich gemacht haben, ist es sehr oft so, dass man sagt okay, man hat halt was im Auftritt. Man guckt sich dann verschiedene Kurven an, versucht dann letztendlich, Kurven auf verschiedenen Systemen irgendwie übereinander zu legen, um dann zu identifizieren. Hier an der Stelle ist wahrscheinlich das Grundproblem zu suchen und das hat dann die Auswirkung auf alle möglichen anderen Systemkomponenten gemacht. Und was mir da halt eben so ein komplett mit Observability ausgestattetes System eigentlich anbietet, ist, dass ich dort eine Zusammenfassung habe und diese Fragestellung für mich irgendwie einfacher beantwortet werden. Und genau das ist es ist dann auch so, dann im Bereich von Tracking, wie bekomme ich zum Beispiel diese Tracys, um diese diese Fragen zu stellen zu können? In einer verteilten Umgebung ist der Redis Cash aus irgendeinem Grund zum Beispiel langsam. Weil Fingerknöchel Fleck nicht ganz passt oder so auch eure Geschichte die Waffen auf dem GitLab Blog nachlesen kann. Und ich muss gestehen, ich habe auch nicht alles verstanden, was unsere Stories an dieser Stelle haben. Aber man kommt da mit Gesprächen und Kauf jetzt einfach ganz tief rein. Das Problem ist, glaube ich an dieser Stelle als Entwickler. Am Anfang habe ich gesagt na gut, wir haben zum Beispiel jetzt Open Telemetrie als Framework oder Spezifikation, wo ich Bleiberecht verwenden kann, um zum Beispiel mit meinem Code mit Tracys Tracys einbauen kann, wie es funktioniert. Aber im Endeffekt muss ich meinen Code angreifen. Es initialisieren da ein bisschen mit Kontext eines Tracys arbeiten, wo ich mir dann als Entwickler die Frage stelle Macht es meinen Code langsamer? Welche Probleme kommen da dazu? Muss ich was sagen zusätzlich? Also der Einstieg war für mich als Entwickler sehr, sehr hart am Anfang und auch auch mitten drin. Es geht also je mehr dass sich das hat etabliert hat funktioniert. Aber bis zu einem gewissen Grad war dann auch so die Akzeptanz in der Community eigentlich ja schon da. Aber eigentlich ist es ziemlich Aufwand für Entwickler zu sagen ich muss jetzt alle meine Applikationen instrumentieren, Tracys hinzufügen. Dann bin ich aus der Ecke. Auch das bisher bei Performance, Monitoring und Profiling gekommen, dass es unterschiedliche Wege gibt, quasi in die Applikation reinzuschauen. Und dann kommt es natürlich auf die Programmiersprache auf. Drauf an, dass zum Beispiel in Java kennen wir nicht so gut aus, aber das zu mehr oder weniger in die ECPM reingehen kannst und zum Beispiel die, die die Calls von Funktionen besser abgreifen kannst, also dass die quasi irgendwie in die Mitte reinsetzen kannst und damit schauen oder mitlesen kannst. Es ist jetzt bei C++ Programm ein bisschen schwieriger. Aber es hat sich dann auch mit neuen Technologien wie ich sage es mal am besten, es hat sich ein bisschen verändert. Der Ausblick zu sagen okay, wenn es die Entwickler jetzt nicht alles selber instrumentieren können und wollen, dann müssten wir eigentlich wieder den Weg gehen. Wie können wir uns das Leben, es als Suite oder DevOPs Team leichter machen, dass wir sozusagen automatisch in die Systeme reinschauen und einer da, einer der Wege und Technologien, der kann 2022 und 23 jetzt durch die Decke gehen, es was abgekürzt bedeutet Extended Packet Filter und Extended sage nicht. Es ist historisch bedingt. Es geht im Wesentlichen darum, dass du im Kernel nicht dem User Space, sondern auf einer Linux, auf einem Linux System, quasi im Kernel die anschauen kannst oder ich dich auf Host subscribe kannst. Versucht das zu abstrahieren. Ich glaube, du kannst an der Stelle ja nicht nur Discord, sondern alle möglichen Events irgendwie abgreifen. Also es geht da auch um Netzwerk Events. Also du kannst ja wirklich da in verschiedene Bereiche dich einklinken, um zu sagen okay, alles das, was eigentlich Der Kernel überwacht diesen gesamten Kontext, der den Kernel eigentlich zur Verfügung stellt, den kannst du dann entsprechend interpretieren oder dann auf bestimmte Events reagieren. Genau. Und es hat sich also weil der Kern natürlich sehr stabil sein muss, hat sich da mit Innovation nicht so viel und dann quasi dazu gebaut worden ist. Das kann man sich vorstellen wie eine virtuelle Sandbox oder virtuelle VM, wo dann kleine Programme, die quasi kurz auf ein Event subscriben, jetzt ein Netzwerk Paket kommt herein und ich mache etwas damit zum Beispiel einfach das kann ich damit machen und eines der ersten oder die ersten Wege dort reinzuschauen gibt es natürlich Command Line Tools und da ist es das Blog von Brandon Gregg. Sehr, sehr hilfreich, um da ein bisschen zu zum Beispiel ich kann mir die die Syntax von Stress nicht merken also Straße minus L -1024 oder irgendwie so ein bestimmtes ist call so zu kratzen. Da gibt es dann PPC Trace und dann noch um da einfacher reinschauen zu können es. Das interessante an dieser Technologie ist, dass ich jetzt nicht nur zum Beispiel Netzwerküberwachung machen kann. Ich kann auch zum Beispiel Firewalls damit bauen oder High Performance Dinge auf auf einer Embedded Nick Embedded Netzwerkkarte sozusagen. Dann auch wieder kleine Linux und machen. Ich kann aber genauso in die Richtung gehen gerade in der Container Infrastruktur der Container Architektur mit Kubernetes und anderen Varianten reinschauen was die Container machen. Das ist ja auch von außen so und wie sprechen die beiden Container miteinander? Muss ich da auf das System? Da gibt es mittlerweile auch Mittel und Wege, das mit EBTechnologie zu tun und nicht nur rein zu schauen, sondern auch Dinge zu verhindern. Das heißt, wenn man jetzt zurückdenkt an Bitcoin meiner, die sich irgendwo installieren oder auch so in Text, die dann zum Beispiel in meiner Package Jason in einer Notiz Applikation baue ich mal ein Skript irgendwas böses ein, was dann was runterlädt und dann habe ich einen Reverse Shell Rootkit, irgendwas im System drinnen. Sowas. Sowas kannst du dann auch in Containern erkennen und auch entsprechend unterbinden mit Technologie und und. Diese Schnittstellen zu dem PF, das ist immer etwas, was sozusagen dann das System bereitstellen muss. Also es muss der Linux Kernel letztendlich so erweitert werden, dass der letztendlich diese Calls an ein EBF Sandbox Container dann irgendwie zulässt. Das ist etwas, was sozusagen in die Systeme jetzt hinzugekommen ist, dass es diese Schnittstellen zu diesen Maschinen gibt. Ich glaube, die erste Version, die manche Tools brauchen, ist 4:17 vom Kernel. Natürlich haben neuere Kernel Versionen noch mehr Support mitbringen. Es gibt auch mittlerweile wieder, weil mit root am System, wenn du so möchtest bis zu einem gewissen Grade. Das kannst du kannst da auch dich auf einen Opencsell Deskriptor draufsetzen und auch mitlesen, was eigentlich sonst in Krypto wäre. Das ist etwas, was man mit Vorsicht genießen muss. Es ist eine tolle Technologie, aber im Endeffekt bist du auf dem offenen Herzen unterwegs. Also man muss sich damit auseinandersetzen, was macht dieses Programm oder diese Plattform jetzt tatsächlich da im Hintergrund? Welche Rechte braucht sie und welche Risiken gehen damit einher? Also das sollte es nicht. Sollte nicht jeder im Team oder ein Programm zu installieren? Ich glaube, das ist das Interessante an der ganzen Technologie ist, wenn man es wieder auf ein Entwickler zurückzieht am. Ich kann mir mit ÖPNV anschauen, wie Funktionen aufgerufen werden. Das heißt, dass dieses Profiling und auch das Tracking kann ich in bestimmten Sprachen mit lösen. Das heißt, der User muss jetzt keinen Code einbauen, um das Profiling machen zu können oder oder Tracking, sondern es wird im Hintergrund mit rein geschaut und das Ganze dann mit. Ich habe noch nicht ganz verstanden, aber mit Word und Symbolen das Ganze dann sozusagen zusammen gesetzt, damit ich dann trotzdem wieder was sinnvolles in meinem meinem Profiling Tool zum Beispiel habe. Aber der Code wird überhaupt nicht angegriffen, sondern da zum Beispiel Parker C ist dieser Project Fugu von Poller Signals für Continuous Profiling. Die haben angefangen einzubauen in den Agenten, der dann quasi die Applikation kopiert und haben dann irgendwann auch das Ganze in Rust umgeschrieben. Besser wir haben Memory Safety hat also reines C# und das ist halt einfach faszinierende Technologie. Und Sie schreiben auch auf Ihrem Blog regelmäßig, wie Sie die Dinge bauen. Und ich muss gestehen, bis ein gewissen Grad verstehe ich es aber irgendwann so und das ist, das ist ja innovativ, das macht mir das Leben leichter. Ich muss es nicht ganz verstehen, aber im Endeffekt kann ich mir die Entwickler dann wieder auch diesen, diesen Mehrwert von Observable ity holen, weil quasi dieser Shift Left On von Observable tut. Oder auch andere sagen, der findet statt, Aber die Arbeit liegt nicht bei mir, sondern es werden Möglichkeiten, Technologien, Plattformen, Interfaces oder APIs geschaffen, die ich konsumieren kann. Und das ist, glaube ich so dieser, dass Scham, aber auch das Problem, weil es einfach zu schnell geht. Aktuell ist es was was irgendwie wie aus unserem Team Selbstverständnis wir sind so einer Entwicklung die dann sage ich mal was grundsätzlich zur Verfügung gestellt wenn es mir darum wirklich gar keine Gedanken mehr machen muss. Aber ich finde jetzt klingt es irgendwie nach so wird es mir erzählt, nach Magic auf jeden Fall. Ich als Entwickler muss in meinem Code nichts mehr machen, aber trotzdem, je nachdem, wie groß man irgendwann muss, die sich damit auskennen, dass überhaupt das trotzdem ganz ganz aufzusetzen. Das ist es, was die Entwicklung denn eher kommt dass ich mir wirklich gar keine Gedanken mehr machen muss. So ich sage mal so wir hier bei Lotum jetzt kein finanziertes DevOps Team. Also ich bin der Entwickler, der sich auch um DevOps kümmern muss. So macht es mir es dann wirklich leichter, weil es, weil es mir dann wirklich jemand am Ende abnimmt. Oder muss ich mir jetzt einfach damit auseinandersetzen, wie er funktioniert? Dann könnte ich mir auch einen Tracker oder so in meinen Code einbauen, bevor ich mich damit auseinandersetze, wie das auf der Ebene funktioniert. Eine sehr gute Falle. Ich glaube, bis zu einem gewissen Grad musst du dich um gar nichts mehr kümmern, weil diese Technologie so weit im Hintergrund, dass es dann einfach funktioniert. Und es ist Teil Teil der Funktionalität. Die Voraussetzung wird sein, dass jetzt zum Beispiel und es kommt dann auch wieder darauf an, wenn du zum Beispiel ein Kubernetes Cluster betreibst, wenn du den selber betreibst, dass zum Beispiel, dass die Nodes einen aktuellen Kernel haben, dass du dann zum Beispiel Plattformen oder Tools wie Ziele um die IP Technologie im Hintergrund verwenden, auch verwenden kannst in deinem Kubernetes Cluster. Wenn du jetzt zum Beispiel bei einem Cloud Provider Google Cloud, kannst du dir auch Managed Kubernetes holen oder irgendwas anders. Da tragen dann quasi deren Teams dafür Sorge, dass diese Technologien dann auch funktionieren, bzw. wenn man dann, wenn etwas nicht funktioniert Support Ticket und dann lösen das quasi andere Teams. Was glaube ich hilfreich ist, ist es Verständnis, was es ist, wie es funktioniert, welche Möglichkeiten es bietet und auch unter Umständen welche Risiken. Aber es wird in Zukunft so sein, meiner Meinung nach oder meiner Produktion nach, dass wir gar nicht wissen, wo IP läuft. Ähnlich wie das wir nicht wissen, dass auf in unserem Auto ein Kerl irgendwo in einer Linuxumgebung, auf einer Raspberry PI oder Embedded System irgendwie läuft. Aber ich glaube, dass wir sogar kurz gesagt, man da STANDARD Technologie bis zu einem gewissen Grad werden. Es ist aber durchaus hilfreich zu wissen, es gibt neue Tools oder neue Technologien, wo ich mir Sysadmin das Leben leichter machen kann. Also das Beispiel mit Extras. Manchmal ist es hilfreich, in Applikationen reinschauen zu können. Da ist mit zum Beispiel das neulich gekommen, was ich nicht kannte. Also ach so, dass die Syntax einfacher zu merken, es hilft mir, wenn er auftritt und ich muss ganz dringend was was die Banken irgendwer von System haben. Da brauche ich einfach meine Werkzeuge. Und wenn man sich diese, wenn man da versucht, ein bisschen am Ball zu bleiben am. Was zum Beispiel dann in einer Kubernetes Umgebung deutlich schwieriger ist, mal auf eine Seite zu kommen und irgendwas zu machen. Da gibt es dann auch andere Tools. Da habe ich ein Tool namens Inspector Gadget gefunden und Inspector Gadget. Das heißt wirklich so auch mit dem deutschen Car was, was unterschiedliche Tools anbietet, zum Beispiel um DNS Tracking in Containern zu machen, um rauszufinden, ob da funktioniert, die Namensauflösung nicht oder? Oder zum Beispiel mit Opt in Container reinzuschauen. Das sind alles Möglichkeiten, die mit Apps gekommen sind. Ich weiß nicht genau, ob es im Hintergrund funktioniert, aber es bietet einfach die Möglichkeit, es zu verwenden, zu konsumieren. Es gibt zum Beispiel auch PixiJS was, was eine Usability Plattform für Entwickler ist, die zum Beispiel auch automatisch in Applikationen reinschauen können, um. Um mir dann eine abstrahierte DSL oder Sprache anzubieten. Wie kann ich das abfragen? Bauen wir dann visuelle Service Maps von meinen Diensten? Und das ist auch etwas, was einfach mit dieser Technologie entwickelt worden ist, was ich dann als Anwender evaluieren kann, konsumieren kann, für mich selber natürlich rausfinden muss. Hilft mir das oder ist ist es einfach zu viel? Und der Trend geht einfach in die Richtung, dass die, die dir jetzt OP Usability Software anbieten und bauen, sei es Open Source oder auch SAS und Enterprise, die verwenden im Hintergrund alle irgendwann. Also da hat schon angefangen mit dem Agenten, der auch Open Source ist, da kann man reinschauen. An vielen anderen Ecken und Enden kommt es halt auch zum Einsatz und verwendet dann im Endeffekt dann. Oder bietet mir einfach mehr Möglichkeiten, in die Systeme reinzuschauen. Weil, um aufs Eingangsthema zurückzukommen, wie Docker damals den Matrixpoint eingebaut hat, das war der erste Aha Moment. Ach so, wir können dann ja schon reinschauen. Wir sind ja nicht darauf angewiesen, von außen zu raten. Na ja, so viele Container laufen jetzt mit Docker PS, das wird hoffentlich schon passen. Und Applikation geht sehr gut, sondern jetzt kannst du noch tiefer reinschauen. Wo du gerade letztendlich das Beispiel mit Docker ansprichst. Das ist ja letztendlich das, was dann wieder diese Promise Schicht verwendet. Ich habe jetzt so verstanden, okay, EBF ist eigentlich das, was in Zukunft kommen wird und das bietet einfach einen sehr tiefen Einblick in die Systeme, so dass dort irgendwie alle möglichen Informationen aus den Kernel abgegriffen werden und dann über irgendwelche Schnittstellen dann irgendwie so ein zentral observer related Dienste bereitgestellt werden. Das, was du jetzt hier ansprichst mit diesem Matrixinpoint, dafür brauche ich ja auch eine Kommunikationsinfrastruktur, oder? Also diese Matrix haben wir erst mal nur Metriken von dem System gegeben. Darunter wurden die Sachen natürlich wahrscheinlich explizit abgefragt und auch ausgegeben. Aber das war doch auch dieser Startschuss, wie dieses ganze Thema Observability eigentlich begonnen hat, oder das da eigentlich mit ich glaube Sounds hatte das Initial veröffentlicht und auch er war einer der ersten Kunden, die Promisiers dann auch genutzt haben. Und das ist letztendlich erst mal auch so ein zentraler Dienst, der mir einfach dann Daten bereitstellt und ablegt. Also was alles das, was in diesem Promisis System immer dann zusammengefasst wird und dann an Daten bereitgestellt wird. Genau das ist. Das ist vielleicht auch ein guter Hinweis. Die Daten, die jetzt rauskommen, das ist ein Anruf wert. Das muss ich irgendwie in ein Observability handliches Format bringen. Das kann ich zum Beispiel in Metriken umbauen. Also ich habe zum Beispiel auch eine promises Export gefunden von Cloudflare, der verwendet, um zum Beispiel tief in die ScIO reinzuschauen. Also der verwendet diese Technologie und macht dann quasi die Werte wieder in das Matrix Amazon Promises an und wenn, wenn ich sozusagen diese Technologie dann weiterverwenden sage, ich kann das für Traces verwenden, ich kann es für Continuous Profiling verwenden, es wird neue Datentypen geben oder auch alte mit Netflix oder oder Weißflow, also quasi Network Traffic Analyse, was ja wiederum bisschen Monitoring ist, aber dann doch eher andere Richtung geht. Intrusion Detektion Prevention geht jetzt nicht in die Richtung Security Observability. Was du mit uns machen kannst, das ist eine neue Lösung, um da auch reinzuschauen, um Rootkits zum Beispiel auch zu erkennen. Ähm er mal auch angeschaut. Tracy Form von ACic Security. Was in dieselbe Richtung geht, bin ich natürlich sehr stark im Open Source Bereich unterwegs. Im Enterprise Umfeld findest du aber auch genauso die Anbieter mit Promises. Ähm, sozusagen als System muss man sich das ganze gar nicht so vorstellen. Das ist ja Dienst, der sammelt die Daten, definiert das Format der Metriken, hat da eigene Sprache zu dem Thema, die nicht so eskaliert ist. Das heißt, die kann im Frontend oder auch automatisiert über APIs die Sachen abfragen, verwenden auch viele andere Systeme mittlerweile diese diesen STANDARD und speichert diese Metriken in einer Temperatur. Dabei ist im Hintergrund aber auch nicht für die Ewigkeit, sondern wenn ich's für die Ewigkeit speichern möchte, brauche ich noch andere Systeme dazu. Das ist jetzt aber nur die reine Datenhaltung. Ich muss ja auch was machen damit. Das heißt, ich definiere mir dann zum Beispiel auf Basis von der Sprache und sag, wenn jetzt für länger als fünf Minuten die CPU auf über 100 % bleibt, dann möchte ich was damit tun. Oder wenn zum Beispiel Memory nach oben geht und dann gewissen Threshold überschreitet. Möchte jetzt Teams Alarm alarmieren möchte oder Gruppen Notifications rausschicken. Dann kannst du das mit E Mail Telegramm. Es gibt es, gibt es verschiedene Integrationen mit dem Manager von Promise, um dann auch Intelligent Management zum Beispiel anzubinden. Du kannst zum Beispiel auch andere Systeme anbinden via Produktiv GitLab, zum Beispiel einbinden mit Internet Management und diese Möglichkeit dann einfach auch die, die Observability Daten zum Beispiel in Systemen zu haben, wo meine ganzen Deployment und meine Entwicklung dann auch stattfindet, hat einfach auch einen gewissen Charme. Wichtig wiederum nicht nur Metriken haben wir, sondern wir haben sehr viele andere Daten und die einer der Challenges ist es, diese unterschiedlichen Systeme. Und irgendwann bist du halt auch müde von links und rechts. Ein lästig und in der Mitte dann noch ein Jäger Tracking oder oder andere Tools, die wir Sentiment nennen. Oder du gibst jemandem Geld dafür, dass du das, dass du sozusagen die Schnittstellen bekommst. Es geht der Trend mittlerweile zu einem generischen Observability, Database Backend s oder oder Backend s, wo du unterschiedlichste Datentypen drinnen speichert und schaust. Zum Beispiel ist eine andere ein Weg als eine Kolumne Database, in der ganz tief drinnen. Aber wir haben bei GitLab zum Beispiel angefangen, das Backend für Traces zu verwenden, wo dann auch andere obsolete Daten dann drinnen abgelegt werden, weil das zum Beispiel in einer relationalen Datenbank PostgreSQL schwierig ist, verstehst du dann relativ schnell an Grenzen. Und diese Challenge haben viele andere Anbieter und und auch Unternehmen oder oder Umgebungen auch. Aber weil wir speichern natürlich mit Observability dann auch sehr viele Daten ab. Die Frage ist Brauche ich diese Daten? Und wie lange brauche ich sie? Und was kostet es mich, sie ganz lange aufzuheben? Und dann sind wir wieder bei der. Eigentlich bei der. Monetären Frage von früher. Muss ich das ewig aufheben für Reporting? Wie ist die Polarität? Also kann ich sozusagen auch dann sagen, die Metriken muss jetzt nicht in der Auflösung aufgehoben werden, sondern es reicht eine Woche oder ein Tag oder so, dass einfach die Daten verdichtet werden. Und es gibt dann auch Anwendungen oder Umgebungen, wo das nicht relevant ist, wo du zum Beispiel für einen Incident, die die Daten einen Tag aufhebst oder nur Life Telling hast, du quasi live in die Sachen reinschauen kannst bis zu einem gewissen Grad, weil das für deine Umgebung reicht. Und da ist. Aber weil du gerade gesagt hast Kris Clickhouse Beispiel. Das heißt aber nichts, was spezifisch ist, kein eigentlich reines Observable, sondern einfach nur das ist ein Beispiel für eine Datenbank, in dem ihr dann jegliche Form von Metriken und oder Datentypen irgendwie aufhebt. So aber ist jetzt nichts, was eigentlich spezifisch Observability gedacht ist klingt, oder. Es ist jetzt ein Beispiel dafür, wie die. Also es gibt natürlich mehr als Ciceros, es gibt Queste, die es gibt Victoria Matrix, es gibt Times, KGB, es gibt Lästig Search Aspekt und die die spannende Frage ist wie kann ich schnell was wo ein Kippen in unterschiedlichsten Formaten und welche Abfragesprache oder wie bekomme ich die Daten dann so schnell wieder raus, dass sie zum Beispiel in der Spalte angezeigt werden, dass ich in der Lage mit eingezogen werden können. Und wenn ich jetzt zum Beispiel um 3:00 früh aufgeweckt werde von einer SMS oder von von immer Slackification, dann möchte ich ja alles haben, was was mir sofort hilft, das Problem zu verstehen und auch schnell zu lösen, wenn ich wieder ins Bett möchte. Und wenn ich dann zum Beispiel dort die ganzen Graphen und Daten aufbereitet bekomme und sagt Ach so, ja, da geht jetzt das Bike nach oben und in der Inter oder ikation ist zum Beispiel der Fix schon drin, dann, weil wir CI schon haben, dann wäre das natürlich das Beste und ich muss aber das irgendwie sinnigerweise abspeichern und das ist, glaube ich die Challenge. Was für mich und mein Verständnis gerade noch so ein bisschen fehlt. Ich glaube, ich habe jetzt irgendwie verstanden, so aktuell grad, dass wir gleich bei Philips haben wir eine Möglichkeit, über auf viele Datensätze zuzugreifen, wenn viele neue Datentypen kommen. Aber wer macht schon jetzt sehr viele Datentypen, die wir teilweise über unterschiedliche Dinge sammeln? Also das ist gesprochen, die Metriken sammeln. Wir haben, wenn wir die Logs, die in Elasticsearch vielleicht auch ankommen und verschiedene Datentypen, aber es ist immer wieder gesagt, dass man will ja nicht alles auf einen Blick sehen, ist noch nicht ganz klar, was in meiner Vorstellung gerade sind, die all diese Daten noch irgendwie in unterschiedlichen Stellen oder auch so was wie selbst wenn es am Ende in Click Haus landet, irgendwie. Einen Trace schaue ich mir nicht in einem normalen. Also das ist ja eine ganz andere Art von Graphen. Nicht mehr dann anschau, als wenn ich mir einfache Metriken anschaue oder auch das Profiling und so gibt es eigentlich Was ist also wie schaue ich mir die Daten an, was gibt es da für Best Practices? Gibt es das eine Tool, was mir wirklich alles zusammen irgendwie zeigt durch die Sammlung an verschiedenen Stellen. Ein Tool zeigt mir jetzt alles an und ich habe wirklich alles auf einen Blick oder wieso? Wie funktioniert wirklich das Anschauen dieser Daten, nachdem ich sie jetzt über verschiedene Wege gesammelt habe? Das ist noch nicht ganz klar. Ja, das ist sehr gute Frage. Ich würde mal sagen, es gibt diese eierlegende Wollmilchsau gibt es nicht. Außer du findest einen Anbieter, der der sozusagen das schon gebaut hat, findest, aber im Umfeld immer sagen Also ich habe, ich würde mal sagen, einer der Vorreiter im Bereich Usability Technik kommt die das Backend ist ein Firmengeheimnis würde man sagen also das ist das ist superschnell kann sehr viele Daten verdichten und im Frontend siehst du alle Daten, die du die du haben möchtest, auch mit entsprechender Korrelation an den unterschiedlichsten Werten. Ich habe es nicht tief ausprobiert, aber ich. Ich höre ja nicht nur gute Dinge drüber, aber hat natürlich einen gewissen Kostenfaktor mit dabei. Das heißt, wenn jetzt jemand sagt, ich möchte das selber bauen mit Open Source Tools und dann entsprechende Interfaces bringen, willst wahrscheinlich mit Grafana als Frontend oder als Visualisierung deine Dashboards bauen, deine Panos mit einbauen. Grafana sich von einer reinen Metrik Dashboard Variante zu entwickelt hat mit unterschiedlichsten Datenquellen, dass du zum Beispiel auch anziehen kannst und Blocks visualisieren kannst zu dem Zeitpunkt, wo es gerade der Graph sich in Dateien in der Zeitlinie vorwärts bewegt. Was der erste Ansatzpunkt ist zu sagen, wenn der Peak nach oben geht im Graph, dann würde ich gerne die Logs dazu sehen haben. Raphael hat mittlerweile eigenes Logingsystem gebaut, das sich Loki nennt. Hat er auch ein eigenes Deck. Also wenn du so möchtest, baut sich jeder seine eigenen Stärken und die eigenen unterschiedlichsten Usability Datentypen abgelegt werden, um das Ganze entsprechend natürlich dann auch performant zu machen, was das Risiko bietet. Natürlich ein gewisses. Wenn der Lock in hat man dann weil natürlich ja du du musst die dann für irgendwas entscheiden. Der Vorteil oder einer der Dinge die die Crew zum Beispiel angefangen hat zu machen. Wenn da auch in der Open Source Community, dass du Traces mit Metriken verknüpfen kannst, was relativ neu ist, dass du sagst, ich habe jetzt da eine Menge. Das ist ein gutes Beispiel, wenn meine HTTP Response Zeit quasi und das ist entsprechend korreliert mit der Traceit zu dem Shop oder zu dem Trace HTTP und Backend usw. rausgeht, das ich da entsprechend auch dann die die HTTP Response Zeiten korrelieren kann im Frontend zu den Traces oder auch einfach mehr Kontext bekomme und das Ganze natürlich mit Logs dann auch noch verheiratet. Und wenn jetzt dann alle Profiling machen und das ist das Thema bei Grafana und bei vielen anderen, wie schaffen wir die Möglichkeit, dass der Benutzer oder User Content sofort sieht, was, was uns was wichtig ist? Also es ist zwar schön, wenn mal sehr viele Dashboards out of the box mitbekommt, also gerade wenn man einen Operator in Kubernetes installiert, bekommt man auch sehr viele schöne Spots. Aber was? Was ist das, was die jetzt tatsächlich interessiert und auch das Problem der verschiedenen Datenquellen? Und wo kommt es her und wie skaliert mit dem soll sich der Benutzer eigentlich auseinandersetzen müssen, sondern das sollte einfach konsumierbar da sein. Und da geht es wieder, das Beispiel ich als Entwickler oder frühere Entwickler jetziger Entwickler. Ich möchte, ich möchte das konsumieren können, aber ich möchte mich jetzt nicht damit auseinandersetzen. Bekommt man die Daten her, welche Queries muss ich absetzen? Schön wäre es einfach, wenn man sich das zusammenklicken könnte oder auch automatisiert. Also API abfragen. Dinge bekommt man das ganze zum Beispiel noch Requests bringen ziehen zu können und sagen gut, ich habe jetzt was gebaut das ganze warum und mit worden ist, dann nenne das jetzt wieder magisch automatisch Matrix, Sammlung Tracking sonst was ist passiert und ich bekomme dann ein Report oder einen Überblick sozusagen im Request und auf Basis des Code Review s. Mehr oder weniger ist es Teil davon und derjenige daran, der dann sozusagen das Review macht, der oder diejenige hat das dann die Möglichkeit zu sagen Ach so, na ja, aber die, die Codecov ic passt, die Tests passen, die Securities kennt passen, aber bei der Performance muss man auch was drehen, weil das Profiling herausgefunden hat, dass jetzt diese eine Funktion um drei Millisekunden langsamer ist und in der. In der Summe sind aber zehn Sekunden reingesetzt. Das ist noch nicht ganz da. Wir sind noch nicht dort, aber ich hätte das gerne. Aber das ist sozusagen mein Wunschdenken und ich versuch oder macht es tagtäglich hier in meiner Arbeit alles, was ich an Ideen mir selber ausdenke, mit der in unserer Community, wir diskutieren Vorträgen auf Events ist auch unserem Produkt entsprechend mitzugeben bzw. einfach auch Feature Request selber aufzumachen, was dann natürlich auch dazu führt, dass andere das genauso adaptieren. Ich finde es aber auch gut, weil wenn man keine Competition, also Konkurrenz hätte, dann wird man wahrscheinlich immer noch ein altes irgendwo haben und gar nicht wissen, wie unsere Systeme funktionieren. Deswegen. Deswegen ist es sehr gut, was sich aktuell entwickelt. Gut ist auch, dass wir drüber sprechen in einem Podcast, weil es gibt so viele Dinge. Keine Ahnung, warum ich jetzt so Politik machen sollte. Wichtig ist, just an Use Case für dich selber definieren zu sagen. Ich möchte zum Beispiel meine Applikation reinschauen, verstehen, warum sie langsam ist und dabei verschiedene Tools oder Plattformen ausprobieren und diese diese Evaluierung dann dann auch tatsächlich in der Praxis umsetzen. Und ich frage jetzt noch mal ganz, ganz direkt, quasi ja, wie baut ihr eure Applikationen, wie, wie sozusagen, wie ist eure Umgebung, dass man vielleicht versuchen kann, das Praxisbeispiel heranzuziehen? Also wir bauen grundsätzlich alles in der Google Cloud. Der Großteil von uns setzt auf Managed Kubernetes, nämlich alles, was ihr nicht aber in den Projekten. Ich bin eigentlich alles Not TypeScript im Backend. Wir haben zumindest teilweise einen, aber so für Trace und so auch so das was von Google Cloud of the Box irgendwie kommt, das Google Cloud residiert und auch eine Trackingmöglichkeit haben. Aber wenn du einfach sagst was was haben wir da stehen im Backend ist es eigentlich alles Kubernetes bei uns nur TypeScript, teilweise verschiedene Services, aber dadurch, dass wir ein Team meistens haben Pro Game, sind wir immer wieder den monolithischen Ansatz gefahren und haben eher so ein paar Core Services, die wir nutzen und nicht alles komplett verteilt zu machen. Genau das ist so. Steckt meistens bei uns ja ähnlich. Was wir natürlich haben. Wir haben halt eher dann in die Cloud rein als Dienst, also nicht Kubernetes, wo wir auch natürlich bestimmte Einblicke bekommen, aber genauso auf der Google Cloud und dann dort im Backend von dem mit Flutter ja, aber sonst sehr sehr ähnlich also nutzen eigentlich das, was uns die Google Cloud Plattform bietet mit dem Google Cloud Operations also was ja früher glaube ich sich nannte aber auch nicht zur Gänze also da vielleicht auch nur an der Oberfläche von dem was eigentlich möglich ist. Also wir nutzen Metmetrics Locks und Traces auch war ehrlich ehrlich gesagt, also wir sind schon Metrik und Locks ist so will ich sagen das der Hauptteil dann. Dann ist es vielleicht eine gute Herausforderung für dieses Jahr sich mehr mit ces zu beschäftigen oder auch zu schauen. Also ich bin jetzt auch nicht genau im Bilde, was Google Cloud anbieter dann an Services haben, aber zum Teil zu evaluieren was was unter Umständen dazugekommen ist oder wie. Wie könnt ihr in eure Applikationen mit Notes tiefer reinschauen haben? Würde das? Würde das etwas bringen? Oder ist es schon so, so weit weg, abstrahiert oder abgekapselt, dass was, das man sich anschaut und sagt, so was könnte ich jetzt in meinem Kubernetes Klasse zum Beispiel noch überwachen oder was wäre denn bei uns zum Beispiel relevant weil ich je mitbekommen habe auch natürlich Effizienz ist ein großes Thema in 2023 ersetzt. Nicht nur Prozesse optimieren aber, sondern zum Beispiel Cloud Ressourcen zu sparen. Also braucht es zum Beispiel der Kubernetes Cluster. Keine Ahnung, diese, diese CPU Power und diese fünf Nodes. Oder auch warum laufen diese Microservices in dieser Skalierung mit diesen Replicas usw. und so fort? Also das ist jetzt kein Zwang es zu tun, aber ich will meinen, einfach so die Fragestellung mal zu auch Inventur Analyse dann zu machen wie können wir noch effizienter werden mithilfe von Usability, die uns nicht nur die Latenz zum Beispiel aufzeigt, sondern eben auch, dass unter Umständen manche Prozesse oder manche Instanzen eigentlich redundant laufen oder irgendwelche CPU Zyklen verbrannt werden, weil man das Logging falsch eingebaut hat oder oder weil im Code unter Umständen noch was optimiert werden kann. Also das es ist glaube ich auch Challenge, wo man natürlich unter Umständen viel Zeit hat, wenn man natürlich Innovationen vorwärts geht. Aber um Kosten einsparen zu können ist es gab ja ganz gute Geschichte, sich damit zu beschäftigen. Hm, ich glaube, dass so die primäre Frage, was hat letztendlich unser Cloudanbieter im Jahr an Unterstützung bietet. Habe ich so das Gefühl, dass es da schon ein bisschen weiter ist. Da gibt es dann so ein gemanaged Scanner System, was ich einfach hochfahren kann, aber trotzdem natürlich, Ich glaube, das ist auch ein Thema, die natürlich in der Google Cloud aktuell ist und auch natürlich dort bearbeitet wird. Also da sagen Sie zwar, sie haben eine Unterstützung von Open Telemetrie, aber was alles darunter fällt, das habe ich mir noch nicht im Detail angeschaut. Aber auf jeden Fall ein Thema, so nach dem Podcast, sich mal ein bisschen damit auseinanderzusetzen, wie kann man da vielleicht noch die Einblicke erweitern um. Also wir hatten nämlich schon Inzidenz also gerade mir als die Microsoft Architektur die größer waren, wo wir auf einmal die Latenz gesehen haben und nicht mehr genau identifizieren konnten, welcher Service löst das eigentlich initial aus? Wo wir glaube ich auch als eine der wenigen Ausnahmen wirklich Traces, also auch wirklich systemübergreifend uns angeschaut haben. Aber seitdem ist es doch eigentlich immer sehr, sehr rudimentär, was wir eigentlich so an Einblick in das System haben, oftmals auch nur brauchen. Aber auf jeden Fall ein guter Punkt, sich damit mit auseinanderzusetzen, was das, was da die Optionen sind, die wir dann noch nutzen könnten. Und was mir gerade einfällt, wenn du sagst nach oben Telemetrie. Manchmal ist es auch so, dass die Produktionsumgebung vielleicht zu wenig Veränderungen anbietet oder dass man sich nicht drüber traut. Ich baue etwas in der Google Cloud in der Produktion um, was ich gerne mache. Ich schaue mir dann an, zum Beispiel von Open Telemetrie. Gibt es ein eigenes Projekt oder Demo, wo ich sozusagen Spiele, Umgebung bekomme, mit anschaue, mit Traces und mich mit der Umgebung vertraut machen kann. Wie funktioniert Open Telemetrie? Was? Was? Welche Komponenten hat? Wo könnte ich denn diesen Anwendungsfall für meine eigenen Applikationen zum Beispiel kopieren oder replizieren? Weil es Grundverständnis oben Telemetrie an sich ISO Framework Spezifikation von von Traces die, die stabil sind von Matrix die stabil sind und Locks sind glaube ich auch mittlerweile gar oder fast Stable und Profiling zum Beispiel ist gerade im Kommen und andere Datentypen, das heißt der von Open Telemetrie selbst gibt es einen sogenannten Receiver, das ist der, der sozusagen via HTTP oder Schiaparelli die Daten annimmt, die sozusagen jetzt ein Monitoring oder einen Namen schickt. Oder kann ich auch selber von der CLN und ist dann entsprechend vorbereitet. Das heißt, ich kann dann definieren und sagen, ich möchte zum Beispiel speichern und alle Logs in der lästig und redundant möchte ich sie auch noch irgendwo in der Cloud speichern. Die Traces möchte ich lokalen Jäger hineinschieben. Jäger verwende das Backend wiederum Elasticsearch oder Click Haus zum Beispiel und parallel würde ich es gerne in der Cloud aufheben. Das heißt ich kann mir das sozusagen event Pipelines bauen auch in Open drinnen, wo ich dann auch in Tschechien machen kann und Sachen rausfiltern kann oder oder zusammen korrelieren. Aber im Wesentlichen geht es darum, das ist ein Telemetrie Collector, der sozusagen der der Datensammler ist. Es gibt einige Tools oder Plattformen, die auch mittlerweile das nativ unterstützen. Die sagen, den Kollektor brauchen wir nicht mehr, aber zum Starten ist es einfach gut zu sagen, ich habe diesen, diesen Kollektor schickt da meine Sachen hin, der kümmert sich um die Verteilung. Die spannende Frage ist dann bei Open Telemetrie okay, ich schiebe die Daten irgendwohin an einem Event oder alle sagen dann Open Telemetrie Support. Ja, wie bekomme ich meine Daten da wieder raus? Das bekommst du fast nirgendwo. Das heißt, wenn du dich irgendwo darauf hin committees, diese Daten dort zu speichern, wirst du sie wahrscheinlich in alle Ewigkeit dort haben. Deswegen ist es ganz gut, sich zu überlegen wo, wo lege ich die Daten ab, mache ich vielleicht was redundantes? Wie ist die Vorlaufzeit, wo zahle ich mehr? Möchte ich? Möchte ich zum Beispiel Opt Management selber hosten, was unter Umständen einfach sehr kostenintensiv sein kann Und im Wesentlichen meine Empfehlung, sich bei den Projekten auch die die Demos und oder und Anwendungsfälle einfach mal anschauen, um da ein bisschen zu spielen, ein bisschen vertraut zu werden. Welche Probleme kann man damit eigentlich lösen? Unabhängig ist von der Produktion, weil Produktion nichts kaputtmachen oder oder spielen müssen. Wenn du sagst, die Plattform sich anschauen. Also dass ich jetzt so verstandenen Open Telemetrie ist einfach so ein STANDARD, wo man dann sagen kann okay, wie werden Daten in die verarbeitet und in die weitergeleitet und dann gibt es letztendlich dann diese externen Dienste, wo ich dann die Daten eben ablege und dann wieder anschauen kann und das eigentlich dann so was wie Crawana ist, um wieder so eine aggregierte Sicht der Dinge zu bekommen. Oder ist Kavana eigentlich so was eigenständiges? Okay, das habe ich irgendwie in der Cloud installiert, im Hause. Das gebietet mir Zugriff auf die Übersicht auf alle möglichen Event Hütten und spielt da Open Telemetrie rein oder ist das so? Okay, das ist eigentlich gefühlt noch mal so separat. Das ist für mich jetzt gerade so die Schwierigkeit. Wie passend diese Welten von vielleicht Promisiers, Open Telemetrie und Crew einer zusammen. Dass man mal so. Wenn man von Farmer spricht, ist es mittlerweile mehr als nur ein Sport oder eine eine Frontend Visualisierung. Es gibt einen Graph ala Lux, Geothermie, SQL GTM, wo dann Locana Tempo für Traces und ähm ist mir das ist ein Backend im Endeffekt. Um's runterzubrechen Du brauchst unabhängig von den unterschiedlichsten Tool Namen. Du brauchst etwas wurde die, wo du die Sachen abspeichert für Metriken zum Beispiel Promises oder Panels oder Cortex oder etwas anderes kannst du Victory Matrix und Open Source Bereich gibt es sehr viele Dinge. Du kannst das natürlich auch in der Hand reinschieben in das als Plattform oder lästig oder. Oder soll er weinen? Und im Endeffekt ist es natürlich auch so, dass die großen Provider genauso wie die kleineren oder die nicht so großen anbieten, auch solche Dinge an. Oder sind es gerade ein paar Un Kubernetes, die ja jetzt keine Ahnung in einer Cloud oder bei sich zu haben oder woanders holst bekommst? Du bist dann gewissen solche Sachen auch schon mit dazu. Das ist dann etwas, was man sich einfach auch anschauen muss, ob man das jetzt haben möchte und wie man es da entsprechend baut. Ich brauch irgendwas, wo die Sachen abgespeichert werden. Ich brauche irgendwas, wo ich es hinschicken kann, es eine API, eine Schnittstelle in einen Agent ein. Keine Ahnung, ein extra Packet wo ich Sachen hinschicken kann theoretisch. Und ich brauch stock Frontend wie visualisiert werden kann. Also, dass ich jetzt, dass ich die Daten sinnigerweise in dem Panel anzeigen lassen kann oder auch eine API, also REST, API oder GraphQL oder je nachdem was, was dann halt sinnig ist, um diese Daten zum Beispiel in meine eigenen Applikationen einzubauen. Das heißt, ich habe zum Beispiel jetzt ein Zeitfenster, Sport oder oder irgendeine andere Visualisierungslösung sozusagen in meiner Umgebung mit drinnen. Und ich brauche für mein Reporting bestimmte Daten aus meinem System. Das heißt, ich möchte es natürlich dann auch entsprechend einbinden und brauche ein PDF Report fürs Management und dann kommen wir halt wieder in die Sache rein. Baue ich das Ganze jetzt selber oder schaue ich mir an, was zum Beispiel ein Kraut anbietet oder ob es jemand anders, ob jemand anderes das schon gebaut hat, was dann einfach die für die Kosteneffizienz dann auch spricht zu sagen okay, ich gebe denen jetzt keine Ahnung, 1.000 $ im Monat oder oder weniger oder mehr und dafür bekomme ich diesen Dienst. Und wenn etwas nicht geht, dann klopfe ich beim Support an und und bitte um die Behebung und muss mich aber selber in meinem Tagesgeschäft nicht damit auseinandersetzen. Ich bin ja Fan von Open Source und Sachen selber bauen. Manchmal ist es aber so, auch gerade jetzt im Usability Bereich. Du hast so viele Möglichkeiten und Tools, dass es manchmal ganz gut ist, wenn es jemand anderes für dich aggregiert macht, was ich auch sehe. Das ist vielleicht ein guter Punkt ist. Es entstehen mittlerweile wieder mehr observable Plattformen, die Open Source sind, gerade im Bereich Kubernetes. Hab letztens mal geschaut Code schreibt bei Co Rust com zur Open Source Lösung, die auch mit einer Saas Enterprise Variante, die zum Beispiel dazu verwendet, um Services zu visualisieren, also die messen dort den Traffic Network Traffic zwischen Containern, um dann eine visuelle Service Map daraus zu bauen. Aber was ich super cool find, weil ich keine Ahnung, wie meine Container Kubernetes miteinander reden und das ist ganz, ganz frisches Tool oder der Tool Plattform. Das hat man vor einiger Zeit auf einer Konferenz gezeigt. Da geht's. Ich habe die Ursprünge irgendwie auch mit PostgreSQL Build Tools ing, kannst aber auch mittlerweile im Vorhinein Kubernetes Cluster hinein deklarieren und das ist glaube ich auch Zur Geschichte mit Open Source wird immer das stärkste bleiben, glaube ich. Einfach weil jeder mitmachen kann, jeder Innovation treiben kann. Es ist ja gut, dass Open Telemetrie Sender geschützt ist. Dass fast alle Windows, die Interesse daran haben, sind. An Bord ist eigentlich sozusagen irgendwie jeder im Bereich und etablieren eine gemeinsame Schnittstelle, wo dann wiederum jeder jeder sein eigenes Backend und Frontend dazu baut. Aber das ist eine sehr, sehr gute Entwicklung, die dann auch unterstützt wird von der Cloud Computing Foundation zum Beispiel. Letzte Woche gab es dann auch wieder entsprechende Updates, wo die Reise hingeht und dann auch mit den Mitgliedern sprechen kann usw. und so fort. Ja, spannend. Du sagst es gerade, was letzte Woche auf der Coupon, das heißt, da gab es so einige interessante Ausblicke, was jetzt in Zukunft in diesem Bereich kommen wird, wo die Reise hingeht. Ich glaube, du hattest vorhin schon erwähnt, mit dabei wird wahrscheinlich gerade viel gemacht, aber was waren so deine wichtigsten Erkenntnisse, was jetzt in naher Zukunft erwarten können? Ja, also ich habe gerade das Thema, Es ist omnipräsent. Das Wichtigste ist, sich die Frage zu stellen. Okay, kurzer Questions oder Vorschläge sind ein Thema. Aber welche anderen Sachen kann ich damit noch angehen? Also ein Experiment, das auch gerade bei GitLab gemacht wird, ist Wie kann ich als Security sie so erklären, dass ich sie fixen kann, aber auch verstehen kann? Aber was ist zum Beispiel die Root Codes in einer ähnliche Richtung? Wenn jetzt zum Beispiel wenn ich an Effizienz denke und das Spiel auch im Bereich Observability mit rein, wie kann ich mir das jetzt für die Pipelines optimieren? Oder meine Pipelines schlagen immer fehl. Ich habe einen wunderschönen Sektor von einer PC Applikation. Niemand kann es fixen außer der Entwickler, aber der ist seit drei Wochen auf Urlaub. Wie kann ich Pipelines schneller, also effizienter machen? Wie kann ich Probleme besser beheben und könnte ich zum Beispiel dafür verwenden, um um auch Probleme in Pipelines zu lösen? Gerade im Bereich natürlich absurd. Wie werde ich, wie bekomme ich diese unterschiedlichsten Datentypen Datenquellen, Wie komme ich an diese anderen anderen heran, so dass sie im Prinzip nutzen oder einholen werden, wenn du es möchtest? Ich glaube, das ist ein sehr, sehr heißes Thema und und es spricht, dass der deutsche Markt bzw. europäische Markt dafür die Datensicherheit von EA, also welche Daten werden hier für das für den Modus für Streaming verwendet, damit ich mir sicher sein kann, dass da jetzt keine privaten Daten oder Daten, die nicht lizenziert oder wo die Lizenz nicht zusammenpasst, dass man nicht in diese Gefahr läuft, das es Transparenz wie trainiert wird. Da ist es sehr sehr heißes Thema, finde ich. Hat alles mit Usability vielleicht weniger zu tun, aber wohl auf der Cebit sehr stark diskutiert. IP wird überall sein. Ich habe einen Vortrag auf meiner Liste. Ich habe ihn leider verpasst im Web 2:00 null eins. Also quasi was ist machen nach dem 101 nach dem wir fangen mit WP an, was kommt noch am. Bis die Vorträge kommen. Ich glaube am 8. Mai auf den Youtubekanal, also noch zwei Wochen nach der ClubCon, wo man sich dann meine Empfehlung auch ist. Gerade der Track, wo es dann auch in dem Bereich geht, Wie kann ich EPC Events in Metriken umwandeln, um das zu visualisieren mit Helium und Pharma und anderen Tools? Ich werde mit meinem Newsletter auch darüber schreiben und mir das entsprechend anschauen. Der ist auf OPs in der News. Also wenn wir dann noch verlinken und ansonsten auf der Cube kann ja effizient. Also alles was ich eben bei uns am GitLab Stand einen Talk zum Thema People gehalten und es ist halt immer noch ein heißes Thema. Also ich habe den Vortrag vor etwa zwei Jahren einmal angefangen und wollte dann eigentlich ins Archiv legen und sagen Naja, wir sind jetzt effizient und alles passt ja. Nein, sind wir noch nicht. Also wir können immer noch config, Ressourcen, security und und auch observer ability verbessern. Und es ist ein gutes Thema, einfach auch darüber sprechen zu können. Und Observability ist hier, um zu bleiben. Wir werden uns damit auseinandersetzen. Wir werden immer wieder neue Wege gehen. Wir werden vielleicht einmal auf falsche Richtung gehen, um uns neu zu orientieren. Aber die Grundidee ist, dass wir uns das Leben leichter machen können und einfach zum Beispiel mehr Freizeit haben oder auch inspiriert werden. Vielleicht den Job zu wechseln, weil irgendwann das eine interessantere Technologie gibt. Oder dieses Projekt mitzumachen, was Spaß macht. Und umso schöner und Abschluss hat man sich gar nicht sagen können. Dafür ist auf jeden Fall. Also auf jeden Fall denke ich mal viel bei uns dazu angeregt oder bilde ich mir sagte oder wenn wir auch sehr viel sind sehr rudimentär unterwegs aber das coole viele Einblicke geben auch was da was da noch so alles möglich ist und zumindestens ich habe einen sehr viel besseren Überblick darüber, was wir da noch alles tun könnten und was die Landschaft da draußen so noch bietet. Vielen Dank auf jeden Fall dafür, weil ich glaube, im Anbetracht der Zeit würde ich jetzt langsam zum Schluss kommen. Außerdem ich immer noch am Ende so ein bisschen der Punkt, so wie außerhalb. Noch eine Sache, die auf jeden Fall unbedingt noch gesagt werden muss. Ein Statement, was vergessen haben möchte, was dir auf dem Herzen liegt. Zum Thema das muss noch raus dann gerne jetzt noch. Ja, ich habe tatsächlich was vergessen die die Sache ist die Observ Mobilität ability ist ist eine super Sache, wenn man sie hat. Es ist alles grün, es funktioniert alles. Aber wie verifiziere ich jetzt, dass meine Dashboards passen, dass meine alles passen, dass meine Datensammlung tatsächlich so funktioniert haben? Das heißt, ich muss etwas professionell kaputt machen, wenn ich es gerne also quasi Ingenieuring hat sich in den letzten Jahren bisschen so das Nischenthema entwickelt mittlerweile wieder mehr am. Ich möchte eigentlich einen an Produktions Incident simulieren um rauszufinden ob ob diese ganzen Observability Workflows funktionieren. Und ich habe zum Beispiel vor einiger Zeit mal das Problem gehabt, Meine Applikation hat Memory geleakt, aber nur wenn DNS nicht funktioniert hat. Also wirklich vor vielen Jahren. Und ich habe dann mir eine Demo gebaut, die sozusagen in Memory liegt, wenn wenn DNS nicht funktioniert, ob das in ein Kubernetes Cluster hinein deployed und habe mit Chaos Mesh quasi DNS, Chaos und Experiment laufen lassen und habe damit wunderschön gesehen, dass für diesen Container Memory Leak nach oben geht oder mehrere nach oben umgehen. Hat alles getriggert und war wunderschön. Okay, ich habe letztes Jahr auf der Cube Cannon Vortrag dazu gehalten und habe auch festgestellt, gerade mit Cloud Native Umgebungen kannst du mit auch Observable ability verifizieren. Das ist ein Thema, was wir, was wir hin und wieder anschneiden auf Konferenzen oder wo ich auch darüber spreche. Manche Leute haben es nicht auf da auf dem Schirm, andere sagen, sie würden es gern ausprobieren, aber es macht ja vielleicht dann doch mehr kaputt, als es soll. Aber es ist ein wichtiges Thema, im Hinterkopf zu behalten Wie verifiziert ich denn jetzt, dass das tatsächlich alles funktioniert, was ich da überwache? Ja, da haben wir auch noch eine Folge 96 mit Benjamin Willems von Wilms und Steady Beta Forschungsthema Engineering aus der die wird ja auch eine Engineering Plattform. War auch super interessant darüber zu sprechen, also können wir da auch da auch noch mal ans Herz legen. Herr Kuhlmann, vielen Dank auch für den Input Nochmal, Das war sehr cool, ist auch sehr, sehr spannend. Ich glaube, wir haben die Zeit sehr gut genutzt, um uns über Usability zu unterhalten. Das habe ich, glaube ich in diesem Zuge mal darauf verzichten würde, unseren Pick of the Days heute noch zu machen, weil ich lieber dem ganzen Thema noch mehr Raum geben wollte heute. Aber wir wollten das gar nicht. Wir sind immer schlecht in Briefen von Pick of the Days vorher. Sie wusste Bescheid, dass wir das machen. Falls ja, über dir deinen natürlich nicht wegnehmen, wenn du. Wenn du einen Blick auf das mit der Community teilen willst, einen Blogbeitrag, einen, ein kleines Tool, irgendwas, was du gern noch teilen möchtest, darfst du es gern noch machen. Jojo und mir verbiete ich dann heute mal das Gedicht. Würdest du es mir dir vorher vom Picks of the Day erzählen, dann darfst du den gerne noch nennen, wenn du ihn hast. Ich hätte also, ich hätte einen Picks of the Day. Was ein Buch ist, was ich auch gerade lese, spielt in das Thema mit rein. Was, was wir uns, was wir vorher besprochen haben, wie wir lernen. Und es gibt ein neues Buch von Dennis Rieke von Vaillant, also Vaillant Learning, was gerade bei O'Reilly rausgekommen ist. Ich persönlich finde es sehr gut. Ich würde es ans Herz legen, der mal reinschauen möchte, der auch verstehen möchte, wie es im Hintergrund funktioniert. Ich sage aber auch gleich dazu man sollte bisschen C plus plus Entwicklung können, um sich ein bisschen damit auseinanderzusetzen. Es ist eine gute Möglichkeit zu verstehen, was jetzt gerade der große Hype ist, wo die Reise hingeht und man kann am Ball bleiben. Sehr gut haben wir auch noch ein cooles Kick off the Day bekommen und Jojo und ich haben uns das nächste Mal auf da. Vielen, vielen Dank für deine für deine Zeit. Es hat glaube ich vielen noch mal ein bisschen die Möglichkeiten im Bereich Observer Bild auf jeden Fall aufgezeigt und wird wahrscheinlich vielen so gehen wie mir zu sagen, da können wir noch mal ein bisschen nachholen und euch auch vielen Dank fürs Zuhören. Wie immer gerne Feedback an Podcast Programmier.bar oder einfach auf unserer Homepage programmier.bar. Lasst uns gerne wissen, wie er die Folge fandet oder gerne auch weiterhin die Möglichkeit bei Spotify nutzen, da direkt Kommentare zu schreiben. Wir sind jetzt auch sehr dafür, dass wir auch genau schauen, was ihr da schreibt. Also wie immer Feedback gerne her. Ansonsten vielen Dank fürs Zuhören und bis ganz bald Chateau Ciao.