Videoreihe

Entropy Explains

Erstellt und gesprochen von Dr. Simon Harrer

Co-Founder & CEO, Entropy Data

Entropy Explains ist eine Reihe kurzer animierter Erklärvideos zu Data Contracts, Datenprodukten und Semantik. Jede Folge erklärt ein Konzept in unter drei Minuten, mit Animationen statt Folien.

Playlist auf YouTube ansehen

Demnächst

Data Contract Best Practices: beantwortet „Was sind die Best Practices für Data Contracts?“ Ein Data Contract pro Output Port, Schema und Leserolle, im Git-Repository des Data Products, versioniert wie eine API und als Source of Truth behandelt, sobald er aktiv ist.

Abonniere die Entropy Explains Playlist, um neue Folgen zu bekommen.

Folgen

Folge 10 · 2:24

Data Contracts mit dbt

Beantwortet: „Wie nutzt du Data Contracts in einem dbt-Projekt?“

Schreibst du einen Data Contract von Hand neben dein dbt-Modell, pflegst du zwei Kopien des Schemas, und die laufen auseinander. Importiere den ersten Contract aus dem dbt-Manifest und lass die Data Contract CLI ihn als Properties und Tests in dein Projekt synchronisieren. In der CI darf ein zweiter Sync nichts ändern, und dbt test meldet die Ergebnisse in den Worten des Contracts.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 9 · 2:56

Data Contracts und Datenqualität

Beantwortet: „Wie definierst, testest und misst du Datenqualität?“

Der Umsatz hat sich über Nacht verdoppelt, wegen doppelter Zeilen, und niemand hatte aufgeschrieben, dass Order-IDs eindeutig sein müssen. Halte Qualitätsregeln mit dem Business und den Data Consumern in Klartext fest, wandle sie mit KI in SQL-Checks und Library-Metriken um und schreib sie zusammen mit den SLAs in den Data Contract. Die Data Contract CLI testet sie in der CI und nach Zeitplan, und ein Quality Score pro Dimension zeigt, wo die Qualität schwach ist.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 8 · 2:13

Domänen-Ontologien

Beantwortet: „Wie modellierst du eine Ontologie über viele Domänen hinweg?“

Eine Ontologie für das ganze Unternehmen klingt aufgeräumt, aber jede Änderung braucht die Zustimmung aller Domänen. Modelliere eine Ontologie pro Domäne, verantwortet vom Domänenteam. Solange es wenige sind, verknüpfen sich die Domänen direkt; sind es viele, verbindet eine kleine zentrale Ontologie nur die gemeinsamen Konzepte, und KI-Agenten folgen ihr über Domänen hinweg zu den verknüpften Data Contracts.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 7 · 2:31

Wie du zu deiner Ontologie kommst

Beantwortet: „Wie baust du eine Ontologie mit KI-Agenten?“

Fachbereiche und KI-Agenten brauchen beide eine Ontologie, und niemand will dafür monatelange Workshops abwarten. Sammle, was das Business schon weiß, lass einen Agenten Konzepte und Beziehungen auf einem Branch entwerfen, und lass die Fachbereiche den Diff im Diagramm prüfen, ein paar Runden lang, vor dem Merge. Schon im Einsatz? Der Blast Radius zeigt, welche Data Contracts und Owner eine Änderung betrifft.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 6 · 2:40

Data Contracts und CI/CD

Beantwortet: „Wie passen Data Contracts in deine CI/CD-Pipeline?“

Eine umbenannte Spalte, drei kaputte Consumer, und der Data Contract wusste es. Leg ihn in Git neben den Pipeline-Code und prüfe jeden Pull Request mit der Data Contract CLI: Lint, eigene Regeln, Breaking Changes und Tests in einer isolierten Umgebung. Nach dem Merge in Staging und Produktion testen und veröffentlichen. Jede Nacht testet das Promise Monitoring die Produktion.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 5 · 1:56

Bring deine Daten unter einen Data Contract

Beantwortet: „Wie bringst du eine bestehende Tabelle unter einen Data Contract?“

Deine Tabelle läuft seit Jahren in Produktion, und es gibt keinen Data Contract. Importiere sie mit der Data Contract CLI, teste sie sofort für eine grüne Baseline und ergänze, was nur du weißt: eine Beschreibung, eine Klassifizierung, eine Qualitätsregel, ein Freshness-Versprechen und einen Owner. Data-first nur einmal, danach führt der Data Contract.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 4 · 2:08

Datenprodukte mit KI bauen

Beantwortet: „Wie baust du ein Datenprodukt mit KI?“

Niemand schreibt Datenpipelines mehr von Hand. Ein Coding Agent baut das Datenprodukt contract-first aus drei Eingaben: ein Data Contract als das Was, gemeinsam im Workshop definiert, Skills mit deinen Konventionen als das Wie und ein Datenmarktplatz als die Daten, auf denen du aufbaust.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 3 · 2:18

Data Contracts und Semantik

Beantwortet: „Woher wissen KI-Agenten, was deine Daten bedeuten?“

Modelliere die Bedeutung einmal: eine Ontologie mit Entitäten, Eigenschaften und Beziehungen, festgehalten in Apache Ossie. Verknüpfe die Spalten deiner Data Contracts mit ihren Konzepten, damit sie Beschreibung und Klassifizierung erben, und lass KI-Agenten über dieses Anchoring erkennen, wie sie Daten verbinden und was sie weglassen.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 2 · 2:38

Data Contracts und Datenprodukte

Beantwortet: „Was ist ein Datenprodukt, und wie hängt es mit Data Contracts zusammen?“

Ein Datenprodukt ist mehr als nur Daten: Daten, Code und Metadaten als eine Einheit, die einem Team gehört. Wie es als Datei im Open Data Product Standard (ODPS) in Git lebt, in einem Datenmarktplatz veröffentlicht wird und ohne Ausfall von v1 auf v2 wechselt.

Auf YouTube ansehen Als annotierte Folien lesen

Folge 1 · 2:02

Data Contracts

Beantwortet: „Was ist ein Data Contract, und warum brauchst du einen?“

Warum Data Consumers brechen, wenn sich Daten ändern, was in einen Data Contract im Open Data Contract Standard (ODCS) gehört und wie der Data Contract Editor und die Data Contract CLI, beide Open Source, das Versprechen einhalten.

Auf YouTube ansehen Als annotierte Folien lesen

Entropy Explains

Demnächst

Folgen

Mehr lesen