Kontrollverlust als Feature

Geschätzte Lesezeit: 4 Minuten

Spotify lässt also große Teile der Entwicklung von einer KI erledigen. Das interne System „Honk“ schreibt Code, implementiert Features, führt Tests aus – Menschen geben Anweisungen, prüfen Ergebnisse und schieben im Idealfall noch ein Nicken hinterher. Klingt nach Fortschritt. Ist es auch. Nur: Fortschritt ist nicht automatisch Kontrolle. Manchmal ist es das Gegenteil.

Und genau das ist der interessante Teil: Nicht „KI ist böse“, sondern „KI macht Dinge möglich, die man früher aus gutem Grund nicht so gemacht hat“.

Ja, KI bringt echte Vorteile – und genau deshalb wird’s gefährlich

Es wäre albern, so zu tun, als hätte KI keinen Nutzen. Sie ist brutal gut in allem, was bisher Zeit gefressen hat:

Boilerplate und Routine-Implementierung
Refactoring und Variantenbau
Testgerüste, Mocks, kleine Fixes
“Mach mir das gleiche Feature noch für Plattform X”

Das ist nicht Spielerei. Das ist ein Produktivitätshebel. Und Unternehmen lieben Hebel, vor allem wenn sie nach Quartalszahlen riechen.

Aber hier liegt der Punkt: Je größer der Hebel, desto größer die Versuchung, ihn ohne Sicherung zu benutzen.

Der neue Workflow: Du steuerst – aber du verstehst nicht mehr

Die Verheißung lautet: „Entwickler werden zu Architekten, die KI macht den Rest.“

Die Realität in vielen Teams wird eher so aussehen:
Du wirst zum Operator eines Systems, das schneller Code produziert, als du ihn sinnvoll lesen kannst.

Das ist kein moralisches Problem. Das ist ein physikalisches:
Wenn die Maschine mehr Output liefert, als menschliche Aufmerksamkeit verarbeiten kann, entsteht automatisch ein Kontrollproblem.

Und dann kippt das Rollenbild:

Früher: Du schreibst, du verstehst, du verantwortest.
Jetzt: Du wünschst, du hoffst, du gibst frei.

Tests sind gut. Test-Religion ist schlecht.

Natürlich testet Honk. Natürlich laufen Pipelines. Super.

Nur sind Tests kein Ersatz für Systemverständnis. Tests beweisen nicht, dass etwas „gut“ ist – sie beweisen nur, dass es in den Fällen nicht explodiert, die man abgeprüft hat. Und wenn KI auch noch die Tests mitschreibt, hat man plötzlich ein System, das sich selbst bestätigt.

Das kann funktionieren – solange die Welt sich an die Annahmen hält.

Spoiler: Tut sie nicht.

Kontrollverlust kommt schleichend: Erst bequem, dann teuer

Der wirklich zynische Teil ist nicht „KI schreibt schlechten Code“. Oft schreibt sie brauchbaren Code. Der zynische Teil ist:

KI senkt die Reibung so stark, dass Organisationen anfangen, Reibung für unnötig zu halten.

Und Reibung ist im Engineering häufig genau das, was dich vor Dummheiten schützt:

Architektur-Reviews, die nerven
Security-Gates, die Zeit kosten
“Nein, das shippen wir nicht heute”
“Lass uns erst verstehen, warum das so ist”

Wenn du plötzlich 24/7 Features generieren kannst, wirkt jedes Gate wie Sabotage. Und dann wird nicht die KI besser – dann werden die Leitplanken dünner.

Der Gewinn ist Geschwindigkeit. Die Rechnung kommt später.

Kurzfristig sieht alles toll aus:
Mehr Releases, mehr Features, weniger „Engineering-Zeitverschwendung“. Vielleicht sogar weniger Personalbedarf für Routinearbeiten.

Langfristig ist die Frage: Wer kann das System noch retten, wenn es mal wirklich schiefgeht?

Denn große Systeme scheitern selten mit einem klaren Crash. Sie sterben langsam:

Performance wird “komisch”
Daten werden “leicht inkonsistent”
Abhängigkeiten werden “irgendwie fragil”
Änderungen werden “unverhältnismäßig riskant”

Und dann ist es ungünstig, wenn die Organisation sich daran gewöhnt hat, dass niemand den Code wirklich “besitzt”, weil der Code eher ein Nebenprodukt der Prompt-Kette ist.

Fazit: KI ist der Turbo. Aber wer hält das Lenkrad?

KI-gestützte Entwicklung ist sehr wahrscheinlich die Zukunft. Nicht, weil Menschen zu dumm wären – sondern weil es ökonomisch zu attraktiv ist. Der Fehler wäre nur, daraus ein Glaubenssystem zu machen:

„Wenn die KI es kann, brauchen wir keine tiefe Kontrolle mehr.“

Doch. Gerade dann.

Der eigentliche Fortschritt wäre nicht “Honk schreibt alles”, sondern:
Honk schreibt viel – aber Menschen behalten die Hoheit über Architektur, Qualität, Sicherheit und Release-Disziplin.

Sonst passiert das, was immer passiert, wenn man Systeme beschleunigt und gleichzeitig das Verstehen abbaut:
Man wird schneller… auf etwas zu, das man nicht mehr rechtzeitig bremsen kann.