Macht der Maschine - „Wir können den Menschen nicht einfach ersetzen“

[[{"fid":"61629","view_mode":"full","type":"media","attributes":{"height":200,"width":146,"style":"width: 146px; height: 200px; margin: 4px; float: left;","class":"media-element file-full"}}]]Dieser Text ist eine Kostprobe aus der Februarausgabe des Cicero. Wenn Sie keine Ausgabe mehr verpassen wollen, können Sie hier das Abo bestellen.

Cicero: Herr Ullrich, sind wir die Sklaven von Algorithmen?
Stefan Ullrich: Wir sind in zunehmendem Maß abhängig von Computern, aber das ist selbst gewählt. Wir wollen Bequemlichkeit, und der Preis ist Abhängigkeit. Das ist aber etwas anderes als Sklaverei.

Dann anders gefragt: Wenn der Mensch mit der Maschine interagiert, wer steuert dabei wen?
Menschen steuern nach wie vor die Maschinen. Sie schaffen sie, programmieren sie und bedienen sie. Die Machtasymmetrie besteht zwischen Menschen: Menschen beherrschen andere Menschen, und das geschieht immer öfter mithilfe der Maschinen. Es gibt Menschen, die haben Zugang zu Technik und erstellen sie, und es gibt die, die verdammt dazu sind, die vorhandene Technik in der vorgegebenen Weise zu benutzen. Maschinen sind insofern Verstärker bestehender Herrschaftsverhältnisse. Sie machen sie aber auch erst sichtbar. Es gab wahrscheinlich schon immer eine gebildete Elite, die mehr Macht als andere hatte, die Gesellschaft zu gestalten.

In der NSA-Debatte bildet sich dieses Verhältnis ab: Kritisiert wird das Handeln der Geheimdienste, nicht der Maschinen. Ich dachte aber auch an Apps, die uns sagen, wie viel wir essen und wie weit wir joggen sollen. Oder an Waschmaschinen, die selbst mit dem Kundendienst kommunizieren, wenn sie verkalkt sind. Da bekommen die Maschinen schon eine gewisse Autorität.
Nehmen wir als Beispiel den Drucker. Es gibt eine Fehlermeldung, die wahrscheinlich jeder kennt: Technische Störung, nichts geht mehr, und das, obwohl die Tinte noch halb voll ist. Was die wenigsten wissen, ist, dass die Fehlermeldung von einer Software gesteuert wird, die nach so und so vielen Druckzyklen einfach aktiviert wird. An dem Gerät ist nichts kaputt. Es ist nur der Zwang einprogrammiert, irgendwann ein neues zu kaufen. Das kann man aber umprogrammieren, und das haben Hacker getan. Menschen, nicht Maschinen. Plötzlich druckt dieser scheinbar kaputte Drucker wieder tadellos.

Kann man dann von einer selbst gewählten Abhängigkeit sprechen? Als technisch unbedarfter Nutzer eines Geldautomaten, Mitglied einer Krankenkasse oder Eigentümer eines Druckers wird man ja selbst dann eingenordet, wenn man nie gewählt hat.
Der Computerpionier Joseph Weizenbaum hat sich einmal furchtbar über die Verbreitung des Gedankens aufgeregt, dass Technik einfach geschehe und man nichts dagegen tun könne. Er hat uns in Erinnerung gerufen, dass es Menschen sind, die programmieren. Und selbstverständlich können wir, auch wenn wir keinen technischen Sachverstand haben, uns dafür starkmachen, dass in bestimmten Bereichen Technik eben nicht zum Einsatz kommt. Man kann sich zum Beispiel gegen die elektronische Gesundheitskarte wehren. Die Alternative ist, vor jedem Arztbesuch eine Bescheinigung der Krankenkasse anzufordern. Das ist mühsam, aber möglich. Oder beispielsweise gab es heftigen Widerstand gegen Wahlcomputer, der auch erfolgreich war.

Bei der Bundestagswahl 2013 gab es in einem Wahlkreis ein sehr knappes Ergebnis; man musste erneut nachzählen, bis feststand, welcher Direktkandidat gewonnen hatte. Da wurde mit der Hand gezählt. Fehler sind auch ohne Computer nicht ausgeschlossen, Manipulation ist möglich. Woher kommt die Angst vor Wahlcomputern?
Sie rührt daher, dass demokratische Prinzipien plötzlich Maschinen anvertraut werden sollen. Allgemein gesagt ist es die gleiche Angst wie beim Technikeinsatz überhaupt: Es geht um die Nachvollziehbarkeit dieser sogenannten Black Box. Wir stellen uns ein Gerät hin, in das wir nicht gucken können. Wir wissen nicht, was geschieht.

Wissen denn die Entwickler immer, was in der Black Box geschieht?
Das Unwissen über die konkrete Funktionsweise von Algorithmen ist tatsächlich eine große Herausforderung der Informatik. Um noch mal Weizenbaum zu zitieren: Früher haben wir ein Problem tief verstehen müssen, bevor wir es in den Computer eingaben. Heute geben wir Probleme ein, die wir nicht verstehen und nicht beschreiben können, und vertrauen darauf, dass uns selbst lernende Algorithmen ein Ergebnis präsentieren. Das übernehmen wir, obwohl es nur auf Korrelationen beruht, nicht auf Kausalitäten.

Warum kann man dann Ihrer Meinung nach nicht sagen, dass die Maschinen den Menschen steuern?
Weil Maschinen nicht ebenbürtig sind, das sind keine Freunde, Mitstreiter oder Gegner. Wir schreiben dem Computer menschliche Eigenschaften zu: „Der Computer sagt …“ Aber der will nichts, das ist nur ein Ding. Menschen haben ihn mit einer bestimmten Absicht programmiert.

Allerdings kann er dem Menschen über den Kopf wachsen. 2010 ist der Dow Jones abgestürzt, auch durch automatisierten Handel.
Computer machen sich aber nicht unabhängig wie Skynet im Film „Terminator“. Das Problem ist eher, sie entziehen sich der Jurisdiktion. Sie sind nicht haftbar zu machen. Sie tragen keine Verantwortung. Nehmen wir die Diskussion über Fly-by-wire …

… elektronische Flugzeugsteuerung.
Es ging darum, ob eine physische Verbindung zwischen Höhenruder und Steuer bestehen soll, damit der Pilot das Flugzeug nach seinem Willen steuern kann. Es gab einen Unglücksfall, als eine Lufthansa-Maschine – die Flugnummer müsste man bei Wikipedia nachschauen – auf die Landebahn aufsetzte. Weil die aber nass war, drehten die Räder durch, und der Bordcomputer war überzeugt, dass die Maschine sich noch in der Luft befinde. Daraufhin überschrieb der Computer den Befehl zum Bremsen, den der Pilot gegeben hatte. Das Flugzeug raste über die Landebahn hinaus.

Ich bin hier am Smartphone parallel bei Wikipedia: Es war Flug 2904. Die Software, die das Bremsen verhinderte, wurde nach dem Unfall überarbeitet.
Ein Glück wurde hier nicht auf selbst lernende Algorithmen gesetzt. Wir können den Menschen nicht einfach ersetzen. Auch deshalb nicht, weil wir jemanden brauchen, der haftbar gemacht werden kann – der Pilot, die Entwickler oder die Firma dahinter, wer auch immer.

Sie nutzen kein Smartphone, sondern ein altes Handy. Und Sie haben mir erzählt, dass Sie nicht googeln und keine elektronische Gesundheitskarte haben. Ist das der Weg, den Sie als Sprecher der Fachgruppe „Informatik und Ethik“ der Gesellschaft für Informatik empfehlen? Verweigerung?
Die Adressaten dieser Fachgruppe sind vor allem die Entwickler technischer Systeme. Sie mögen sich darüber Gedanken machen, dass Informatik eine technische Wissenschaft mit sozialen Auswirkungen ist. Ihre Arbeit besteht nicht nur aus Zahlen, sondern sie hat Auswirkungen in der sozialen Welt. Und sie könnten sehr wohl darüber bestimmen, wie ihre Software eingesetzt werden soll. Sie könnten festschreiben, dass sie zum Beispiel nicht militärisch verwendet werden darf. Aber es wird natürlich auch von Nutzern zu wenig hinterfragt. Wir kennen die Geschichte vom Schlaraffenland als Land, in dem einem gebratene Hähnchen in den Mund fliegen. Aber es gibt auch eine Passage, in der es heißt, dass die Vernunft im Schlaraffenland Hausverbot habe. Wir erkaufen uns ein bequemes Leben, in dem uns untersagt ist, sich des eigenen Verstands zu bedienen.