1.TECHNOLOGIE – DEFINITIONEN, AKTUELLER STAND, POTENZIALE, RISIKEN UND HERAUSFORDERUNGEN

1.1.Grade der Automation von Systemen: Definitionen

Genügt der Oberbegriff – oder politisch motivierte Kampfbegriff – „autonom“ zur Kategorisierung der Vielfalt an Systemen, die bereits existieren oder für die die begründete Möglichkeit besteht, dass sie einmal entwickelt werden? Nein, differenzierende Definitionen sind unverzichtbare Basis dafür, die vielen schon existierenden ebenso wie in der Zukunft denkbaren Erscheinungsformen maschineller Systeme in einem definitorischen Raster zu erfassen und daraus differenzierende Schlüsse über Optionen und Grenzen militärischer Verwendbarkeit, über ihre Auswirkungen auf Sicherheitspolitik und Konflikte sowie über rechtliche oder ethische Anforderungen zu ziehen. Es braucht einmal eine trennscharfe Unterscheidung nach den technischen Eigenschaften von Systemen, genauer ihrem Grad an Eigenständigkeit und Komplexität ihrer Funktion. Ergänzend muss unterschieden werden nach der Art der Interaktion der Systeme mit dem Menschen.

1.1.1.Wirtschaft und Technologie: Definition „Automatisierung“

Schon technische Definitionen aus dem industriellen Bereich zeigen, dass Differenzierung notwendig ist, um die Vielfalt der technischen Optionen zu erfassen. Der Terminus „autonom“ kommt hier übrigens gar nicht vor. DIN V 1923311 definiert „Automatisierung“ als „Ausrüsten einer Einrichtung, sodass sie ganz oder teilweise ohne Mitwirkung des Menschen bestimmungsgemäß arbeitet“. Damit sind in einer sehr knappen Definition zwei mögliche Arbeitsweisen abgebildet: Aktivität mit Einbindung eines menschlichen Operators und Aktivität ohne einen solchen.

Damit ist jedoch eine Frage noch ausgeblendet, nämlich die Entscheidung, ob ein System überhaupt aktiv wird oder nicht und ob die Aktivität wieder gestoppt werden kann. Die Entscheidung über das Ob einer Aktivität ist im militärischen Bereich die entscheidende – denn es geht um das Ob einer Gewaltanwendung. Dieser Aspekt spielt im militärischen Bereich die entscheidende Rolle und ist für aktuell existierende Systeme und für künftige Entwicklungen ein ganz wesentliches Kriterium.

1.1.2.Militär und Technologie: Definitionen „automatisiert“ und „autonom“

Spezifisch für den militärischen Bereich zugeschnitten ist eine Dualität von aus dem Jahr 2017 stammenden Definitionen, die von den Streitkräften des United Kingdom genutzt werden, um die Besonderheiten unbemannter fliegender Systeme zu beschreiben und dabei auch erkennbar zu machen, was aktuelle Systeme nicht können.12 Im Folgenden werden sie kurz „UK-Definition“ genannt. Sie differenzieren in zwei Kategorien, deren erste den aus dem industriellen Bereich vertrauten Terminus „automatisiert“ nutzt.

Danach gilt als „automated system“:

„… an automated or automatic system is one that, in response to inputs from one or more sensors, is programmed to logically follow a predefined set of rules in order to provide an outcome. Knowing the set of rules under which it is operating means that its output is predictable.“13

Und als „autonomous system“:

„An autonomous system is capable of understanding higher-level intent and direction. From this understanding and its perception of its environment, such a system is able to take appropriate action to bring about a desired state. It is capable of deciding a course of action, from a number of alternatives, without depending on human oversight and control, although these may still be present. Although the overall activity of an autonomous unmanned aircraft will be predictable, individual actions may not be.“14

Das automatisierte System in diesem Sinne

ist ein programmiertes; seine Arbeitsweise basiert auf Algorithmen oder sonstiger logischer Programmierung, seine Arbeitsweise und deren Ergebnisse sind vorhersagbar. Über das Ob und Was der Aktivität entscheidet der Mensch, das System steuert im Rahmen der Programmierung eigenständig allein das Wie seiner Aktivität. Die Abläufe und Ergebnisse sind vorhersagbar. Hier entscheidet der das System einsetzende Mensch über die Auslösung und das Beenden der Aktivität. Der Programmierer hat das Systemverhalten festgelegt, und das System folgt den einprogrammierten Zwängen.

Das autonome System in diesem Sinne

ist in der Lage, mittels einer vorprogrammierten, ergebnisoffenen Arbeitsweise aus einer eigenständigen Verarbeitung einer Vielfalt von Umgebungsvariablen, Regeln und Zielsetzungen Konsequenzen zu ziehen, über das Ob einer Aktivität zu entscheiden, das genaue aus der erkannten Situation heraus anzustrebende Ergebnis zu definieren und die zu dessen Erreichung notwendige Aktivität mittels eines für den Einzelfall festzulegenden Plans durchzuführen – alles ohne menschlichen Eingriff. Das vom System erzeugte Verhalten im Einzelfall ist nicht mehr vorhersagbar, weil das System aus abstrakten Regeln eigene Schlüsse folgern kann, der Programmierer hat die Grundlagen der Arbeitsweise festgelegt, nicht das Ergebnis.

Damit ist die im militärischen Bereich so wichtige Komponente der Entscheidung über das Ob einer Aktivität, über das Was (das vom System definierte gewünschte Ergebnis) und das Wie (der Weg zum Ergebnis) im Einzelfall in die Definition des autonomen Systems mit einbezogen. Ein derartiges autonomes System führt Entscheidungsprozesse durch, die bisher allein Menschen vorbehalten sind. Die Arbeitsweise eines solchen autonomen Systems ist zwar wie beim automatisierten System technisch definiert, dennoch sind seine Abläufe und Ergebnisse nicht für jeden Einzelfall vorhersagbar.

Warum muss „Entscheidungsfreiheit“ über Ob, Was und Wie Maßstab für die Schwelle zur „Autonomie“ technischer Systeme sein?

Der Ursprung des Begriffs „Autonomie“15 liegt im antiken Griechenland und beschreibt eine Eigenschaft des Menschen als Zustand der Selbstbestimmung durch Entscheidungs- bzw. Handlungsfreiheit. Dieser Grundgedanke liegt auch der UK-Definition zugrunde, wenn sie die Erkennung und Verarbeitung von „higher level intent“ durch das System voraussetzt. Die nachfolgend in Kapitel 1.2. aufgeführten Systeme und mehr noch die Ausführungen in Kapitel 1.4. über künftig denkbare Systemleistungen werden deutlich machen, dass die Unterscheidung in mindestens zwei wesentliche Kategorien für die Erfassung der vielfältigen existierenden und künftig denkbaren Systeme für das Verständnis der jeweiligen Leistungsfähigkeit der Technologie und die Formulierung differenzierender rechtlicher und ethischer Schlussfolgerungen geboten ist. Die Definitionen müssen eine Abgrenzung autonomer Systeme von automatisierten Systemen zulassen, wenn sie sowohl aktuell als auch über den heutigen Tag hinaus brauchbar sein sollen. Die „Autonomie“ der hier verwendeten Definition bleibt weit hinter dem zurück, was „Skynet“ in dem Science-Fiction-Film „Terminator“ leistet, denn Skynet agiert nicht nur selbstständig als Kampfsystem, es reproduziert seine technischen Einheiten selbstständig und entwickelt Innovationen – Skynet ist eine vollständige politische Einheit, die wie ein von Menschen gebildeter Staatsapparat agiert. Es wird sich zeigen, dass selbst die kühnsten Vorstellungen über künftig realisierbare Systemleistungen unendlich weit entfernt sind von den Horrorvisionen der Populärkultur.

Die UK-Definition bietet gerade wegen des hohen Anspruchs an die Schwelle zur Autonomie Aussicht auf langfristige Validität. Man kann zum praktischen Gebrauch etwas knapper formulieren:

Definition „automatisiert“:

System beherrscht Durchführung von programmierten Abläufen und realisiert bzw. konkretisiert vorprogrammierte Absichten im Einzelfall. Der Mensch als Operator entscheidet immer noch darüber, ob ein System überhaupt aktiviert wird und mit welchem Ziel.

Definition „autonom“:

System trifft Entscheidung über das Ob einer konkreten Aktivität unter Einbeziehung von allgemeinen Zielsetzungen, Umgebungsvariablen, Kontext und Regeln, definiert das zu erstrebende Ergebnis (Was) und den Weg dorthin (Wie) im Einzelfall und steuert die Durchführung der Mission. Alle Schritte erfolgen ohne Eingriff eines Menschen.

Es verbleibt indes ein kritikwürdiger Aspekt in der UK-Definition für das autonome System. Autonomie bedeutet begrifflich Entscheidungs- und Handlungsfreiheit – und damit Freiheit von Eingriff und Korrektur von außen. In der UK-Definition ist zumindest optional noch eine Kontrolle durch den Menschen vorgesehen, mithin ein Eingreifen in die Systemhandlung: „without depending on human oversight and control, although these may still be present“. Ein System, in dessen Arbeit der Mensch eingreifen kann, und sei es auch nur korrigierend während des Arbeitsablaufs, ist aber letztlich nicht frei im Hinblick auf seine Entscheidungen und Handlungen. An der Stelle bedarf es einer Nachbesserung der Definition (siehe Kapitel 1.1.5.). Weitere bereits existierende Kategorien für die Unterscheidung von Arbeitsweisen von Systemen könnten dabei hilfreich sein.

1.1.3.Seefahrt und Technologie: Vier Stufen der „Autonomie“ nach IMO

Die International Maritime Organization (IMO) hat im Hinblick auf erste projektierte und bereits fahrende unbemannte Seefahrzeuge vier Stufen der Autonomie identifiziert und bietet damit mehr Unterscheidungsoptionen an.

„The degrees of autonomy identified for the purpose of the scoping exercise are:

•Degree one: Ship with automated processes and decision support: Seafarers are on board to operate and control shipboard systems and...