Zur Wirkung der Corona-Maßnahmen - Was die „StopptCOVID“-Studie des RKI sagt - und was nicht

Waren die vielfältigen Maßnahmen zur Eindämmung des Corona-Virus wirksam? Dabei handelt es sich um eine sehr wichtige Frage, die in der Öffentlichkeit kontrovers diskutiert wird. Dies ist verständlich, da diese Maßnahmen auch mit erheblichen gesellschaftlichen, gesundheitlichen und wirtschaftlichen Risiken verbunden waren.

Schließlich blieb die Einschränkung des öffentlichen Lebens in Deutschland nicht ohne Konsequenzen: Während Schulschließungen zu sozialen und psychischen Problemen der Kinder führten, breiteten sich durch die Einstellung der geschäftlichen Aktivitäten in verschiedenen Wirtschaftsbereichen erhebliche Existenzängste aus. Der Umgang mit den Maßnahmen zur Bekämpfung der Pandemie erforderte somit eine sorgfältige Abwägung zwischen dem Nutzen und den damit verbundenen Risiken.

In diesem Zusammenhang ist auch die bedeutende Frage aufzuwerfen, wie mit ähnlich schweren Pandemien künftig umgegangen werden sollte. Eine entsprechende Aufarbeitung der Wirksamkeit dieser Maßnahmen ist somit unerlässlich. Der Sachverständigenausschuss zur Pandemiepolitik nahm 2022 in seinem Evaluationsbericht eine erste Einschätzung zu dieser Fragestellung vor. Dort wird unter anderem festgehalten, dass es zur Wirksamkeit von Infektionspräventionsmaßnahmen „aufgrund fehlender Kausalanalysen in vielen Bereichen nicht die Möglichkeit [gibt], klare Aussagen zu treffen.“

Am 20.07.2023 veröffentlichte das Robert-Koch-Institut einen Projektabschlussbericht zum StopptCOVID-Projekt, in dem anhand des bekannten „R-Wertes“ (Beschleunigungsrate des Infektionsgeschehens) untersucht werden soll, inwieweit verschiedene nicht-pharmazeutische Interventionen – wie die oben genannten Schul- und Betriebsschließungen – sowie die Corona-Impfung wirksam waren. Bei einem ersten Blick auf die Diskussion in dieser Studie stellen sich die verschiedenen Maßnahmen zunächst als sehr vielversprechend dar. Sowohl die Impfung als auch die nicht-pharmazeutischen Interventionen konnten, gemäß der Studie, den R-Wert mindern und damit nach Aussage des RKI auch eine Überlastung des Gesundheitssystems verhindern.

Studie wirft einige Ungereimtheiten auf

Allerdings wirft eine tiefergehende Analyse dieser Studie einige schwerwiegende Ungereimtheiten auf: Die Änderung des R-Wertes tritt bereits vor der Implementierung einer Maßnahme auf, was durch das RKI mit einer vorzeitigen Verhaltensanpassung der Bevölkerung an die jeweilige Verordnung begründet wird. Die eigentlich interessierende Wirkung der Maßnahmen auf die spätere Veränderung der Infektionszahlen kann hingegen nicht belegt werden. Auch gibt es erklärungsbedürftige Teilergebnisse: So führt beispielsweise der Einsatz von Masken im öffentlichen Nahverkehr und in Verkaufsräumen in mehreren Altersgruppen zu einer Erhöhung des R-Wertes und damit zu einem weiteren paradoxen Ergebnis, das auch seitens des RKI als solches anerkannt wird.

Was ist hier geschehen? Eine eingehende Untersuchung des vom RKI verwendeten Studiendesigns macht deutlich, dass es die Frage nach der Wirksamkeit der Maßnahmen überhaupt nicht beantworten konnte. Es liefert die falsche Antwort auf die richtige Frage! Zunächst ist diese Studie - bereits von ihrem Konzept her - nur in der Lage zu beurteilen, ob das Infektionsgeschehen nach der Einführung einer Maßnahme geringer war. Jedoch kann sie keinesfalls die Frage beantworten, ob die Maßnahme auch verantwortlich für diese Verringerung war, da die Ergebnisse empirisch nicht mit einem möglichen Rückgang des Infektionsgeschehens ohne Interventionen verglichen werden. Es lässt sich also aus dem Studiendesign selbst heraus gar nicht beantworten, ob die Maßnahmen für den Rückgang verantwortlich waren.

Doch selbst die Untersuchung von reinen Zusammenhängen, die nicht unbedingt kausal sein müssen, erfordert in einer komplexen Welt der Virusausbreitung umfangreiche Modellannahmen. Dies ist vor allem deshalb erforderlich, weil ein Modell nicht alle Variablen des Infektionsgeschehens erfassen kann und die Effekte der Maßnahmen von nicht modellierten Einflüssen strikt zu trennen sind. Auch diese Bedingung kann das verwendete Studiendesign nicht erfüllen. Im Gegenteil: Es zeigt sich sogar, dass das Modelldesign bereits die Wirkung von Maßnahmen voraussetzt, anstatt sie ergebnisoffen zu überprüfen. Daraus schlussfolgern wir, dass die RKI-Studie dem eigenen wissenschaftlichen Anspruch, Aussagen zur Wirkung von Corona-Maßnahmen zu treffen, in mehrerlei Hinsicht nicht genügt. 

Die RKI-Studie haben wir im Hinblick auf ihren statistischen Modellierungsansatz und ihre damit verbundene inhaltliche Aussagekraft geprüft und einen ausführlichen Kommentar hierzu verfasst. Wir wollen an dieser Stelle auf die hauptsächlichen Kritikpunkte eingehen.

Untersuchungsansatz kann keinen kausalen Einfluss der Corona-Maßnahmen auf das Infektionsgeschehen nachweisen

Wie können mit Hilfe von Statistik und Modellierung überhaupt kausale Einflüsse von Interventionen nachgewiesen werden? Der “Goldstandard” hierfür ist eine so genannte randomisierte kontrollierte Studie (englisch: randomized controlled trial, kurz: RCT). Solche Studien werden insbesondere in der evidenzbasierten Medizin zur Prüfung des Einflusses von z.B. Behandlungsmethoden eingesetzt. RCTs basieren auf einem Experiment, in dem es eine Interventionsgruppe gibt, in der die Intervention vollzogen wird, und eine Kontrollgruppe ohne die betreffende Intervention. Sie sind „randomisiert“, was bedeutet, dass die Untersuchungsobjekte (z.B. Personen, Regionen) zufällig der Interventions- bzw. Kontrollgruppe zugeordnet werden. 

Ein wirkliches „experimentelles“ Design haben wir in puncto Corona-Maßnahmen in Deutschland natürlich nicht. Abgesehen davon, dass wir sehr große Unterschiede in der Datengrundlage haben (z.B. durch sich verändernde Testvorschriften), fehlt auch noch die Randomisierung. Um die zu gewährleisten, hätte man die Corona-Maßnahmen zufällig auf die deutschen Landkreise aufteilen müssen. Das wäre aus wissenschaftlicher Sicht höchst interessant, aber gesellschaftlich nicht wünschenswert und politisch wohl kaum durchsetzbar gewesen. Wichtig bei wirklichen Experimenten ist auch, dass das Forschungsteam Einflussgrößen selbst verändern kann - und nicht nur eine Entwicklung „beobachtet“. Auch das ist nicht möglich, denn unsere Landkreise bzw. Bundesländer sind so, wie sie sind. 

In solchen Fällen gibt es, um kausale Einflüsse zu analysieren, eine „zweitbeste“ Möglichkeit, und zwar auf der Grundlage eines so genannten Quasi-Experiments. Auch hier haben wir eine Interventions- und Kontrollgruppe, die verglichen werden, aber wir haben keine Randomisierung und keine vollständige Kontrolle über die Eigenschaften unserer Untersuchungsobjekte. Der Modellansatz, um kausale Effekte in solchen Fällen nachzuweisen, heißt Differenz-von-Differenzen-Ansatz (englisch Difference-In-Differences approach, kurz: DiD) und kommt häufig auch bei wirtschaftswissenschaftlichen Fragestellungen zum Einsatz (z.B. Einflüsse von Mindestlöhnen oder arbeitsmarktpolitischen Maßnahmen).

Wie könnte beispielhaft die Wirkung einer Intervention im Sinne des o.g. DiD-Ansatzes kausal nachgewiesen werden? Angenommen, wir haben zwei Schulklassen A und B derselben Stufe, die beide gehörige Defizite im Fach Mathematik aufweisen bzw. deren Leistungen in diesem Fach immer schlechter werden. Nun bekommt eine der beiden Schulklassen (Klasse A) zusätzliche Mathe-Förderstunden – das ist unsere Intervention – die andere (Klasse B) bekommt die Förderstunden nicht. Klasse A ist also die Interventionsgruppe, Klasse B ist die Kontrollgruppe. Wir wollen nun herausfinden, ob die zusätzliche Förderung einen kausalen Effekt hat, in diesem Fall: ob sich die Mathe-Leistungen durch die Mathe-Förderstunden verbessern. 

 

Mehr zum Thema:

• Pandemiepolitik: Fehler aus Unwissenheit - Teil 1 (Boris Kotchoubey)
• Zehn Thesen zur Aufarbeitung der Corona-Krise, Teil 1 (Matthias Schrappe)
• Nach Corona: Droht ein gesellschaftliches Long Covid? (Sandra Kostner)

 

Damit dieser kausale Effekt besteht, müssen zwei Kriterien erfüllt sein: Erstens muss die Wirkung – also die Verbesserung der Mathe-Leistungen in Klasse A über die nächsten Schulmonate – nach Beginn der Förderstunden eintreten. Wenn sich die Mathenoten in Klasse A schon Monate vorher deutlich verbessern, kann das naturgemäß nicht - oder zumindest nicht nur - auf die Förderung zurückzuführen sein. Zweitens muss nachgewiesen werden, dass sich die Leistungen durch die Förderstunden verbessern. 

Ein DiD-Ansatz stellt nun mehrere Fragen: Wie haben sich die Mathe-Leistungen in beiden Klassen A und B entwickelt, bevor Klasse A die zusätzliche Förderung bekommen hat? Wie haben sich die Leistungen in beiden Klassen A und B entwickelt, nachdem Klasse A die Förderung bekommt? Und: Wie hätten sich die Leistungen in Klasse A entwickelt, wenn es diese Intervention (Förderstunden) nicht gegeben hätte? 

Der Ansatz vergleicht nun, wie sich die Mathenoten in Klasse A ohne Intervention entwickelt hätten mit der Entwicklung der tatsächlichen Noten in Klasse A nach Beginn der Förderstunden. Wir können natürlich nicht direkt „beobachten“, wie sich Klasse A ohne die Intervention entwickelt hätte – denn die Intervention findet ja statt. Wir haben aber zwei Anhaltspunkte, wie wir die Entwicklung von Klasse A ohne Intervention recht sauber annehmen können: Wir wissen, wie sie sich vor Beginn der Förderstunden entwickelt hat - und wir wissen, wie sich Klasse B (also die Kontrollgruppe) ohne Intervention entwickelt. 

Aus der Differenz zwischen der echten und der hypothetischen Entwicklung von Klasse A ergibt sich „Kausalität“ im Sinne des Modellansatzes: Nur wenn die Verbesserung in Klasse A nach Beginn der Förderstunden beginnt und sich die Leistungen in Klasse A über die Zeit verbessern, die in Klasse B sich aber nicht oder nur in wesentlich geringerem Umfang verbessern, wissen wir: die Förderstunden helfen, die Intervention hat also einen nachweisbaren kausalen Effekt.

Abschwächung des Infektionsgeschehens setzte bereits einige Tage vor Etablierung vieler Maßnahmen ein

Kommen wir zurück zur RKI-Studie: Hierbei werden eine Reihe von Corona-Maßnahmen als erklärende Variablen (auch: unabhängige Variablen genannt) in das Modell eingefügt, wobei deren Einfluss auf den R-Wert untersucht werden soll. Hier kommt ein zentrales Problem: Dieses Modelldesign untersucht nur, ob der R-Wert in Gegenwart einer bestimmten Maßnahme X geringer war als er in Abwesenheit dieser Maßnahme war. Es wird nicht untersucht, ob der R-Wert durch diese Maßnahme gesunken ist. Um eine tatsächliche „kausale“ Wirkung zu prüfen, müsste auch der zweitgenannte Punkt Berücksichtigung finden, was dem o.g. DiD-Ansatz entspricht. Die Frage, ob das Infektionsgeschehen durch die Interventionen gedrosselt wird, lässt sich also bereits anhand des nicht-kausalen Studiendesigns gar nicht beantworten. 

Die erste Frage in Kausalanalysen – nämlich ob die Wirkung nach der angenommenen Ursache einsetze – kann die RKI-Analyse allerdings beantworten – und muss dies verneinen, da sie selbst nachweist, dass eine Abschwächung des Infektionsgeschehens bereits einige Tage vor Etablierung vieler Maßnahmen einsetzte - was im obigen Beispiel der Klasse A und B bedeuten würde, dass in Klasse A schon bessere Mathenoten erreicht wurden, bevor sie besonders gefördert wurde.

Die Studie versucht also nur die erste der o.g. Fragen, nämlich nach der zeitlichen Reihenfolge, zu beantworten, und scheitert dabei, zum Teil nach eigener Erkenntnis, ohne allerdings die Schlussfolgerungen dementsprechend anzupassen (siehe unten). Die zweite Frage nach dem Kausalzusammenhang wird weder angesprochen noch beantwortet. Es sei an dieser Stelle darauf hingewiesen, dass kausalanalytische Ansätze in Corona-Maßnahmenstudien bereits angewendet wurden, zum Beispiel in der offiziellen Evaluation der nicht-pharmazeutischen Interventionen in der Schweiz. Die RKI-Studie verzichtet darauf. Damit ist die Schlussfolgerung der Kausalität überhaupt nicht aus den Studienergebnissen ableitbar. 

Studie setzt die Wirkung der Corona-Maßnahmen bereits stillschweigend voraus

Bei dem RKI-Ansatz handelt es sich um eine statistische Studie, die darauf aufbaut, messbare Zusammenhänge zwischen den Maßnahmen und dem Infektionsgeschehen über die Zeit zu finden. Hierbei wird ein übliches statistisches Analyseverfahren – die Regressionsanalyse – verwendet, mit dem der zeitliche Verlauf der Corona-Wellen – gemessen anhand des bekannten „R-Wertes“ – zu erklären versucht wird. Der Modellansatz ist hierbei ein sog. lineares Paneldatenmodell, womit es möglich ist, Zusammenhänge über die Zeit und über mehrere Untersuchungseinheiten hinweg – hier: Bundesländer – zu untersuchen. 
Diese Form der statistischen Datenanalyse ist keineswegs „falsch“, und man könnte sie auch dafür nutzen, kausale Effekte zu untersuchen, nur leider wurde das in der RKI-Studie nicht getan (siehe oben). Es gibt aber auch in der Formulierung des genutzten Modells mehrere Schwierigkeiten, die, wie wir sehen werden, das Ergebnis der Studie ganz entscheidend beeinflussen. 

Um zu verstehen, wie im RKI-Modell auf die Wirkung von Maßnahmen geschlossen werden soll, müssen wir uns – wohl oder übel – zunächst damit beschäftigen, wie ein Regressionsmodell überhaupt vom Prinzip her funktioniert.  

Ein solches Modell zu konstruieren, ist eine anspruchsvolle Aufgabe, die in den einschlägigen Studiengängen, in denen diese Modelle üblicherweise eingesetzt werden, einen großen Raum einnimmt. Grob gesagt läuft das Verfahren wie folgt: Wir haben eine Variable, die wir „erklären“ wollen, also für die wir wissen möchten, von was sie abhängt. Im RKI-Modell ist das der R-Wert. Die „Erklärung“ erfolgt über eine Reihe von unabhängigen Variablen (siehe oben).

Dann wird mit einem mathematischen Schätzverfahren – beispielsweise die Methode der kleinsten Quadrate – das Modell an den Verlauf der Echtdaten angepasst. Für jede erklärende Variable wird also ihre „Wirkung“ identifiziert, genauer gesagt: aus den Zusammenhängen in den Daten hergeleitet wird, sie wird also empirisch bestimmt. Das Ergebnis ist hierbei, vereinfacht ausgedrückt, eine „optimale“, jedoch niemals eine „perfekte“ Anpassung. Weiterhin wird in einer solchen Analyse überprüft, ob die gefundenen Effekte „überzufällig“ sind, was man landläufig als statistische Signifikanz bezeichnet.   

RKI-Studie missachtet wichtige wissenschaftliche Standards

Es gibt hierbei eine Reihe Gütekriterien, zum Beispiel, was die Auswahl der Variablen in einem solchen Modell angeht. Besonders herausfordernd ist, dass diese Variablenauswahl gleich zwei Voraussetzungen hat, zwischen denen man eine Abwägung treffen muss: Einerseits müssen alle relevanten Variablen im Modell enthalten sein – sonst besteht eine Verzerrung durch ausgelassene Variablen und das Modell ist nicht mehr „optimal“. Man sagt dann auch: Ein solches Modell ist fehlspezifiziert. Praktisch bedeutet das, dass die Effekte der anderen Variablen über- oder unterschätzt werden. Denn so ein Modell hat noch eine weitere wichtige Eigenschaft: Es lassen sich damit die Auswirkungen einzelner Größen isoliert betrachten, also unter ansonsten gleichen Bedingungen. 

Man kann sich das so vorstellen: Der Effekt einer Variable – nennen wir sie X1 – in so einem Modell ergibt nur Sinn in Kombination mit den anderen Variablen im Modell (z.B. X2 und X3). Es wird häufig auch so formuliert: Um den Einfluss von X1 sauber zu bestimmen, müssen wir den Einfluss von X2 und X3 „herauskontrollieren“. 

Das bedeutet: Wir müssen auch andere Effekte in unserem Modell zulassen, die eine Wirkung haben, auch wenn die uns vielleicht gar nicht interessieren. Andererseits sollten keine Redundanzen auftreten, das bedeutet, dass wir keine Variablen im selben Modell haben dürfen, die (fast) das Gleiche aussagen. Es wird deutlich, dass so eine Modellbildung keine triviale Aufgabe ist. Um es vorwegzunehmen: Das Modell in der RKI-Studie verstößt gleich gegen beide Voraussetzungen – was einen enormen Einfluss auf die Modellergebnisse hat. Wir möchten hier aber nur auf den erstgenannten Aspekt zu sprechen kommen, weil dieser wesentlich wichtiger ist.

Woraus besteht das Modell in der RKI-Studie?

Schauen wir uns an, woraus das Modell in der RKI-Studie besteht: Das Infektionsgeschehen – gemessen durch den R-Wert – hängt darin ab von 1.) einer saisonalen Schwankung, 2.) den Virusvarianten, 3.) den Corona-Maßnahmen und 4.) der Impfung. Die saisonale Schwankung ist nicht sonderlich passend modelliert, worauf wir auch in unserem Kommentar eingehen, was uns aber an dieser Stelle nicht weiter kümmern soll. Viel interessanter ist, wenn wir uns anschauen, wie das RKI-Modell bereits konzipiert ist – und was diese Modellspezifikation inhaltlich aussagt: Das Modell ist bereits so aufgebaut, dass von einer Wirkung der Maßnahmen ausgegangen wird. Präziser ausgedrückt: Durch die Wahl der Variablen im Modell ist bereits vorbestimmt, dass Corona-Maßnahmen zwangsläufig einen drosselnden Effekt haben müssen. 

Warum? Weil das Modell, schlicht und ergreifend, keine anderen Variablen berücksichtigt, die überhaupt eine Senkung des R-Wertes herbeiführen könnten – außer Corona-Maßnahmen und Impfungen. Da abgesehen von den wiederkehrenden saisonalen Schwankungen und den Maßnahmen im Modell keine weiteren erklärenden Variablen auftauchen, ist implizit bereits definiert, dass Maßnahmen zur Senkung des R-Wertes beigetragen haben müssen. 

Um ganz deutlich zu werden: Wir könnten – anstatt der Maßnahmen – beliebige andere Variablen in das Modell einsetzen, die sich auf irgendwelche Ereignisse beziehen, die beispielsweise im Dezember 2020 oder Januar 2021 stattgefunden haben – wir würden in jedem Fall einen drosselnden Effekt finden. Dass das Infektionsgeschehen nachweislich auch unabhängig von Maßnahmen über die Zeit an Geschwindigkeit verliert oder Menschen individuell ihr Infektionsrisiko senken – beispielsweise durch Lüften in Innenräumen, Outdoor-Treffen oder Verzicht auf Umarmungen – ist im Modell nicht vorgesehen. Wir können also sagen: Das Modell ist fehlspezifiziert, weil nicht alles, was den „R-Wert“ beeinflusst, dadurch abgebildet wird. Fehleinschätzungen des Einflusses der anderen Variablen sind die logische Folge. 

Modellbildung der RKI-Studie ist mehr als unüblich

Es kommt hier noch ein anderes Problem hinzu: Der Einfluss der Virusvarianten (hier: „Alpha“ und „Delta“) ist zwar Teil des Modells, wird aber, anders als bei den anderen Größen, nicht empirisch bestimmt, sondern bereits durch das Modellierungsteam vor-definiert. Ein solches Vorgehen beim Aufbau eines Modells ist, gewählt ausgedrückt, unüblich. Normalerweise wird im Zuge des Schätzverfahrens für alle erklärenden Variablen der Einfluss empirisch ermittelt, und zwar über die Anpassung des Modells an die Echtdaten (siehe oben). Für den Einfluss der Virusvarianten ist das nicht gemacht worden – es wird bereits die Annahme getroffen, dass die späteren Varianten einen deutlich höheren R-Wert haben müssen und dementsprechend wird dieser R-Wert im Modell bereits definiert. Die Ausprägungen der abhängigen Variablen, die ja eigentlich aus den Daten erklärt werden sollen, werden also zu einem guten Teil festgelegt. 

Diese (hohen) Werte haben im Modell einen entscheidenden Effekt, denn sie beeinflussen die Ergebnisse der anderen Modellteile: Die a priori-Definition höherer R-Werte für spätere Virusvarianten bedeutet nämlich, dass die „eigentlich zu erwartenden“ R-Werte in der zweiten und insbesondere der dritten Welle wesentlich höher gewesen sein müssten als in der ersten Welle. Da sie das aber nachweislich nicht waren, ergibt sich logischerweise eine Differenz zwischen dem erwarteten und dem tatsächlichen R-Wert. Anders ausgedrückt: Der R-Wert wird im Modell erst „künstlich“ höher gemacht als er es in der Realität war. Dann vergleicht das Modell diesen künstlich erhöhten R-Wert mit dem tatsächlichen R-Wert. 

Welche Umstände könnten nun dafür gesorgt haben, dass die R-Werte dann doch nicht so hoch ausgefallen sind wie es angenommen wird? Im Modell gibt es, wie bereits dargelegt, keine anderen Erklärungsvariablen, auf die diese Drosselung zurückzuführen sein könnte – außer Maßnahmen und Impfung. Die Abweichungen der echten R-Kurve von der angenommenen Modellkurve wird also Maßnahmen und Impfung zuerkannt, da im Modell überhaupt gar keine anderen Gründe hierfür vorgesehen sind. Die Definition der höheren R-Werte für spätere Varianten steuert also das Modellergebnis mit.

In vielen Fällen passen die Schlussfolgerungen nicht zu den Modellergebnissen

Wir haben gesehen, dass der Modellansatz in der RKI-Studie problematisch ist. Aber darüber hinaus sind auch wesentliche Schlussfolgerungen der Studie nicht durch deren eigene Modellergebnisse gesichert. Wie wir eingangs beschrieben haben, ist die erste Frage in Kausalanalysen, ob die Wirkung nach bzw. mit der angenommenen Ursache eingesetzt hat. Die RKI-Studie weist aber selbst nach, dass eine Abschwächung des Infektionsgeschehens bereits einige Tage vor Etablierung vieler Maßnahmen einsetzte. Somit ist bereits der Nachweis, dass die Änderung im Infektionsgeschehen nach Einführung der Maßnahme erfolgte, nicht erbracht worden. Dieses Resultat ist nicht neu, sondern wurde bereits vielfach belegt, auch im Evaluationsbericht des Sachverständigenausschusses wird darauf in Kapitel 6.1.1.1 eingegangen.  

Anstatt jedoch vor diesem Hintergrund die kritische Frage nach der tatsächlichen Effektivität von einzelnen Maßnahmen oder kompletten Lockdowns zu stellen, kehrt die RKI-Studie die Interpretation dieses Ergebnisses als Beleg für deren Wirksamkeit um ¬– ein Schritt, der aus dem Modell heraus nicht nachvollziehbar ist. Die Argumentation der Autorinnen und Autoren geht dahin, dass die Bevölkerung jene Maßnahmen antizipiert und “freiwillig” ihr Verhalten geändert habe – ein Einwand, den man schon häufiger gehört hat, der zunächst plausibel klingt, von dem aber bei genauerer Betrachtung nicht mehr bleibt als eine unbewiesene Behauptung.

Die RKI-Studie selbst liefert auch keinen Nachweis hierfür, obwohl es sich über beispielsweise Mobilitätsdaten durchaus überprüfen ließe ¬– und diese sprechen keinesfalls eine einheitliche Sprache. Wir haben in unserem Kommentar gezeigt, dass sich in bestimmten Fällen sogar Gegenbeispiele finden lassen, in dem Sinne, dass die Ankündigung von Maßnahmen sogar kontraproduktiv ist, weil dadurch Mobilität bzw. Kontakte erhöht wurden. In keinem Fall belegt die RKI-Studie, dass solche freiwilligen Verhaltensänderungen stattgefunden haben – und erst recht nicht, dass diese Verhaltensänderungen dann das Infektionsgeschehen tatsächlich beeinflussten.

Weiterhin belegen die Modellergebnisse der RKI-Studie auch nicht, dass sämtliche Maßnahmen im gewünschten Sinne wirken. Im Gegenteil: Für einige Maßnahmen wird sogar (vermeintlich) nachgewiesen, dass sie kontraproduktiv sind, weil sie – im Modell – den R-Wert erhöhen. Im RKI-Bericht werden diese „paradoxen Effekte“, wie sie von den Autorinnen und Autoren genannt werden, nur an einer Stelle kurz erwähnt - erklärt werden sie nicht. Es ist natürlich prinzipiell denkbar, dass eine Corona-Maßnahme nicht nur keinen Einfluss haben, sondern sogar kontraproduktiv sein kann – dies wird vermutlich kaum bestritten, ist aber an dieser Stelle gar nicht so entscheidend. 

Modellansatz muss auf den Prüfstand gestellt werden

Viel wichtiger ist, dass diese „paradoxen Effekte“ bedeuten, dass für die betreffenden Maßnahmen die Hypothese einer infektionsreduzierenden Wirkung zu verwerfen ist. Es ist in wissenschaftlichen Arbeiten unbedingt zu erwarten, dass solche Ergebnisse nicht nur dargestellt bzw. kurz erwähnt, sondern auch inhaltlich interpretiert werden: Sind die betroffenen Maßnahmen vielleicht wirklich kontraproduktiv? Wenn ja, warum? Oder liegen vielleicht methodische Probleme vor, die für inhaltliche Fehlschlüsse verantwortlich sein können? Hierzu findet sich keine Reflexion im RKI-Bericht.

Das wäre auch deswegen wichtig, weil die diesbezüglichen Modellergebnisse zum Teil logisch widersprüchlich sind (siehe Abbildungen 22 und 23 in der RKI-Studie): Warum sollten Maßnahmen im Einzelhandel unterschiedlicher Eskalationsstufe bei 18-59-Jährigen das Infektionsgeschehen drosseln und bei Kindern und Jugendlichen sowie in der Altersgruppe 60+ das Gegenteil bewirken? 

Es geht aus diesen Ergebnissen auch hervor, dass Masken im ÖPNV und im Einzelhandel bei Personen ab 60 Jahren das Infektionsgeschehen entschleunigen, aber in den anderen Altersgruppen deutlich verstärken – warum sollte das in der Realität so sein? Ist es überhaupt logisch möglich, dass Masken in einer Altersgruppe gegen Infektionen schützen und in einer anderen Altersgruppe Infektionen vorantreiben? Oder: Warum sind Maßnahmen am Arbeitsplatz in der Gruppe von 18 bis 59 Jahren – also der mehrheitlich erwerbstätigen Bevölkerung – kontraproduktiv, während sie in der Arbeitsgruppe unter 18 Jahren den erwarteten bzw. gewünschten Effekt zeigen? 

Aus wissenschaftlicher Perspektive gibt es hier nur zwei Möglichkeiten: Entweder man sieht die Aussagekraft der Modellanalyse als ausreichend an – dann müssten solche Widersprüche aber inhaltlich aufgearbeitet bzw. erklärt werden, oder man führt diese widersprüchlichen Ergebnisse auf methodische Mängel zurück – das würde dann aber bedeuten, sämtliche Ergebnisse und den zu Grunde gelegten Modellansatz auf den Prüfstand zu stellen. In der RKI-Studie wird beides nicht gemacht.

„StopptCOVID“-Studie kann keine belastbaren Aussagen zur Effektivität von Corona-Maßnahmen treffen

Aus den o.g. Problematiken der „StopptCOVID“-Studie des RKI und der Universität Bielefeld ergibt sich, dass daraus keine belastbaren Aussagen bezüglich der Wirksamkeit von Corona-Maßnahmen ableitbar sind. Bereits der zu Grunde gelegte Modellansatz ist nicht für eine Kausalanalyse ausgelegt, so dass ein „kausaler Einfluss“ bereits aus formalen Gründen gar nicht nachgewiesen werden kann. Hinzu kommen schwerwiegende Probleme in der formalen Gestaltung des Modells: Der Modellansatz gibt faktisch das Ergebnis bereits bis zu einem gewissen Grad vor. Weiterhin ist auch festzustellen, dass die inhaltlichen Schlussfolgerungen der Studie teilweise den eigenen Ergebnissen direkt widersprechen und diese Widersprüche entweder ohne Belege wegargumentiert oder gar nicht erklärt werden.

Es gibt noch weitere methodische Schwierigkeiten: Ein fundamentales Beispiel betrifft die Teststrategie bei Geimpften. Da Geimpfte teilweise von den Corona-Tests befreit wurden, ging der R-Wert automatisch zurück. Im vorliegenden Modell des RKI wird dieser auf das Testverhalten zurückzuführende Effekt nicht berücksichtigt und somit zumindest zum Teil fälschlicherweise als positiver Effekt der Impfung deklariert. 

Des Weiteren ist der in der Studie herangezogene R-Wert mit einigen Mängeln behaftet, die einer zuverlässigen Erfassung von Zusammenhängen im Wege stehen. So ist der R-Wert als zeitlich hinterherhinkendes Maß definiert, sodass er in der Tat noch stärker vor den Maßnahmen agiert, als dies in der RKI-Studie zum Vorschein kommt. Ferner sind Auswirkungen von Maßnahmen auf den R-Wert häufig schwer interpretierbar, da letzterer auf einer unzureichenden Datengrundlage basiert, die neben der bereits im letzten Absatz genannten Teststrategie beispielsweise auch Meldeverzögerungen durch die Ferienzeit ignoriert. 

Re-Analyse der Studie ist dringend erforderlich

Somit ist zu konstatieren, dass die vorzeitige Wirkung der Maßnahmen und der hohe Effekt von Maßnahmen und Impfung auf die Infektionsausbreitung wahrscheinlich weitgehend Symptome eines verzerrten Modells charakterisieren und daher ein falsches Bild der Realität geben. Statt aufgrund dieser auffälligen Ergebnisse – inklusive der paradoxen Effekte – das angewendete Modell einschließlich der Eingangsdaten zu hinterfragen und eine weitergehende Analyse anzustoßen, werden die Richtigkeit des Modells weiterhin angenommen und die Schlussfolgerungen der Studie einfach an dessen Ergebnisse angepasst – was in vielen Fällen zu fragwürdigen Erklärungsansätzen führt. Diese Vorgehensweise wird einer sorgfältigen wissenschaftlichen Aufarbeitung der Corona-Maßnahmen nicht gerecht.

Das muss übrigens alles nicht heißen, dass die Impfung gar keine Auswirkung auf das Infektionsgeschehen hatte, nur ist dieses Studiendesign nicht in der Lage, diese Fragestellung zu beantworten. Es ist an dieser Stelle auch noch zu betonen, dass das RKI von einer starken Wirkung der Impfung auf die Ausbreitung von Corona annimmt; es geht hierbei nicht um die Senkung des Risikos schwerer Verläufe, die im Wesentlichen unstrittig ist. Was für die Impfung gilt, gilt auch für jede einzelne Corona-Maßnahme: Es ist hier nicht der Beweis erbracht worden, dass keine Maßnahme irgendeinen Effekt auf das Infektionsgeschehen hätte – umgekehrt ist aber der belastbare Beweis, dass eine Wirkung da ist, in der RKI-Studie nicht erbracht werden. Und zwar, weil die Studie hierzu nicht in der Lage ist.

Aus diesen Gründen empfehlen wir dringend eine Re-Analyse der Studie, d.h. eine vollständige Neubearbeitung auf der Grundlage des bestehenden Datensatzes, durch eine unabhängige Instanz. In unserem Kommentar geben wir Hinweise auf die aus unserer Sicht korrekte Anwendung des statistischen Instrumentariums. Vor diesem Hintergrund empfehlen wir weiterhin die vollständige Veröffentlichung des zugrunde gelegten Datensatzes sowie des Quellcodes der Auswertung, wie es das RKI in der Vergangenheit bereits getan hat.

Autoren

Dr. Werner Baumgarten, Dipl.-Phys.; Fachliche Schwerpunkte: Biophysik, Nichtlinearität und Strukturbildung.

Dr. Oliver Beige, Ph.D. (UC Berkeley); Fachliche Schwerpunkte: Dynamische Ausbreitungsprozesse in Netzwerken, Ökonometrie, Kausalinferenz.

Daniel Haake, M.Sc. in Data Science, Senior Data Scientist; Fachliche Schwerpunkte: Prognosemodelle, Datenanalyse, Datenqualität.

Dr. Johannes Merkl, M.Sc. Betriebswirtschaft, Fachliche Schwerpunkte: Ökonometrie, Risikoquantifizierung, Inferenzstatistik, Zeitreihen.

Dr. Thomas Wieland, Dipl.-Geogr.; Fachliche Schwerpunkte: Wirtschaftsgeographie, medizinische Geographie, Ökonometrie (insb. räumliche Modelle), GIS.

Jonas Schmidt-Chanasit im Gespräch mit Ralf Hanselle: 
„Es wurde Vertrauen verspielt“