Über die Schwächen von Ernährungsstudien
Wie belastbar sind die Daten aus Ernährungsstudien? Ein Experte mahnt zur Vorsicht – trotz vermeintlich klarer Evidenz.
Empfehlungen zur gesunden Ernährung werden häufig aus Beobachtungs- bzw. Kohortenstudien abgeleitet. Als Datenbasis dienen regelmäßig Fragebögen, die mitunter bis zu 150 Items aufweisen. Die Befragten sollen sich erinnern, was und wie viel sie wann gegessen haben. Dabei ist davon auszugehen, dass die Antworten „geschönt“ werden, meinte Prof. Dr. Stephan Martin vom Westdeutschen Diabetes- und Gesundheitszentrum in Düsseldorf. Jemand mit höherem Sozialstatus werde beispielsweise kaum zugeben, jeden Tag Pommes mit Mayo zu essen.
Studienergebnisse zeigen oft das, was sie zeigen sollen
Doch auch aus anderen Gründen ist auf die Ergebnisse der meisten Ernährungsstudien kaum Verlass. Denn abhängig von den gewählten Variablen können Adjustierungen zu höchst unterschiedlichen Ergebnissen führen. Als prägnantes Beispiel dafür nannte Prof. Martin eine nichtmedizinische Studie, in der 29 Gruppen mit zusammen 61 Analystinnen und Analysten ein und denselben Datensatz auswerten sollten. Die Fragestellung lautete: Neigen Fußballschiedsrichter dazu, eher dunkelhäutigen Spielern die rote Karte zu zeigen als hellhäutigen?
Für neun Gruppen lautete die Antwort „nein“, für zwanzig dagegen „ja“. Wie Prof. Martin in seinem Manuskript zum Vortrag darlegt, fand sich keine eindeutige Erklärung für diese Diskrepanz. Auffällig war jedoch, dass sich in den 29 Analysen 21 verschiedene Kombinationen von Kovariaten fanden.
Gefälschte Evidenz auf Bestellung
Prof. Martin warnte in seinem Vortrag vor der Flut an minderwertigen Arbeiten, die u. a. aus sogenannten Paper Mills stammen. Mit diesem Begriff bezeichnet man Unternehmen, die gegen Geld gefälschte Fachartikel erstellen und in wissenschaftlichen Zeitschriften veröffentlichen. Womöglich würden im Auftrag von bestimmten Herstellern Datensätze auch so ausgewertet, dass gewünschte Ergebnisse „evidenzbasiert“ herauskommen.
Eine systematische Metaanalyse von Beobachtungsstudien zum Zusammenhang von Fleischkonsum und Sterblichkeit liefert ein weiteres Beispiel für den Einfluss von Adjustierungen. Ausgewertet wurden 15 Publikationen mit 24 Kohorten. Insgesamt fanden sich in den Arbeiten 70 Analysemethoden, wobei die verschiedensten Einflussfaktoren berücksichtigt wurden. Die Ergebnisse reichten von einer um 37 % reduzierten bis zu einer um 130 % gesteigerten Mortalität beim Verzehr von rotem Fleisch.
Rotes Fleisch: Je nach Methode Mortalitätsisiko oder Schutz
In einer anderen Analyse zum Thema nutzten die Studienautoren die Daten von 10.661 Personen aus der NHANES*-Längsschnitt-Kohortenstudie. Statt nur einer ganz bestimmten Adjustierung führten sie aber 1.208 unterschiedliche analytische Spezifikationen und Kombinationen durch. Letztlich lieferten nur 48 Analysen (3,97 %) ein statistisch signifikantes Ergebnis. Dabei sprachen 40 (3,31 %) für eine reduzierte und acht (0,66 %) für eine erhöhte Mortalität. Was stimmt denn nun?
Viele Aussagen zur Ernährung basieren auf epidemiologischen Studien, deren Ergebnisse man via Datenerfassung und Adjustierung beeinflussen kann, erklärte der Kollege. Beobachtungsstudien seien daher immer nur hypothesengenerierend, nie beweisend. Nur anhand randomisierter kontrollierter Studien könne man zuverlässige Aussagen treffen.
* National Health and Nutrition Examination Survey