Power & Sample Size – oder „Darf’s auch ein bisschen weniger sein!?“

Wir hatten ja schon des öfteren herausgestellt, dass eine der Kernaufgaben von Six Sigma Green oder Black Belts darin besteht, mit den Projekt-Teammitgliedern im Vorfeld erarbeitete Hypothesen zu verifizieren oder zu falsifizieren. Auch in unserem täglichen Alltag  – so z.B. während der aktuellen Grillsaison – begegnen uns reihenweise faszinierende Fragestellungen wie „Um wieviel Prozent muss ich die Restfeuchte der Holzkohle reduzieren, damit die Thüringer Würstchen im Mittel eine Minute eher fertig sind“ oder „Hat die Art des Grillanzünders wirklich Einfluss auf den Geschmack der Stielkoteletts“ (und wenn ja, welchen)?

Ohne Beobachtungen und besser noch Daten geht da natürlich gar nichts – entweder liegen diese als historische schon vor oder werden – was meistens die bessere Variante ist – in Form von geplanten Experimenten erstmal erzeugt. Experimente kosten aber Zeit und Geld (und wenn sie dann nicht gelingen, vielleicht auch noch Nerven und den Arbeitsplatz. Also gilt es, Sie seriös vorzubereiten. Dazu gehört ganz besonders und am besten auch zu Beginn die Klärung der Frage: „Wie viele Messungen brauche ich eigentlich, um nach dem Experiment auch eine seriöse Aussage treffen zu können ? 10, 100, 500, 1000 oder noch mehr“ ?

IHRE SCHULUNG: Besuchen Sie unsere SIX SIGMA Seminare – Wir bilden Sie professionell zum SIX SIGMA  Yellow, Green, Black oder Master Black Belt aus! 

 Wenn es wie hier also um den erforderlichen Stichprobenumfang ( sample size ) geht, gelangen unsere Standard-Wahrnehmungskanäle leider sehr schnell an ihre Grenzen und so kommt es in der Praxis allzu häufig zu zwei wesentlichen Fehleinschätzungen:

• Wir erzeugen 100 Messwerte – es hätten aber 20 ausgereicht – damit haben wir statistisch zwar eine präzisere Aussage, aber absolut unwirtschaftlich gearbeitet!

  oder:

• Wir erzeugen 20 Messwerte – hätten aber 100 gebraucht – und haben dann auf den ersten Blick wirtschaftlich gearbeitet, aber leider überhaupt keine seriöse Aussage vorliegen – und damit waren auch die 20 Messungen umsonst und dann war auf den zweiten Blick auch das wirtschaftlicher Unfug!

Jetzt wäre es natürlich schön, über eine Berechnungsmöglichkeit zu verfügen, die einen Stichprobenumfang ermittelt, der sowohl wirtschaftlich ist als auch die Aussagekraft – sprich die statistische Sicherheit – unterstützt, die man für die zu untersuchende Problematik für angemessen hält.

Gibt’s das? Ja, das gibt’s! Da Six Sigma Belts sich gerne mit der Statistiksoftware MINITAB herumschlagen, werden sie hier den knackigen Menuepunkt „ Power & Sample Size “ (oder auf biederdeutsch „ Trennschärfe und Stichprobenumfang “) zu Rate ziehen, um dieser wesentlichen Aufgabe zur Lösung zu verhelfen.

Was ist eigentlich Trennschärfe bzw. Power?

Als Trennschärfe wird die Wahrscheinlichkeit bezeichnet, eine signifikante Differenz (Effekt) zu erkennen, wenn diese tatsächlich vorhanden ist. Alles klar!? Na gut, vielleicht kurz ein Beispiel:

Stellen Sie sich vor, Sie wollen zwei chemische Reaktoren (A und B) daraufhin untersuchen, ob deren Ausbeute signifikant – also echt – unterschiedlich ist. Sie haben die Hoffnung, dass Reaktor B um mindestens 3% mehr Ausbeute liefert – das ist die für Sie praktisch relevante Differenz! Der alte Reaktor A  – das wissen Sie bereits – liegt bei 80 % mittlerer Ausbeute mit einer Standardabweichung von 2,5 %. Das Signifikanzniveau für ihre Untersuchung und den damit verbundenen statistischen Test legen Sie vorher auf die üblichen 5 % fest , d.h. Sie erlauben sich eine Irrtumswahrscheinlichkeit von 5% für das Risiko (nennt man auch Alpha-Risiko), dass Sie glauben einen 3%igen Unterschied in der Ausbeute zu erkennen, den es aber real gar nicht gibt.

Auch das umgekehrte Risiko – das so genannte Beta-Risiko  – legen Sie im Vorfeld auf z.B. 10 % fest ; damit liegt 1 minus Beta bei 90% – und das ist dann tatsächlich die oben angesprochene Trennschärfe des Tests! Jetzt haben Sie 4 Angaben getätigt und müssen in Minitab nur noch den richtigen Menueunterpunkt anklicken – „one sample T“ oder auch „ T-test , 1 Stichprobe“ wäre hier die richtige Option. Warum gerade diese? Na ja, Sie haben stetige Daten (Ausbeutewerte), Sie wollen Lage und nicht Variation oder Anteile/Verhältnisse auf Unterschiedlichkeit testen und Sie haben eine Stichprobe am Reaktor B zu planen, die Sie gegen einen historischen Mittelwert von Reaktor A abgleichen – fragen Sie doch hierzu einfach mal den Black Belt Ihres Vertrauens !

Was kommt dann raus ? Guckst Du hier!

Trennschärfe und Stichprobenumfang
T-Test bei einer Stichprobe

Test auf Mittelwert = null (vs. nicht = null)
Berechnen der Trennschärfe für Mittelwert = null + Differenz
Alpha = 0,05  Angenommene Standardabweichung = 2,5

Differenz : 3
Stichprobenumfang : 10
Soll-Trennschärfe : 0,9
Ist-Trennschärfe : 0,920333

Ja wirklich, 10 Ausbeutemessungen müssen Sie am Reaktor B (nur!) vornehmen, um mit mindestens 90%iger Sicherheit einen Unterschied von 3% (oder mehr) erkennen zu können, wenn er denn vorliegen sollte. Und Sie? Sie hätten wahrscheinlich 50 Messungen gemacht, nicht wahr!? Na ja, wollte Ihnen ja kein schlechtes Gewissen einreden – nur zeigen, wie’s gehen kann.

Zum Üben gebe ich Ihnen dann auch gleich mal folgende Aufgabenstellung mit auf den Weg:

Ist ja gerade Fußball-EM und alsbald spielt Deutschland gegen Holland. Nehmen wir mal an, Schweinsteiger verschießt bekanntermaßen 2 von 10 Elfmetern. Wieviel Elfmeter muss Robben schießen, um die Hypothese zu testen, dass er mindestens 4 (oder mehr) von 10 Elfmetern verschießt? (Alpha-Risiko = 5 %, Beta-Risiko = 20 % , Vorsicht, das sind binäre attributive Daten, daher gibt‘s hier auch keine Standardabweichung !)

Viel Spaß damit und bis demnächst,
Axel Jungheim