Van de 'statistische' bewerking van waarnemingen gaat een suggestie van exactheid en nauwkeurigheid uit die gevaarlijk kan zijn. De kwaliteit van de resultaten kan namelijk nooit beter zijn dan de kwaliteit van de gegevens die in de analyse gingen. Als we onbetrouwbare waarnemingen in een analyse stoppen, komen er ook onbetrouwbare resultaten uit. Daarom is het goed, bij ieder statistisch onderzoek stil te staan bij de manier waarop de gegevens verzameld zijn en daarmee samenhangend bij de waarde van de waarnemingen."

De insteek binnen Lean Six Sigma is beslissingen zoveel mogelijk te baseren op data ('No data, no talk-principe'). In veel gevallen zijn deze data afkomstig uit metingen. Als beslissingen gebaseerd worden op metingen, is het dus logisch dat des te meer fouten er in de metingen zitten, des te meer fouten er in de beslissingen zitten die hierop gebaseerd zijn. Alle reden dus om de kwaliteit van de metingen te borgen door het uitvoeren van een meetsysteemanalyse (MSA).

Een MSA voer je uit als onderdeel van de Measure-fase, maar ook op de andere momenten waarop je metingen (opnieuw) verricht binnen de Analyze- en Control-fase. De variatie in meetwaarden wordt veroorzaakt door de variatie in zowel het voortbrengingsproces als het meetproces. Het doel van het uitveren van een MSA is het herkennen, begrijpen en beperken van variatie in het meetproces, om de invloed daarvan op de meting uit te sluiten. Op deze manier borg je metingen van hoge kwaliteit.

Het doel van een MSA is het borgen dat de verzamelde data representatief zijn voor wat gebeurt in het proces. 'Representatief' houdt in dat de verschillen tussen de gemeten waarden en de werkelijke - meestal ongekende - waarden, de zgn. meetfouten, zo klein mogelijk zijn. In de bovenstaande afbeelding was al te zien dat meetfouten afhangen van de accuraatheid (accuracy) en precisie (precision) van een meting.

Accuraatheid van metingen (meetnauwkeurigheid)

De accuraatheid staat voor de nauwkeurigheid/exactheid van de metingen. Een meting is accuraat als deze geen systematische vertekening geeft van de werkelijkheid. Anders gezegd: er is geen consistent verschil tussen de gemeten waarde en de werkelijke waarde (afwijking, bias). Nauwkeurigheid beschrijft dus hoe gecentreerd de variatie in je meetsysteem is ten opzichte van de werkelijke variatie in het proces of het kenmerk. Het gaat om meetfouten die geen invloed hebben op de variatie die je in de meetresultaten ziet, maar wel de meetresultaten op een structureel hoger of lager niveau laten uitkomen.

Bias in de meting moet zoveel mogelijk worden voorkomen. De mate waarin bias voorkomt, is afhankelijk van de kwaliteit van het meetinstrument.

Volgens Foeke van der Zee kent bias verschillende oorzaken:

Een meetinstrument met een hoge bias levert onzuivere gegevens op. De term bias stamt uit de radiotechniek: de zender zendt een signaal uit dat door de ontvanger wordt weergegeven. De mate waarin het ontvangen signaal verstoord is, noemt men bias. Is er veel bias, dan komt het signaal onzuiver over en hoort men veel ruis op de radio; is er weinig bias dan heeft men een goede ontvangst en hoort men nauwelijks ruis. Er zijn diverse bronnen van bias in de radiotechniek. Er kunnen andere zenders zijn die het signaal storen, hoge gebouwen, bomen, en zelfs de atmosfeer kan het uitgezonden signaal verstoren waardoor het misvormd aankomt bij de ontvanger. In de methodologie is dit begrip overgenomen. Het heeft betrekking op het de mate waarin het feitelijke empirische gegeven zonder ruis wordt gemeten.

Bij metingen zijn er verschillende bronnen van bias denkbaar die samengaan met de manier van meten. "Zo zal een enquêteur geheel onbevooroordeeld de antwoorden van de respondent moeten noteren. Dat zal niet altijd lukken: hij/zij heeft zijn eigen vooroordelen, leest misschien niet alle antwoordalternatieven voor, moet een interpretatie maken van het (lange) antwoord dat de respondent geeft zodat het te coderen valt etc. Dit zijn vormen van enquêteursbias. Er kan ook sprake zijn van respondentbias: hij/zij doet zich beter voor dan hij in werkelijkheid is, geeft sociaal wenselijke antwoorden, laat zich beïnvloeden door omstanders etc. Een andere type bias komt voor bij observeren. Iemand die weet dat hij geobserveerd wordt, gedraagt zich anders dan iemand die dat niet weet. Ook hier speelt de observator een rol: hij/zij moet het te observeren gedrag interpreteren en beoordelen. Ook vragenlijsten en ‘echte’ meetinstrumenten hebben altijd een bepaalde mate van ruis. Het kan de validiteit en de betrouwbaarheid behoorlijk aantasten."

Precisie van metingen (meetprecisie)

De precisie staat voor de spreiding in de metingen. Het gaat om meetfouten die niet altijd op dezelfde manier plaatsvinden. Deze meetfouten voegen dus variatie aan de meetresultaten toe. Anders gezegd: precisie beschrijft hoe verspreid de variatie van het meetsysteem is in vergelijking met de werkelijke variatie van het gemeten proces of kenmerk. Precisiemeetfouten worden onderverdeeld in twee categorieën:

1. Herhaalbaarheid (repeatability): meetfouten veroorzaakt door de meting zelf; het gedeelte van de meetvariatie dat voorkomt wanneer je metingen onder identieke omstandigheden herhaalt met hetzelfde item, dezelfde meetinstelling en dezelfde meetapparatuur (kortetermijngedeelte van meetsysteemvariatie).

2. Repoduceerbaarheid (reproducability): meetfouten veroorzaakt door verschillen in de manier waarop verschillende mensen een meting uitvoeren; het gedeelte van de meetvariatie dat voorkomt wanneer je metingen onder verschillende omgevingsomstandigheden herhaalt met verschillene items en verschillende meetinstellingen (langetermijninvloeden van variatie in het meetsysteem).

Hieronder zie je vier mogelijke combinaties van accuraatheid en precisie:

Of weergegeven in een matrix-variant voor de 'schiettent-metafoor':

Zie ook: LSS: Meetsysteemanalyse (MSA) [1]

Bron: Statistiek in woorden - De meest voorkomende termen en technieken, A. Slotboom en Bias, Foeke van der Zee