Marta Quaglino²

José Pagura*

Daniela Dianda*

Evangelina Lupachini*

Facultad de Ciencias Económicas y Estadística
Universidad Nacional de Rosario

Resumen: Los estudios de repetibilidad y reproducibilidad fueron diseñados con el propósito de analizar la bondad de los sistemas de medición, análisis cuya importancia radica en el hecho que un sistema inadecuado introducirá variabilidad adicional ocasionando que las mediciones no reflejen el verdadero comportamiento del proceso. El análisis se basa en la cuantificación de la variabilidad asociada al sistema de medición y su posterior comparación con la variabilidad total observada, siendo requerimiento fundamental para ello que resulte factible obtener mediciones repetidas de una misma unidad bajo las mismas condiciones experimentales, de lo contrario, la variabilidad en las mediciones estará confundida con la variabilidad propia de las partes medidas. Tal es el caso en que los ensayos de medición son “destructivos”, esto es, las unidades no son robustas frente al proceso de medición, o bien, las unidades no son temporalmente estables.

En este trabajo se exponen diversas alternativas para el caso de estudios R&R con ensayos destructivos y una aplicación particular en un problema real sobre estimación de tiempos de producción en una empresa metalúrgica. El empleo de Modelos Lineales Generalizados permitió obtener estimaciones adecuadas de ciertas Componentes de Variancia, que advirtieron sobre características importantes a mejorar en el proceso de medición.

Palabras clave: Repetibilidad; Reproducibilidad; Componentes de Variancia.

Abstract: Gauge Repeatability and Reproducibility (R&R) studies were designed to asses the ability of a measurement system; their importance lies in the fact that an inadequate system would introduce additional variability causing measurements to not represent the true process performance. R&R analysis is based on quantifying the measurement system variability and its comparison with total variability, being an essential requirement to take repeated measurements on the same part under same experimental conditions. Otherwise, measurement variability will be confused with part-to-part variation. Such is the case of destructive measurements, where parts are not temporally stable, or measurements can only be obtained by damaging the part.

This study presents several approaches to deal with destructive measurements and an application in a real problem about production time estimates in a metallurgical company. Generalized Linear Models were used and made possible to obtain adequate estimations of some Variance Components, which warned about important features to be improved in the measurement process.

Key words: Repeatability; Reproducibility; Variance components.

1. Introducción

La calidad de los productos y servicios es uno de los elementos con mayor peso a la hora de competir en el mercado global. Para ayudar a lograr y mantener un determinado nivel de calidad es sumamente importante el empleo del control estadístico, el cual considera la aplicación de un conjunto de métodos que incluyen el control estadístico de procesos, herramientas de diagnóstico, planes de muestreo, diseño de experimentos, test de hipótesis, análisis multivariado, estimación de modelos, etc. La implementación de cualquiera de ellos requiere como materia prima la recolección de información cuantitativa sobre el funcionamiento del proceso definiendo las variables que regulan su comportamiento y condicionan su resultado. Por lo general la obtención de información cuantitativa implica realizar mediciones sobre unidades de interés, y es allí donde radica la importancia de la actividad de MEDIR. En cualquier actividad que implique mediciones, una parte de la variabilidad observada será inherente al producto o servicio que esté siendo medido, pero otra parte se deberá a la forma en que se realice la medición. Por lo tanto, asegurar la habilidad del sistema de medida es importante para lograr análisis más precisos.

Los estudios de repetibilidad y reproducibilidad (o estudio R&R), tienen como propósito cuantificar la variación asociada al sistema de medición y evaluar su alcance en comparación con la variabilidad total del proceso. Los resultados obtenidos permitirán decidir si el sistema de medición es o no capaz (Montgomery, 2005; Burdick, Borror y Montgomery, 2003).

El requerimiento fundamental para poder llevarlos a cabo es que resulte factible obtener mediciones repetidas de una misma unidad bajo las mismas condiciones experimentales. De lo contrario, la variabilidad en las mediciones estará confundida con la variabilidad propia de las partes medidas, haciendo imposible que el experimentador pueda discernir qué porcentaje de contribución tiene cada uno de estos factores, partes y sistema de medición, sobre la variabilidad total observada.

Si resulta imposible obtener simultáneamente múltiples mediciones sobre una misma unidad tomadas por una misma persona, pero el experimentador sabe que las partes no varían a través del tiempo y que el proceso de medición no afecta a las mismas, las diferentes mediciones pueden considerarse igualmente como mediciones repetidas. Cuando no se verifica alguna de estas dos condiciones, se considera que las mediciones o los ensayos son “destructivos”, y la metodología R&R estándar resulta, o imposible de aplicar si las partes se afectan por el proceso de medición, o conducente a una sobre-estimación de la variabilidad del sistema de medición, si la característica medida cambia con el tiempo.

Mediciones de resistencia a la tracción, presión en una explosión, tiempo insumido en una actividad, presión soportada hasta la rotura, duración de un producto, etc. son ejemplos de mediciones destructivas, ya que una vez obtenida la medición, la parte medida deja de estar disponible para una medición adicional, ya sea que ésta la haga el mismo u otro observador.

La definición de “ensayos destructivos” depende de la característica de calidad que interese medir. Considérese, por ejemplo, un proceso productivo para fabricar galletitas cuyo objetivo de calidad es asegurar que los paquetes tengan un determinado peso. No existe razón para pensar que el peso de las galletitas varíe a través del tiempo, y pesar una galletita no modifica su verdadero peso. Por lo tanto, la medición es no destructiva. Sin embargo, si el objetivo es asegurar una determinada resistencia en las galletitas, la medición resulta destructiva, ya que para medir la resistencia se ejerce una pequeña presión sobre ella que va aumentándose lentamente hasta que la galletita se rompe. En este caso, las unidades se ven afectadas por el proceso de medición (De Mast y Trip, 2005).  

Por otro lado, supóngase que se desea medir la presión dentro de un conducto de agua. El problema aquí es que la presión en el conducto variará continuamente como consecuencia del agua que corre por el mismo y por lo tanto el valor real de la característica medida varía a través del tiempo.

El problema fundamental que se origina cuando los ensayos son destructivos es que inevitablemente deberán medirse distintas unidades para obtener datos para el análisis, y por lo tanto, la variabilidad entre las partes estará confundida con la variabilidad introducida por el sistema de medición. La solución que se propone para este problema es reemplazar las condiciones de homogeneidad clásicas que no se satisfacen, por condiciones alternativas que produzcan el mismo efecto.

En este trabajo se presentan algunas alternativas que pueden adoptarse frente a la situación de ensayos destructivos y una aplicación particular de esta metodología, realizada para el estudio de tiempos de proceso como parte de la ejecución de un Convenio de Cooperación firmado por la Facultad de Ciencias Económicas y Estadística (UNR) y una industria metalúrgica.

2. Estudios de repetibilidad y reproducibilidad clásicos.

Cuando se lleva a cabo un proceso de medición sobre ciertas unidades µ_i de un conjunto U, un modelo adecuado para representar las mediciones es (Montgomery, 2005): 

y(u_i) = x(u_i) + ε_{i                                                                     (1)} 

Donde y(u_i)  es la medición observada, x(u_i)  es el valor real de la medida en la i-ésima unidad y ε_i   es el error en la medición. Se asume que x  y ε son variables aleatorias independientes, con distribución normal de medias µ_x y 0 respectivamente, y variancias σ²_P  y σ²_Gauge

σ²_{Total =} σ²_{P +} σ²_Gauge. A su vez, la variabilidad del sistema de medición puede expresarse en dos componentes, la reproducibilidad y la repetibilidad: σ²_{Gauge =} σ²_{Repetibilidad +} σ²_{Reproducibilidad}  (Burdick, Borror y Montgomery, 2003; Kiemele, Schmidt y Berdine, 1997). Los métodos estándares para analizar la capacidad del sistema de medición se basan en la evaluación estadística de las dispersiones de los resultados del proceso. Por lo general este análisis se lleva a cabo mediante el ajuste de modelos que permitan evaluar los efectos de los factores que intervienen sobre el proceso de medición y obtener estimaciones precisas de las componentes de variancia de interés.

A partir de la estimación de la variabilidad asociada al sistema de medición, es posible determinar si éste es o no capaz, utilizando como indicador al porcentaje de la variabilidad total que es causada por el mismo: 

Como regla práctica, si este porcentaje es menor al 10%, se considera que el sistema de medición es capaz, si es mayor al 25% el sistema de medición es incapaz, en el sentido que está introduciendo mucha variabilidad al proceso; y si se obtiene un porcentaje entre el 10% y el 25%, se está en una zona de indecisión, y la decisión queda a juicio del analista (Montgomery, 2005).

Un sistema de medición ideal es aquel que produce siempre mediciones correctas, es decir, mediciones exactas y precisas. La exactitud hace referencia a la diferencia entre el verdadero valor de la unidad³ y el valor promedio de las mediciones que se obtienen al aplicar el procedimiento de medición sobre esa unidad. Esto es, hace referencia a la variación en la medición ocasionada por el sesgo. Por lo tanto, un sistema de medición será exacto si posee la habilidad de producir mediciones que, en promedio, coincidan con el verdadero valor de la característica que se está midiendo. En cualquier sistema de medida se espera que el sesgo sea constante para todo u (linealidad) y constante a través del tiempo (estabilidad). 

Por otro lado, la precisión, hace referencia a la variabilidad que se observa cuando se mide la misma unidad del producto con la misma herramienta de medición, repetidas veces.  En cualquier sistema de medida se asume que su precisión es homogénea. Es decir que la distribución del error de medición es idéntica para todas las unidades:

error en la medición es independiente de la unidad que está siendo medida, y se tendrá que .Este valor representa a la variabilidad asociada al sistema de medición, y es el que se denomina σ²_Gauge. Si no es posible para un

• Estabilidad temporal de las unidades u objetos: para cualquier objeto i  los valores reales de las mediciones en dos momentos cualesquiera t  y s son iguales, 

          (X (u_i,t) = X (u_i,s)). Si además el sesgo es constante resulta, uY(u_i,t )=uY(u_i,s). Es decir, no           importa en qué momento en el tiempo se realiza la medición.

• Robustez frente al proceso de medición: X (u_i,t) es el mismo antes y después de que el objeto i  sea medido. Es decir, los objetos o unidades no se ven afectados por la medición.

Con ensayos destructivos, al menos uno de estos supuestos no se cumple, y deben reemplazarse por condiciones de homogeneidad alternativas que produzcan el mismo efecto.

3. Estudios de repetibilidad y reproducibilidad para ensayos destructivos.

Cuando se trata de ensayos destructivos, debe tenerse en cuenta que las unidades pueden cambiar con el paso del tiempo, por lo que una misma unidad examinada en dos momentos diferentes debe ser tomada como dos unidades experimentales diferentes. Por esta razón, en el modelo que se adopte, las unidades estarán sub-indicadas por dos letras, i  y t, haciendo referencia a la unidad en particular de la que se trata y al momento en el tiempo en el que se realiza la medición, respectivamente.

Siendo U  el conjunto de unidades a las que se aplica el procedimiento de medición, el modelo (1) postulado para representar las mediciones, ahora se expresa:

X (u_i,t) = X (u_i,s)+ ε

A continuación se presentan sintéticamente las alternativas que se proponen (De Mast y Trip, 2005; Perez Wilson, 2003)  para reemplazar las condiciones de homogeneidad frente a ensayos destructivos.

1) Si existe estabilidad temporal de las unidades, pero las unidades no son robustas frente al proceso de medición, las alternativas para reemplazar la medición repetida dependen de las características del problema.

• Si existen algunos objetos o unidades que pueden ser considerados idénticos con respecto a la medición bajo estudio⁴, σ²_Gauge puede ser estimado a partir de una muestra u_1,  u_2,....., u_k de H  como, donde
  
  
  
• Si este subconjunto no existe pero hay unidades alternativas, A = {v_i}_i=1,…,k , mas allá de las unidades bajo estudio , a las que  pueda aplicarse el procedimiento de medición y que sean homogéneas, podría procederse a la estimación de  σ²_Gauge mediante las unidades alternativas. Sin embargo, es necesario que estas unidades alternativas sean representativas de las unidades originales para que el reemplazo tenga sentido, por lo que se exige que F_Y/vi (y - µ_Y(vi) ) = F_Y/u (y - µ_Y(u))∀ v_i ∈ A, u∈ U
• Si no pueden conseguirse unidades alternativas homogéneas, pero es posible modelar la heterogeneidad de las unidades originales, puede usarse el modelo ajustado para corregirla, logrando artificialmente, que las unidades sean homogéneas.  Si existe un patrón de variación definido de las unidades, al menos en un subconjunto de las unidades originales: X (u_i) = f (i) ∀ u_i ∈ H ⊂ U , donde f  es una función con un número finito p de parámetros (polinomial, modelo autoregresivo, de promedio móvil, etc), se ajusta el modelo basándose en una muestra de unidades u_i, i = 1,…, k de la subpoblación H y el error de medición se estima como:
  
• Si existen un procedimiento de medición alternativo que no sea destructivo, se selecciona una muestra de k unidades y se realiza un estudio R&R convencional sobre ellas utilizando el sistema de medición no destructivo, estimando la variancia de las unidades ( σ²_P ) Seguidamente, todos los objetos medidos son nuevamente medidos pero con el sistema de medición de interés, que es destructivo. La variabilidad del sistema de medición (σ²_Gauge) se estima por medio de la diferencia entre la variancia de las mediciones resultantes y la variancia de las unidades, σ²_P.
  

2) Si las unidades son robustas frente al proceso de medición pero no existe estabilidad temporal de las unidades,  se puede modelar la variación de las mismas y luego usar el modelo para quitar la fluctuación estimada. Suponiendo que la variación temporal de las unidades sigue un determinado patrón, es decir, X (u_i,t) = f (i,t)∀ ui,t ∈ H ⊂ U,

En el ejemplo del conducto de agua podría estimarse un modelo ARIMA que describiera la presión X (u_t) y tomar la variancia de los residuos como una estimación de σ²_Gauge.

3) Si las unidades no son estables a través del tiempo, ni son robustas frente al proceso de medición,  la alternativa consiste en evaluar si existe la posibilidad de obtener unidades para las cuales se conozca con certeza el valor real de la característica que se mide. En general, esta situación se da cuando se tiene a disposición material de calibración, es decir, material con valor real conocido. En tal caso, existen unidades v_i,ti ∈ A, i = 1,…,k, para las cuales el valor real de la medida, X (v_i,ti), es conocido. Estas unidades son medidas con el procedimiento de medición de interés y la variabilidad asociada al mismo puede estimarse haciendo uso de la información adicional que se dispone sobre las unidades como: 

A partir de un Convenio de Cooperación firmado entre la Facultad de Ciencias Económicas y Estadística y una PYME que tiene su planta en el parque industrial de Alvear, se desarrollaron distintas actividades de asesoramiento en la aplicación de métodos estadísticos para la mejora de procesos, entre ellos, estudios de capacidad de sistemas de medidas con ensayos destructivos. Estos últimos surgieron al recoger y analizar información para estimar tiempos de producción, que advirtieron sobre la existencia de variabilidades muy grandes en los tiempos medidos, lo cual hizo suponer que el proceso de generación de los datos no era adecuado (Quaglino, Pagura, Dianda, Lupachini, 2006, 2007). La variable de interés para realizar el seguimiento del proceso, en la cual se observaron las dificultades mencionadas, fue “tiempo en segundos por pieza para realizar un subproceso de producción”. Para evaluar el sistema de medida que la industria emplea para registrar los tiempos de producción, se ajustó un modelo con efectos aleatorios a información proveniente de datos de registro habituales de la planta de producción. Los ensayos que dieron origen a las mediciones son destructivos, ya que una vez que un operario midió el tiempo transcurrido al realizar un subproceso, no es posible obtener una medición repetida del mismo operario, sobre ese mismo tiempo transcurrido. 

Para realizar el análisis R&R se buscó algún criterio que permitiera considerar mediciones diferentes como repeticiones de la misma medición. Se encontró que dadas las condiciones habituales de producción, era posible agrupar las operaciones de medición en grupos homogéneos, según la fecha en que se realizaba la operación, dado que un mismo operario hace más de una vez el mismo subproceso durante el mismo día. Por lo tanto, las mediciones realizadas por el mismo operario durante una misma jornada laboral fueron consideradas como mediciones repetidas de una misma operación.  Por otro lado, se identificaron como posibles factores influyentes sobre los tiempos de operación, a los distintos operarios  y a las distintas operaciones del proceso (unidades), identificadas en este caso, con los días en que se realizó el subproceso. En el caso particular que se expone en este trabajo,  se identificaron tres operarios, cada uno de los cuales había realizado dos veces el subproceso en el mismo día. Para cada operario, esta situación se repitió en cuatro días distintos. En virtud del criterio de homogeneidad definido, los cuatro días de cada operario fueron tratados como cuatro “unidades” distintas, para las cuales la medición se repitió dos veces. De este modo, los datos se asemejaron a los de un diseño factorial anidado con tres operarios, cuatro unidades dentro de cada operario y dos repeticiones para cada unidad. El modelo a efectos aleatorios propuesto para describir las observaciones fue:                                          

donde µ es la media general, O_j es el efecto asociado al j-ésimo operario; j=1,2,3,P_i(j) es el efecto asociado a la i-ésima unidad del j-ésimo operario; i=1,2,3,4 y ε_k(ij) es la componente de error aleatorio; k=1,2.

Los resultados del análisis de la variancia (Tabla 1) indican que una parte significativa de la variabilidad que se observa en los tiempos insumidos en procesar una unidad de la pieza se debe a los diferentes operarios que realizan el subproceso. Por el contrario, no existe evidencia muestral suficiente para afirmar que las diferentes operaciones del subproceso, realizadas con la misma máquina sobre similares barras de acero, influyen significativamente sobre la variabilidad observada en los tiempos unitarios insumidos en procesar cada una de ellas.

Tabla 1: Resultados del análisis de la variancia para el Modelo (2)

Las estimaciones de las componentes de variancia son:

σ² = CM_Error= 0,0256

Por lo tanto, la variancia total estimada de cualquier observación es:

De acuerdo al diseño que se ha utilizado, la Repetibilidad está asociada a la variabilidad debida al error experimental y la Reproducibilidad está asociada a la variabilidad debida a los operarios, esto es:

                         Tabla 2: Componentes de variancia estimadas.

 ^{(*) Resultado no esperado, obtenido dada la baja calidad de los datos.}

Se evidencia que el sistema de medición no es capaz, siendo responsable de prácticamente la totalidad de la variabilidad observada en las mediciones, dado que la componente de variancia asociada al sistema de medición, reproduce prácticamente la variabilidad total observada.

Los porcentajes de contribución de la repetibilidad y la reproducibilidad sobre la variabilidad del sistema de medición se muestran a continuación:

La variabilidad debida a la reproducibilidad es predominante. Esto significa que la mayor parte de la variabilidad que el sistema de medición introduce en las mediciones de los tiempos unitarios de corte, se debe a diferencias entre los operarios que realizan el subproceso.

Estos resultados pueden apreciarse gráficamente, utilizando un diagrama de control de promedios y rangos para los subgrupos de mediciones repetidas. Debe tenerse en cuenta que el propósito de estos gráficos en estudios de R&R no es el usual de Control de Procesos, sino que pretenden visualizar gráficamente las componentes de variancia de interés en un estudio de sistemas de medida. El gráfico⁵ sobre los datos del problema se muestra en el Gráfico 1.

En virtud del supuesto de homogeneidad considerado, se espera que el gráfico de control de rangos esté bajo control, para concluir que el sistema produce mediciones consistentes. El gráfico resultante revela la existencia de causas asignables de variación que afectan al sistema y que provocan inconsistencias en las mediciones, por lo que se concluye que la repetibilidad del sistema de medición no es buena.

Por otro lado, si el sistema de medición tiene buena reproducibilidad, se espera que todos los operarios obtengan en promedio el mismo valor de la medición de interés, al medir repetidas veces las mismas unidades. En este problema el diseño es anidado y debe notarse que las partes medidas no son las mismas para cada operario, de modo que las diferencias observadas podrían deberse a diferencias entre las partes y no necesariamente al efecto de los operarios. Sin embargo, dado que se ha demostrado, a través del análisis de la variancia, que no existen diferencias significativas entre las partes, las diferencias observadas en los niveles medios de cada operario pueden atribuirse a la reproducibilidad. Se concluye que la reproducibilidad del sistema de medición de los tiempos es muy pobre, en virtud de la gran diferencia del nivel medio de las mediciones de uno de los operarios respecto de los otros dos.

Gráfico 1: Gráfico de control de promedios y rangos para el estudio R&R

5. Comentarios finales.

Cuando se encara un estudio de sistemas de medida con ensayos destructivos, a pesar que teóricamente es imposible discriminar la variación de las partes de la variación del sistema de medición, por la simple razón de que esa información no estará contenida en los datos que se recolecten, dependiendo de cada situación particular podrán identificarse condiciones de homogeneidad o estrategias de trabajo, bajo las cuales sea posible considerar mediciones de diferentes unidades como repeticiones de la medición sobre una misma unidad, o bien modelar los patrones de variación existentes y utilizarlos para quitar la fluctuación. En la práctica, la confiabilidad de los resultados que se obtengan residirá en cuán bien la realidad del caso se ajuste a la condición o estrategia que da soporte al análisis. Por lo tanto, debe ponerse énfasis en tratar de encontrar unidades que satisfagan apropiadamente la o las condiciones bajo las que se realizará el estudio.

En el caso práctico en el que fue implementado el estudio de R&R se ha logrado hacer un aporte significativo a la empresa poniendo en evidencia, a través de análisis estadísticos (básicos y no triviales) distintas oportunidades de mejora.

Referencias bibliográficas

Burdick, R. K.; Borror, C. M. y Montgomery, D. C. (2003). A review of Methods for Measurement System Capability Analysis. Journal of Quality Technology, 35 (4), 342-354.

De Mast, J. y Trip, A. (2005). Gauge R&R Studies for Destructive Measurements. Journal of Quality Technology, 37 (1), 40-49.

Kiemele, M. J.; Schmidt, S. R. y Berdine, R. J. (1997) (4ta. ed.). Basic Statistics. Tools for Continuous Improvement. Colorado Springs, Estados Unidos: AIR Academic PRESS.

Montgomery, D. C. (2005). Introduction to Statistical Quality Control. (5ta. ed.). New York, Estados Unidos: John Wiley and Sons.

Pagura, J.; Quaglino, M.; Dianda, D. y Lupachini, E. (2007). Estudios Estadísticos para la Mejora de Tiempos de Procesos. Aplicación en una PyME del Gran Rosario. Trabajo presentado en el 12º Encuentro Argentino de Mejora Continua, Sociedad Argentina Pro Mejoramiento Continuo, Buenos Aires, 25-26 de octubre.

Perez Wilson, M. (2003). Gauge R&R Studies for Destructive and non-destructive Testing. Scottsdale, AZ, Estados Unidos: Advanced Systems Consultants.

Quaglino, M.; Pagura, J.; Lupachini, E y Dianda, D. (2006). Métodos Estadísticos Aplicados para la Mejora de Procesos. Experiencia en una PyME del Gran Rosario. Trabajo presentado en las Undécimas Jornadas Investigaciones en la Facultad de Ciencias Económicas y Estadística. Noviembre. Rosario, Argentina. Disponible el 20 de abril de 2010 en http://www.fcecon.unr.edu.ar.

² Docentes-Investigadores. Integrantes del Instituto de Investigaciones Teóricas y Aplicadas de la Escuela de Estadística. José Pagura es Director de dicho Instituto. Contacto: mquaglino@fcecon.unr.edu.ar

³ El verdadero valor es el valor estándar asignado, por ejemplo, por un patrón de referencia estándar provisto por NIST (National Institute of Standards and Technology) o IBWM (Internacional Bureau of Weights and Measures)

⁴ Existe un subconjunto H ⊂ U para el cual X (u_i) = X (u_j) ∀ u_{i ,} u_j ∈ H

⁵ Los resultados de este análisis fueron obtenidos utilizando el software Minitab 15, disponible en la Escuela de Estadística de la Facultad de Ciencias Económicas y Estadística, por convenio firmado con la empresa proveedora en Argentina (Six Soft).