¿Te puedes fiar de tus propios datos? Las tres comprobaciones que lo deciden

Alguien mira tu gráfica y hace la única pregunta que importa: ¿cómo sabes que esto es cierto?

No “¿ha mejorado el niño?”. Algo anterior y más difícil: ¿cómo sabes que esa línea habla del niño, y no de quién sostenía la hoja de registro, o de lo que se tecleó después?

Un registro puede estar mal de (al menos) tres maneras distintas, y hacen falta tres respuestas distintas.

1. ¿Habría escrito lo mismo otra persona?

Esa pregunta es la del acuerdo entre observadores, y es la que decide si una variable dependiente se puede reportar siquiera. Si un ensayo lo puntuó una sola persona, no hay ninguna prueba de que la puntuación fuera consistente; solo de que fue segura. Un acuerdo alto por sí solo no es lo mismo que exactitud: dos observadores que aplican el mismo criterio equivocado siguen coincidiendo entre sí, cada vez. Lo que establece el acuerdo es consistencia; si el criterio en sí era el correcto es una pregunta aparte que esta comprobación no responde.

El procedimiento no tiene ningún glamour: un segundo adulto observa al mismo niño y puntúa los mismos ensayos, por su cuenta, y después se comparan los dos registros. La palabra que hace todo el trabajo es por su cuenta. Dos observadores que pueden verse las respuestas son un observador con testigo.

De ahí salen dos números:

• Porcentaje de acuerdo. Ledford y Gast (2018) ponen el listón en el 90% o más para investigación aplicada, y consideran inaceptable cualquier cosa por debajo del 80%. Son sus umbrales, y no se vuelven más amables porque una sesión haya salido mal.
• Kappa de Cohen. El acuerdo bruto se infla cuando una categoría domina. Si el niño acierta casi todo, dos observadores coinciden constantemente por accidente. La kappa hace dos cosas para corregirlo: resta el acuerdo que cabría esperar solo por azar, y luego normaliza por el acuerdo que todavía era posible más allá del azar — así que lo que queda es una proporción del acuerdo disponible, no solo una resta bruta.

Hay un tercer número que se olvida y que cambia el significado de los otros dos: cuántos ensayos se puntuaron dos veces. Un acuerdo del 100% sobre tres ensayos y un acuerdo del 100% sobre ochenta no son la misma afirmación. Solo el denominador te dice cuál estás leyendo.

En Interlaza, la próxima sesión se prepara para un segundo observador antes de que empiece, desde la pestaña de Resultados del niño. Esta función concreta de puntuación en directo no se puede montar después de que una sesión ya haya terminado: el segundo adulto puntúa en su propio dispositivo mientras ocurren los ensayos, y la pantalla no le enseña cómo puntuó el primero hasta que él ha respondido. Ese es un límite de esta función, no del acuerdo entre observadores como concepto: una sesión grabada en vídeo, vista después por separado por alguien que no vio la puntuación original, puede seguir sustentando un IOA calculado fuera de la app. Después, el informe da el acuerdo y la kappa, desglosados por sesión y por concepto, con el número de ensayos sobre el que se calcularon.

El desglose no es un adorno. Ledford y Gast advierten expresamente contra dar una única cifra promediada de acuerdo, porque el promedio esconde justo la condición en la que los dos observadores se separaban. Así que el total nunca sale sin sus tablas.

2. ¿La sesión se ejecutó como estaba diseñada?

Esa segunda pregunta es la de la fidelidad del procedimiento, y se trata como criterio de riesgo de sesgo, no como un trámite: Ledford y Gast la nombran como uno de los elementos que pesa una evaluación de riesgo de sesgo, y un estudio que la mide y la reporta ha superado ese elemento — medir solo la fidelidad no clasifica por sí sola a todo un estudio como de bajo riesgo de sesgo, porque otros criterios (como el acuerdo de más arriba) también tienen que cumplirse.

En papel esto es caro. Significa un segundo adulto con una lista de comprobación marcando casillas: si la ayuda se dio en el nivel previsto, si se respetó el intervalo, si el reforzador se entregó según lo programado, si la corrección de errores se aplicó cuando tocaba.

Un programa sabe casi todo eso sin preguntarle a nadie. El motor que ejecutó la sesión ya anotó, en cada ensayo, lo que hizo. Así que la lista de comprobación es una lectura del registro, no una persona más en la sala. Interlaza comprueba cuatro cosas:

• El desvanecimiento de la ayuda se mantuvo dentro del rango configurado, nunca subió después de un error y nunca saltó más de un paso. Lo que se comprueba aquí es la fase del desvanecimiento — el escalón discreto del programa —, no lo intensa que se veía la ayuda en pantalla; no distingue qué tipo de ayuda (opacidad, tamaño, un resalte) estaba en uso.
• Las oportunidades sin ayuda. Dos tipos de ensayo distintos que comparten un mismo requisito: una sonda, usada para comprobar la transferencia a material que el niño nunca entrenó, y un ensayo de corrección, el siguiente intento del niño justo después de un fallo, tienen que llegar los dos sin ninguna ayuda en pantalla. Una sonda con ayuda mide la ayuda en lugar de la transferencia, y el «repetir hasta que sea independiente» de Carroll solo es independiente si tampoco hay nada en pantalla ahí.
• El refuerzo correspondía a la respuesta, y el adelgazamiento no empezó antes de que el concepto se lo hubiera ganado.
• La corrección de errores siguió el procedimiento configurado y se mantuvo dentro de su techo.

Solo se cuentan invariantes que sobreviven a la adaptatividad de la propia app. Si el monitor de intervenciones retiene una fase de desvanecimiento, o el desvanecimiento adaptativo cambia cuántos aciertos pide una fase, o una corrección se detiene antes porque el niño da señales de rechazo, nada de eso es una desviación y nada de eso se cuenta como tal.

Y el panel dice en voz alta lo que no puede comprobar. El registro guarda cuándo llegó la respuesta, no cuándo empezó el ensayo, así que el intervalo entre ensayos no es verificable desde ahí; el número de comparaciones en pantalla tampoco se guarda. Las dos aparecen en pantalla, con el motivo, y ninguna entra en el porcentaje. Una cifra de fidelidad que se salta calladamente lo que no pudo medir es peor que no dar ninguna.

3. ¿Se pudo cambiar el registro después?

Las dos comprobaciones anteriores hablan de cómo se produjo el dato. Esta habla de lo que le ha pasado desde entonces.

Cada ensayo en Interlaza lleva un hash calculado sobre el ensayo anterior, así que los ensayos de una sesión forman una cadena. Lo que se calcula es un conjunto fijo de diez campos centrales — qué concepto, qué respuesta, si fue correcta, su tiempo de reacción, su marca de tiempo, y algunos más —, no toda la fila que puede llevar un ensayo. Editar uno de esos campos después rompe la cadena a partir de ahí, de una forma que se nota al verificarla. Cuando una sesión termina queda bloqueada, y el servidor rechaza insertar ensayos nuevos en una sesión ya cerrada.

Aquí las palabras exactas importan, y hay un límite real que conviene decir en vez de pasar por alto. Esto no hace que los datos sean imposibles de alterar. Hace evidente una alteración parcial — alguien que edita un ensayo sin recalcular todo lo que viene después. La cadena en sí vive en el dispositivo sin ninguna copia guardada aparte en otro sitio, así que no tiene anclaje externo: alguien con acceso completo a la base de datos podría, en principio, reescribir los ensayos de toda una sesión y recalcular cada hash tras la edición, y la cadena volvería a verificarse como consistente. Lo que compra la cadena es protección frente a una edición parcial y casual, no una garantía criptográfica frente a una reescritura deliberada sin ninguna copia externa con la que comparar.

Lo que nada de esto demuestra

Ninguna de las tres te dice que el niño haya aprendido algo. El acuerdo dice que dos personas vieron lo mismo. La fidelidad dice que el procedimiento se ejecutó como estaba diseñado. La cadena dice que el registro es el que se escribió en su momento.

Juntas te dan algo más estrecho y más útil que la confianza: convierten la gráfica en una afirmación sobre el niño y no sobre el registro. Si el niño está aprendiendo es la pregunta siguiente, y solo merece la pena hacerla cuando estas tres están contestadas.

Los umbrales de acuerdo y el criterio de fidelidad del procedimiento son de Ledford, J. R., y Gast, D. L. (2018). Single Case Research Methodology: Applications in Special Education and Behavioral Sciences (3ª ed.), capítulo 5.