Prevención de errores y sesgos, revisión humana y revisión de resultados en Habilmind

Las evaluaciones de Habilmind pueden realizar cálculos automáticos y generar puntuaciones, percentiles, indicadores, perfiles o informes a partir de las respuestas obtenidas.

Sin embargo, el resultado de una evaluación no debe interpretarse de forma aislada ni considerarse por sí mismo una decisión definitiva sobre una persona.

Una puntuación puede aportar información útil sobre aspectos cognitivos, académicos, emocionales, sociales, conductuales o psicopedagógicos, pero su significado debe analizarse teniendo en cuenta el contexto de la persona evaluada.

En particular, los resultados de Habilmind no sustituyen:

• La valoración de un psicólogo, orientador u otro profesional competente.
• La información aportada por la familia.
• La observación del estudiante en su contexto educativo.
• Otras pruebas o fuentes de información que puedan resultar relevantes.
• Ni, cuando corresponda, una evaluación clínica realizada por un profesional sanitario.

Esta intervención profesional constituye además una garantía frente a interpretaciones excesivamente mecánicas de una puntuación.

Las herramientas psicopedagógicas de Habilmind calculan resultados automáticamente conforme a las reglas de corrección y baremación correspondientes, pero esos resultados no constituyen por sí mismos decisiones educativas o clínicas sobre el estudiante.

Habilmind proporciona información para ayudar al profesional o al centro educativo en su proceso de análisis.

La plataforma no determina por sí misma, como consecuencia automática de una puntuación, cuestiones como:

• La existencia de un diagnóstico médico o psicológico.
• La existencia de una discapacidad.
• La adopción de una medida terapéutica.
• Una sanción disciplinaria.
• La promoción o repetición de curso.
• O cualquier otra decisión equivalente que corresponda adoptar al centro o a profesionales competentes.

Cuando un centro utiliza los resultados dentro de un proceso de toma de decisiones, corresponde al responsable del tratamiento determinar cómo se integran esos resultados con el resto de información disponible y garantizar, cuando proceda, una intervención humana adecuada.

Una de las principales medidas de prevención de errores y sesgos se encuentra en el propio proceso de creación de las herramientas.

Habilmind trabaja con profesionales especializados en psicología, psicopedagogía, educación, psicometría e investigación, incluyendo expertos reconocidos en sus respectivos campos.

Su participación puede abarcar diferentes fases del desarrollo de un instrumento, entre ellas:

• Definición de los constructos que se pretenden medir.
• Elaboración y revisión de ítems.
• Adecuación de las preguntas a las edades correspondientes.
• Diseño de escalas e indicadores.
• Análisis de resultados.
• Interpretación psicopedagógica.
• Revisión de informes.
• Validación.
• Y actualización de los instrumentos.

Este enfoque multidisciplinario busca evitar que una herramienta dependa exclusivamente del criterio de una única persona o de una perspectiva aislada.

Habilmind mantiene colaboración con diferentes universidades en proyectos relacionados con investigación educativa, desarrollo y validación de herramientas.

Entre las instituciones con las que se documentan públicamente proyectos de este tipo se encuentran universidades como la Universidad Complutense de Madrid, Universitat de Lleida, UNIR y otras instituciones académicas.

La colaboración universitaria permite someter los instrumentos a análisis metodológicos y estadísticos independientes o complementarios a los realizados internamente.

Dependiendo de cada instrumento, estos procesos pueden analizar aspectos como:

• Estructura de la prueba.
• Validez.
• Fiabilidad.
• Comportamiento estadístico de los ítems.
• Baremación.
• Consistencia de las escalas.
• Capacidad de discriminación.
• Y adecuación de la interpretación de las puntuaciones.

No todas las herramientas tienen necesariamente el mismo proceso de validación ni participan las mismas instituciones en cada una de ellas. La documentación técnica de cada prueba es la referencia adecuada para conocer su proceso concreto de construcción y validación.

Además de las colaboraciones académicas, determinados instrumentos disponibles en Habilmind han sido sometidos a procesos externos de evaluación profesional.

Por ejemplo, el Screening de Bienestar Emocional (SBE) de Habilmind ha sido incluido en los procesos de evaluación de tests desarrollados por la Comisión de Tests del Consejo General de la Psicología de España.

Estos procesos analizan los instrumentos conforme a criterios teóricos, prácticos y psicométricos y tienen como finalidad proporcionar a los profesionales información independiente sobre la calidad y características de las pruebas.

La evaluación de un instrumento concreto por parte de estos organismos no debe interpretarse como una certificación general de todas las herramientas de Habilmind. Cada prueba debe considerarse de acuerdo con su propia documentación técnica y evidencia disponible.

Una evaluación psicopedagógica no debe basarse únicamente en que una serie de preguntas “parezcan adecuadas”.

Los instrumentos deben analizarse estadísticamente.

Las herramientas de Habilmind utilizan, dependiendo de su naturaleza, procedimientos como:

• Análisis descriptivos.
• Estudios de fiabilidad.
• Análisis de estructura y consistencia.
• Estudios de validez.
• Comparación con muestras de referencia.
• Percentiles.
• Puntuaciones tipificadas.
• Estaninas u otros sistemas de interpretación.
• Y baremos diferenciados cuando resulta metodológicamente necesario.

Los baremos permiten interpretar una puntuación con referencia a una población apropiada en lugar de atribuir significado a un resultado numérico de manera aislada.

La calidad de una evaluación no depende únicamente de su diseño. También depende de cómo se aplica.

Por este motivo, Habilmind proporciona instrucciones, documentación y procedimientos de aplicación destinados a favorecer unas condiciones homogéneas.

Entre las medidas utilizadas se encuentran:

• Instrucciones estandarizadas.
• Definición de edades o cursos de aplicación.
• Documentación específica de las pruebas.
• Procedimientos de aplicación guiados.
• Corrección automatizada mediante reglas previamente definidas.
• Utilización de baremos correspondientes al instrumento.
• Informes estructurados.
• Y recursos para ayudar a los profesionales a interpretar correctamente los resultados.

La corrección automatizada reduce determinados errores humanos que pueden producirse en procesos manuales, como errores aritméticos, de transcripción o de aplicación de fórmulas.

No obstante, automatizar la corrección no elimina la necesidad de revisar el contexto en el que se ha realizado la evaluación.

Un resultado inesperado no significa necesariamente que exista un error.

Puede deberse, entre otros factores, a:

• Las respuestas proporcionadas.
• Falta de comprensión de las instrucciones.
• Interrupciones durante la prueba.
• Falta de atención o motivación durante la aplicación.
• Selección incorrecta del estudiante, curso o grupo.
• Circunstancias personales excepcionales.
• Problemas durante la aplicación.
• Utilización del instrumento fuera de las condiciones previstas.
• O una incidencia técnica.

Por ello, cuando un resultado resulte incoherente con la información disponible sobre un estudiante, debe ser revisado antes de extraer conclusiones relevantes.

El profesional puede contrastarlo con la información contextual, revisar las condiciones en las que se realizó la prueba y, cuando resulte necesario, solicitar apoyo al equipo de Habilmind.

En evaluación psicológica y educativa, hablar de sesgo exige especial prudencia.

Ningún instrumento de medición debe considerarse absolutamente libre de cualquier posible sesgo en todos los contextos, poblaciones y circunstancias.

Por ello, Habilmind aborda este riesgo mediante diferentes capas de control:

Sí.

Si un estudiante, su familia o un profesional considera que un resultado puede ser incorrecto, incompleto, poco representativo o requiere una explicación adicional, puede solicitar que sea revisado.

Con carácter general, la primera solicitud debe dirigirse al centro educativo o entidad que haya aplicado la evaluación, ya que es quien conoce el contexto del estudiante y, habitualmente, actúa como responsable del tratamiento.

El centro puede solicitar la intervención de un psicólogo, orientador u otro profesional competente para:

• Revisar el resultado.
• Contextualizar las puntuaciones.
• Comprobar las circunstancias de aplicación.
• Contrastarlas con otras fuentes de información.
• Escuchar las observaciones de la persona evaluada o su familia.
• Y determinar si procede realizar alguna actuación adicional.

La revisión humana debe ser real y contextualizada, no una mera confirmación automática de la puntuación generada por la plataforma.

Sí.

Debe distinguirse entre cuestionar un resultado de una evaluación y cuestionar una decisión adoptada posteriormente por un centro educativo.

El artículo 22 del Reglamento General de Protección de Datos establece garantías específicas frente a determinadas decisiones basadas únicamente en tratamientos automatizados que produzcan efectos jurídicos sobre una persona o le afecten significativamente de forma similar.

El hecho de que Habilmind calcule automáticamente una puntuación no significa por sí mismo que exista una decisión automatizada en el sentido del artículo 22 RGPD.

Debe diferenciarse entre:

• Calcular automáticamente el resultado de una prueba, y
• Adoptar automáticamente una decisión significativa sobre una persona utilizando ese resultado.

Las evaluaciones psicopedagógicas de Habilmind generan información que debe ser utilizada e interpretada por el centro y por los profesionales correspondientes.

Cuando, en un supuesto concreto, resultara aplicable el artículo 22 RGPD, el responsable del tratamiento deberá garantizar las salvaguardas previstas legalmente, incluyendo cuando corresponda la posibilidad de:

• Obtener intervención humana.
• Expresar el propio punto de vista.
• Aportar información adicional.
• Y cuestionar la decisión adoptada.

Habilmind mantiene abiertos canales de comunicación para que sus clientes y usuarios puedan informar sobre:

• Posibles errores.
• Dudas sobre resultados.
• Problemas de interpretación.
• Incidencias técnicas.
• Posibles sesgos.
• Propuestas de mejora.
• Comentarios sobre preguntas o informes.
• O cualquier otra cuestión relacionada con sus herramientas.

Estas comunicaciones son valiosas porque permiten incorporar la experiencia real de los profesionales y usuarios al proceso de mejora continua.

Las consultas pueden trasladarse a través del centro educativo, del asesor de Habilmind asignado al centro o mediante los canales oficiales de soporte y contacto de Habilmind.

Actualmente, Habilmind publica como dirección general de contacto:

info@habilmind.com

También puede utilizarse el formulario de Soporte y contacto disponible en la documentación oficial de Habilmind.

Cuando la comunicación se refiere específicamente a una posible limitación metodológica, sesgo o propuesta relacionada con una herramienta, puede trasladarse para su análisis a los equipos pedagógicos, técnicos o de I+D+i correspondientes.

La validación de una prueba no debe entenderse como un proceso que termina definitivamente el día de su publicación.

La evaluación psicopedagógica evoluciona a medida que:

• Aumenta el número de aplicaciones.
• Se dispone de nuevas muestras.
• Avanza la investigación.
• Cambian determinados contextos educativos.
• Los profesionales aportan nueva información.
• Y aparecen nuevas metodologías de análisis.

Por este motivo, Habilmind mantiene sus herramientas en un proceso de revisión y mejora continua.

Cuando la evidencia disponible aconseja realizar cambios, pueden revisarse aspectos como la documentación, instrucciones, interpretación, informes, baremos o características metodológicas del instrumento.

La tecnología permite aplicar evaluaciones de forma más eficiente, realizar cálculos de forma consistente y presentar grandes cantidades de información de una manera comprensible.

Pero una herramienta de evaluación no conoce por sí sola toda la realidad de un estudiante.

Por ello, los resultados deben integrarse con el conocimiento profesional y con la información disponible sobre la persona.

La finalidad de Habilmind no es sustituir el criterio del psicólogo, orientador, docente o equipo educativo, sino ofrecerles información estructurada y basada en evidencia que les permita tomar mejores decisiones.

¿Habilmind utiliza medidas para reducir errores?

Sí. Entre otras, diseño especializado, procedimientos estandarizados, corrección automatizada, análisis psicométrico, baremos, validación y revisión de los instrumentos.

¿Se analizan posibles sesgos?

Sí. La revisión de constructos e ítems, los análisis estadísticos, las muestras de validación, los baremos, la colaboración académica, la revisión externa y la retroalimentación de los usuarios forman parte de las medidas para identificar posibles limitaciones y mejorar las herramientas.

¿Las pruebas cuentan con expertos externos?

Sí. En el desarrollo de las herramientas participan expertos de referencia en psicología, psicopedagogía, educación y otros ámbitos relacionados.

¿Participan universidades?

Sí. Habilmind mantiene colaboraciones con universidades en investigación, desarrollo y validación de herramientas.

¿Existen evaluaciones realizadas por organismos profesionales de Psicología?

Sí. Determinadas pruebas de Habilmind han sido incluidas en los procesos de evaluación de tests del Consejo General de la Psicología de España.

¿Una puntuación es una decisión automática sobre el estudiante?

No. La puntuación es un resultado de evaluación que debe ser interpretado en su contexto.

¿Puede solicitarse una revisión humana?

Sí. Un resultado puede ser revisado y contextualizado por los profesionales correspondientes.

¿Puede una familia cuestionar un resultado?

Sí. Puede plantearlo al centro que realizó la evaluación y aportar las circunstancias o información que considere relevantes.

¿Puede comunicarse directamente a Habilmind un posible error o sesgo?

Sí. Los centros pueden trasladar incidencias y solicitudes de revisión a Habilmind, y cualquier usuario puede utilizar los canales oficiales de contacto para comunicar observaciones y propuestas de mejora.

Para ampliar información pueden consultarse:

• Documentación técnica específica de cada evaluación.
• Apartado de Expertos colaboradores de Habilmind.
• Apartado de Universidades colaboradoras.
• Documentación sobre características técnicas de las pruebas.
• Informes de evaluación de tests del Consejo General de la Psicología de España.
• Y el apartado de Soporte y contacto de Habilmind.

Para conocer cómo Habilmind trata la información generada por las evaluaciones, consulte también “Datos tratados en las evaluaciones y categorías especiales”.

Nota: Los resultados de una evaluación deben interpretarse atendiendo a la finalidad, características técnicas del instrumento y contexto concreto de la persona evaluada. Habilmind proporciona herramientas de evaluación y apoyo a la toma de decisiones, pero la valoración profesional y las decisiones educativas correspondientes son responsabilidad del centro o profesional competente.