Los problemas suelen atribuirse a quienes toman la prueba. No obstante, muchas pruebas están técnicamente mal pensadas, mal elaboradas, mal aplicadas, mal procesadas y mal interpretadas, tanto en la evaluación estudiantil como en la evaluación de docentes y directivos.

Muchas pruebas no tienen objetivos claros o son incoherentes con los objetivos planteados, incluyen contenidos alejados de lo efectivamente estudiado o bien contenidos inapropiados y hasta ofensivos. (Ver, por ejemplo, el reclamo de los directores de Valencia, por un texto incluido en una prueba de primaria, o el reclamo por errores en una prueba en Andalucía, ambos en España).

Pocos investigadores y centros especializados se toman el trabajo de analizar las pruebas (cuando menos a partir de los ítems que suelen hacerse públicos), de divulgar sus indagaciones y de hacer conciencia pública al respecto. Quienes lo hacen, destapan muchas falencias y mitos. Ahí están, por ejemplo, los análisis hechos por investigadores peruanos en torno a las sucesivas pruebas docentes aplicadas en ese país: 2008, 2008, 2013. Y estas reflexiones sobre las Pruebas de Evaluación de Diagnóstico 2013 de Andalucía, en España. En Chile, Educación 2000 elaboró en 2013 un video y una infografía explicando "Los 6 mitos del SIMCE" (Sistema de Medición de la Calidad de la Educación) en ese país. El experimento ya mencionado (Take the Test!) realizado por los estudiantes organizados en el Sindicato de Estudiantes de Providencia en EE.UU. evidenció públicamente las debilidades de una prueba que pone en juego la graduación de miles de colegiales en ese país.

El Examen Nacional para la Educación Superior (ENES) elaborado por la Secretaría Nacional de Educación Superior, Ciencia, Tecnología e Innovación (SENESCYT) en el Ecuador afirma que no mide conocimientos sino aptitudes cognitivas: razonamiento verbal (empleo correcto de vocabulario, significado de palabras, frases, oraciones, sinónimos), numérica (resolución de problemas matemáticos, fracciones y porcentajes) y razonamiento abstracto (imaginación espacial, habilidad de trabajar y razonar con símbolos o situaciones no verbales). No obstante, en el terreno de la cognición, no es posible separar aptitudes de conocimientos. (Aquí una muestra del ENES).

Hay errores también enla codificación, el procesamiento de puntajes y ránkings. Pearson, la empresa más grande del mundo en publicaciones vinculadas a la educación, reconoció públicamente en 2013 haberse equivocado en una prueba destinada a diagnosticar alumnos talentosos, error que afectó a 4.735 alumnos en Nueva York. Estosucede en EE.UU. En muchos otros países, si se detectan errores, es difícil que la ciudadanía se entere. Nadie pide tampoco información. 

El mundo virtual ha abierto muchas y nuevas posibilidades a la evaluación. Cada vez son más las experiencias de evaluación en línea. Se multiplcan asimismo las herramientas para que los propios docentes pueden elaborar pruebas, contando  con corrección automática. Aquí un ejemplo. 
 

Con ayuda del diccionario o de una enciclopedia, antes; con ayuda de Internet, Wikipedia o un buscador como Google, hoy, puede resolverse la mayoría de pruebas, sin necesidad de saber, pensar, razonar, construir por uno mismo. Lo "aprendido" y "calentado" la noche anterior para rendir la prueba se esfuma, por eso, al día siguiente. En definitiva, nunca se aprendió, nunca valió la pena ser aprendido.

Las preguntas de selección múltiple resultan funcionales a este modelo enciclopédico/wikipédico. Proponen opciones que fijan el equema de "la respuesta" correcta y plantean la posibilidad del azar y la adivinanza como último recurso en situaciones de "blanco" frente a la pregunta o frente a toda la prueba.

En este sentido, PISA es un avance respecto de las pruebas tradicionales, pues las preguntas no se ciñen estrictamente al currículo y buscan medir competencias antes que informaciones o conocimientos aislados. Cabe tener en cuenta, no obstante, que un análisis de las pruebas PISA en el área de Ciencias muestra que "estas pruebas demandan principalmente capacidades científicas de baja complejidad".

Las pruebas pueden tener efectos devastadores sobre las personas, su vida, su futuro. En una prueba hay quienes obtienen puntajes muy buenos, buenos, malos y muy malos. Para unos pocos, la experiencia resulta gratificante. Para la mayoría, es fuente de frustración y humillación, un ataque a la autoestima y a la autoconfianza, una señal de fracaso. Incluso quienes estudian a conciencia y creen haber rendido bien, suelen sorprenderse con los resultados.

El error no tiene aquí valor pedagógico; se entiende llanamente como fracaso y se atribuye al estudiante, no al sistema. Los padres de familia - sobre todo los pobres, los con menos experiencia escolar - aceptan el diagnóstico escolar y endilgan el problema a los hijos, a su falta de dedicación al estudio e incluso a su incapacidad. La incapacidad aprendida, inducida por el sistema escolar, es uno de los crímenes más grandes que puede cometerse en contra de niños y jóvenes, tanto más si tenemos en cuenta que la función del sistema escolar es justamente la contraria: ayudarles a descubrir y desarrollar sus capacidades y talentos.



Del otro lado, los "bajos rendimientos" medidos por pruebas y otros instrumentos de evaluación, son condenados escolar y socialmente, y pueden terminar en repetición o abandono escolar, en cualquier nivel del sistema, en el caso de los alumnos. En el caso de los docentes, un bajo puntaje en una prueba puede significar degradación laboral, burla por parte de los alumnos, pérdida del trabajo, otros. Para quienes se juegan en la prueba una oportunidad única (aprobación de una materia o del año escolar, graduación, beca, trabajo, ingreso a la universidad, etc.), el resultado es decisivo e injustificable. La repetición escolar es un absurdo desde todo punto de vista y empuja, en muchos casos, al abandono escolar. No olvidemos que el derecho a la educación no es solo derecho a acceder sino fundamentalmente derecho a aprender. Se trata entonces de buscar alternativas y abrir puertas, no de cerrarlas.