Principal - Volver al relato de las VI Jornadas

Valoración de la accesibilidad y usabilidad de las páginas web españolas - 2001

Introducción

En esta ponencia se presenta un estudio realizado por la Facultad de Informática de la Universidad Politécnica de Madrid para el IMSERSO durante la segunda mitad del año 2001. El título oficial del estudio es "Estudio sobre la utilidad de Internet para la información asesoramiento e innovación tecnológica" y su objetivo fundamental era determinar el nivel de accesibilidad de los sitios web en España. El estudio comenzó en julio e 2001 y terminó en enero de 2002.

Este documento comenzará con una descripción de los objetivos del estudio. Seguidamente se comentará la metodología de evaluación de accesibilidad definida para el estudio. En tercer lugar se mostrará la forma de evaluar el cuestionario que resulta de la aplicación de la metodología. Por último se comentarán los resultados obtenidos.

Objetivos del estudio

El objetivo general del estudio era el siguiente: "realizar una valoración de la navegabilidad de la Red como vehículo de servicios que puede ser utilizada por personas con o sin discapacidad, con el fin de elaborar y adecuar estrategias futuras de cumplimiento de objetivos de las políticas de discapacidad, aprovechando las nuevas tecnologías, en una sociedad de la información para todos."

Este objetivo general puede descomponerse en los siguientes objetivos específicos:

  1. Estudiar las pautas de accesibilidad existentes para páginas Web, determinando las que se consideren más adecuadas. Se eligieron como más relevantes las "Pautas de Accesibilidad del Contenido Web" versión 1.0 definidas por el WAI (Web Accessibility Initiative)
  2. Obtener datos actualizados y fiables sobre el nivel de accesibilidad de las páginas web españolas, en función de las pautas anteriores. Para ello hubo que seguir los siguientes pasos:
  3. Difusión de los resultados y recomendaciones del estudio

Metodología de evaluación

Punto de partida

El método que se presenta a continuación toma como punto de partida la metodología desarrollada por Rafael Romero Zúnica, miembro de la Unidad de Investigación ACCESO de la Universidad de Valencia y miembro del grupo de expertos de SIDAR. Esta metodología fue presentada en un curso organizado conjuntamente por SIDAR y ONCE relacionado con el diseño de páginas Web accesibles para todos. El texto completo de esta metodología práctica puede encontrarse en el siguiente enlace: metodología práctica en las páginas de ACCESO.

Se han realizado cuatro aportaciones principales a ese método:

Fases de la metodología

Seguidamente se resumen las seis fases de la metodología:

Durante todas las fases que se han descrito se deberá realizar el análisis dependiendo de la funcionalidad típica de la categoría a la que pertenezca el sitio Web evaluado. Por ejemplo, si se trata de un sitio de comercio electrónico, se deberá verificar que se pueden comprar o vender productos usando todos los modos de acceso al sitio de cada una de las fases de la metodología.

Cuestionario

El cuestionario desarrollado para recopilar la información obtenida durante el análisis de un sitio web tiene las siguientes características principales:

Los campos del cuestionario son de tres tipos:

La siguiente tabla muestra de forma resumida los campos de cada tipo que aparecen en cada una de las partes del cuestionario:

Tabla resumen del cuestionario
Fase Prioridad 1 Prioridad 2 Prioridad 3 Subjetivas Comentarios
I (Sólo texto) 6 5 8 1 1
II (IE + Revisor de pantalla) 1 3 1 1 1
III (Internet Explorer) 6 22 15 1 1
IV (Código fuente) 6 10 6 0 0
V (Opera) 5 1 0 1 1
VI (Revisión automática) 0 0 0 0 1

Muestreo

Se hizo un muestreo de los sitios web que se iban a evaluar, con el fin de poder concluir el estudio en los plazos previstos:

Evaluación de resultados

Se pueden realizar dos tipos de análisis: unos objetivos y otros subjetivos. Los primeros se consideran objetivos ya que están basados en las respuestas a aquellas preguntas derivadas directamente de los puntos de verificación de las normas del WAI. El análisis subjetivo, por otro lado, está basado en las notas numéricas emitidas de forma subjetiva por el evaluador de cada sitio.

Evaluación objetiva

Se establece una puntuación para cada fase, basándose en las respuestas a cada una de las preguntas con respuestas “Sí” “No” o “NA” (no aplicable) de los cuestionarios.

Se le asigna a cada una de las preguntas un peso dependiendo de su prioridad. Debido a que la prioridad 1 es algo imprescindible para asegurar la accesibilidad se le asigna un peso máximo, mientras que las de prioridad 2 tienen un peso considerablemente menor. Por otra parte, las de prioridad 3 se les asigna un peso de mínimo, ya que tienen menor importancia a la hora de permitir la accesibilidad a un sitios:

Cada una de las preguntas tendrá el siguiente valor dependiendo de su respuesta y peso: si ha sido respondida con “Sí” se le suma su peso, si se responde con “No” se le resta y si no es aplicable tendrá valor nulo:

Para conseguir una nota que englobe cada una de las fases por cada sitio Web, se suman los valores anteriores.

Como cada fase consta de un número diferente de preguntas, se procede a normalizar la nota entre –5 y 5. La normalización consiste simplemente en dividir los valores anteriores entre el máximo resultado posible en cada fase (todas las respuestas serían “Sí”). De esta forma se consigue que los valores estén entre –1 y 1. Multiplicando el valor anterior por 5 se consigue el resultado deseado.

La tabla siguiente muestra los valores máximos que pueden obtenerse en cada una de las fases, en función del número de preguntas de cada nivel de prioridad.

Valor máximo de cada fase
Fase Prioridad 1 Prioridad 2 Prioridad 3 Máximo
I (Sólo texto) 60 15 8 83
II (IE + Revisor de pantalla) 10 9 1 20
III (Internet Explorer) 60 66 15 141
IV (Código fuente) 60 30 6 96
V (Opera) 50 3 0 53

En resumen, la fórmula que permite calcular la nota objetiva de cada fase es la siguiente:

nota(i) = ((suma de V(i,j)*P(i,j))*5)/max(i)

donde

A la hora de interpretar los resultados es importante entender que cualquier respuesta negativa a las preguntas es esencialmente mala, ya que imposibilitará la accesibilidad a parte o la totalidad del contenido de las páginas a grupos de personas con discapacidades. Así mismo hay que hacer notar que el responder afirmativamente a algunas de las preguntas no indica ni mucho menos que un sitio sea accesible. Por cada sitio debería ser posible responder “Sí” (o en todo caso “NA”) a todas las preguntas.

Finalmente se puede calcular la media aritmética de la nota de cada fase, con el fin de obtener una única nota que resume de forma objetiva el nivel de accesibilidad de un sitio.

Evaluación subjetiva

Un segundo análisis consiste en hacer un estudio de cada una de las preguntas en las que el evaluador debe dar una nota numérica subjetiva entre 0 y 10. Las preguntas a usar son [P20], [P27], [P72] y [P102], correspondientes a la calificación de las fases con BrailleSurf, ONCE-Lector, Internet Explorer y Opera respectivamente.

Estas notas tienen gran importancia debido a que indican de una manera somera la sensación de accesibilidad y usabilidad de los sitios. Dichas notas han sido asignadas según el criterio subjetivo del evaluador y pueden dar información paralela a los resultados arrojados en el análisis objetivo.

Las preguntas relativas a BrailleSurf, ONCE-Lector y Opera se han considerado en un contexto de accesibilidad, mientras que los resultados arrojados por la nota subjetiva de la fase de Internet Explorer (P72) trata de ser un primer análisis de la usabilidad del sitio.

Para obtener la nota subjetiva de accesibilidad, se establece un peso para cada una de las notas obtenidas por un sitio en las fases con BrailleSurf, ONCE-Lector y Opera. Se puede decir que las dos primeras fases tratan sobre todo la accesibilidad para discapacitados, mientras que los resultados de la última indican la compatibilidad del contenido de las páginas cuando son vistas en varios tipos de navegadores o terminales. Por ello, las dos primeras valdrán un 40% cada una, mientras que la última será un 20% del total:

accesibilidad subjetiva = (40*P20 + 40*P27 + 20*P102)/100

En cuanto a la nota subjetiva de usabilidad, se obtiene como el valor de la pregunta P72. Debido a que la mayor parte de los sitios Web están pensados para poder ser vistos en navegadores como Internet Explorer, la nota de este apartado entra más en el ámbito de la usabilidad que el de la accesibilidad. Para la calificación subjetiva de esta fase el evaluador debería tener en cuenta aspectos como la organización de las diversas páginas del sitio, la claridad del contenido, la posibilidad de acceder y usar todo el contenido y servicios del sitio por medio de teclado, etc.

Resultados

Seguidamente van a mostrarse algunos de los resultados obtenidos tras la realización del estudio. Los resultados que se van a mostrar son los siguientes:

Evaluación objetiva de la fase I (sólo texto)

Los resultados numéricos obtenidos en esta fase se muestran en la tabla siguiente:

Resultados objetivos de la fase I
Intervalo de valores Número de casos
Menor o igual que -5 0
De -4.99 hasta -4 0
De -3.99 hasta -3 3
De -2.99 hasta -2 9
De -1.99 hasta -1 19
De -0.99 hasta 0 55
De 0.01 hasta 1 16
De 1.01 hasta 2 14
De 2.01 hasta 3 6
De 3.01 hasta 4 1
De 4.01 hasta 5 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota objetiva de la fase I (sólo texto)

En esta fase casi la mitad de los sitios (55) obtienen una puntuación entre -0.99 y 0. Esto es debido a que una parte de ellos (34 en total) no han podido ser evaluados, ya que el navegador no es capaz de mostrar contenido alguno. En esos casos y ante la imposibilidad de responder con corrección a todas las preguntas, se ha optado por asignar a todas las preguntas con NA (“No Aplicable) y calificar con 0 la accesibilidad subjetiva en modo sólo texto (pregunta P19).

En cualquier caso esta información arroja un mal resultado sobre la accesibilidad, ya que indica que la mayor parte de las preguntas o bien no resultan aplicables (lo que implica páginas muy simples) o bien se obtienen tantos valores negativos como positivos, de forma que se contrarresta así la nota final.

Evaluación objetiva de la fase II (IE + revisor de pantalla)

Los resultados numéricos obtenidos en esta fase se muestran en la tabla siguiente:

Resultados objetivos de la fase II
Intervalo de valores Número de casos
Menor o igual que -5 18
De -4.99 hasta -4 14
De -3.99 hasta -3 21
De -2.99 hasta -2 34
De -1.99 hasta -1 10
De -0.99 hasta 0 10
De 0.01 hasta 1 0
De 1.01 hasta 2 0
De 2.01 hasta 3 1
De 3.01 hasta 4 12
De 4.01 hasta 5 3

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota objetiva de la fase II (Internet Explorer con revisor de pantalla)

En esta fase se puede apreciar que existen dos grupos de sitios. La mayor parte de ellos obtienen una nota negativa y muy baja. En particular se puede ver que la clase de valores entre –2.99 y –2 agrupa casi un tercio de los sitios evaluados. Los sitios englobados en esta clase serán prácticamente inaccesibles para aquellas personas que tengan que usar una herramienta de voz como ONCE-Lector.

Por otra parte hay 16 sitios que pudieran ser accesibles para estos grupos de personas. En cualquier caso, con esta información no se puede asegurar dicha accesibilidad, y habrá que prestar especial atención a la nota asignada y los comentarios generales escritos por el evaluador.

Evaluación objetiva de la fase III (Internet Explorer)

Los resultados numéricos obtenidos en esta fase se muestran en la tabla siguiente:

Resultados objetivos de la fase III
Intervalo de valores Número de casos
Menor o igual que -5 0
De -4.99 hasta -4 0
De -3.99 hasta -3 0
De -2.99 hasta -2 3
De -1.99 hasta -1 23
De -0.99 hasta 0 53
De 0.01 hasta 1 28
De 1.01 hasta 2 14
De 2.01 hasta 3 1
De 3.01 hasta 4 1
De 4.01 hasta 5 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota objetiva de la fase III (Internet Explorer)

Los resultados que aquí se obtienen son parecidos a los de la fase con el navegador sólo texto. Los resultados siguen una normal muy ligeramente desplazada a la derecha. Tal y como se comentó al principio de este apartado, el hecho de que la mayor parte de los sitios obtengan notas entre -0.99 y 0 es un indicador de los malos resultados obtenidos en esta fase del estudio.

Evaluación objetiva de la fase IV (Código fuente)

Los resultados numéricos obtenidos en esta fase se muestran en la tabla siguiente:

Resultados objetivos de la fase IV
Intervalo de valores Número de casos
Menor o igual que -5 0
De -4.99 hasta -4 0
De -3.99 hasta -3 16
De -2.99 hasta -2 32
De -1.99 hasta -1 47
De -0.99 hasta 0 25
De 0.01 hasta 1 2
De 1.01 hasta 2 1
De 2.01 hasta 3 0
De 3.01 hasta 4 0
De 4.01 hasta 5 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota objetiva de la fase IV (Código fuente)

En este caso se puede observar con claridad que los desarrolladores de contenido no prestan suficiente atención a la accesibilidad. Un examen del código fuente de las páginas de los sitios indica que gran parte de los mismos han sido creados usando herramientas automáticas. La mayoría de estas herramientas permiten obtener páginas muy vistosas y organizadas, pero generan código que no siempre cumple con los estándares del W3C.

Evaluación objetiva de la fase V (Opera)

Los resultados numéricos obtenidos en esta fase se muestran en la tabla siguiente:

Resultados objetivos de la fase V
Intervalo de valores Número de casos
Menor o igual que -5 4
De -4.99 hasta -4 0
De -3.99 hasta -3 7
De -2.99 hasta -2 1
De -1.99 hasta -1 32
De -0.99 hasta 0 27
De 0.01 hasta 1 33
De 1.01 hasta 2 5
De 2.01 hasta 3 9
De 3.01 hasta 4 3
De 4.01 hasta 5 2

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota objetiva de la fase V (Opera)

Se puede observar que gran parte de los sitios obtienen unas notas entre –1.99 y 1, correspondientes a las clases [-1.99,-1], [-0.99,0] y [0.01,1]. En total 92 sitios se hallan ubicados en dichas clases, lo que en ningún caso es un buen resultado, sobre todo teniendo en cuenta que esta fase tan sólo consta de seis preguntas y cinco de ellas son de prioridad 1. Los sitios a la derecha de estas clases podrían considerarse como accesibles, mientras que los que se encuentran a la izquierda no lo son.

Media objetiva de las cinco fases

Los resultados numéricos obtenidos tras calcular la media de la nota aritmética objetiva las 5 fases son los siguientes:

Media de los resultados objetivos
Intervalo de valores Número de casos
Menor o igual que -5 0
De -4.99 hasta -4 0
De -3.99 hasta -3 1
De -2.99 hasta -2 19
De -1.99 hasta -1 43
De -0.99 hasta 0 39
De 0.01 hasta 1 8
De 1.01 hasta 2 10
De 2.01 hasta 3 3
De 3.01 hasta 4 0
De 4.01 hasta 5 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la media objetiva de las cinco fases

Como era de esperar, la mayor parte de las notas medias se encuentran por debajo del valor 0. Más exactamente, entre los valores –2.99. y 0 se hallan 101 de los 123 sitios evaluados, lo que indica la mala accesibilidad presentada en general por cada uno de los sitios.

Se puede observar también que hay pequeño grupo de sitios que destaca por tener una nota positiva. En cualquier caso, y según lo ya explicado en el comienzo de este apartado, no se puede decir que estos sitios posean un nivel de accesibilidad adecuado, ya que en ninguno de ellos se obtienen notas medias realmente elevadas (ninguno supera el valor 3), lo que indica que o bien se trata de sitios muy simples (no se pueden aplicar gran parte de las preguntas de los formularios) o bien en ellos no se tiene en cuenta todos los aspectos relativos a la accesibilidad. No hay que olvidar que cualquier pregunta que se responda negativamente puede llegar a influir mucho en la capacidad de acceso para determinados grupos de usuarios.

Evaluación subjetiva de accesibilidad

Los resultados obtenidos tras calcular la media ponderada de las notas subjetivas de las fases I, II y IV son las siguientes:

Resultados subjetivos de accesibilidad
Intervalo de valores Número de casos
Igual a 0 3
De 0.01 a 1 23
De 1.01 a 2 20
De 2.01 a 3 25
De 3.01 a 4 17
De 4.01 a 5 16
De 5.01 a 6 8
De 6.01 a 7 5
De 7.01 a 8 4
De 8.01 a 9 1
De 9.01 a 10 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota subjetiva de accesibilidad

La nota subjetiva confirma las conclusiones a las que se llega a partir de los análisis objetivos. Existen muy pocos sitios de los evaluados (sólo 10, un 8%) que obtengan una nota superior a 6 puntos, estando más del 70% de los sitios por debajo de los 4 puntos (sobre 10). Destaca el hecho de que haya tres sitios que obtengan un 0 en la evaluación subjetiva.

Evaluación subjetiva de impresión de usabilidad

Los resultados de la nota subjetiva de la fase III (Internet Explorer) dan una primera impresión sobre usabilidad. Estos resultados se muestran en la tabla siguiente:

Resultados subjetivos de usabilidad
Intervalo de valores Número de casos
Igual a 0 0
De 0.01 a 1 0
De 1.01 a 2 1
De 2.01 a 3 1
De 3.01 a 4 12
De 4.01 a 5 32
De 5.01 a 6 35
De 6.01 a 7 25
De 7.01 a 8 14
De 8.01 a 9 2
De 9.01 a 10 0

Estos datos pueden mostrarse gráficamente en el siguiente histograma:

Histograma de la nota subjetiva de usabilidad

Aunque en general los resultados son mucho mejores que para el caso de la accesibilidad, se aprecia que sólo un 62% de los sitios consiguen obtener al menos un 5, nota mínima exigible en cuestiones de usabilidad. Se supone que todos los sitios deberían ser al menos razonablemente usables (ya que no accesibles), dado que están creados especialmente para su uso con Internet Explorer u otro navegador similar (como Netscape Communicator). De todas formas, y visto de manera global, se puede decir que la mayor parte de los sitios a estudio alcanzan un nivel de usabilidad adecuado.

Análisis detallado de las preguntas de prioridad 1 de la fase IV (código fuente)

Para terminar el resumen de los resultados del estudio, se va a realizar un estudio de las preguntas de prioridad 1 de la fase IV (análisis de código fuente). Se trata de las siguientes preguntas:

Los resultados obtenidos se muestran en la siguiente tabla:

Prioridad 1 en fase IV
Pregunta No NA
P74 19 102 2
P75 2 98 23
P76 39 2 82
P77 3 71 49
P78 4 48 71
P79 16 39 68

Estos resultados se muestran gráficamente en la siguiente imagen:

Histograma detallado de las preguntas de prioridad 1 de la fase IV (Código fuente)

Analizando estos resultados, se puede comentar lo siguiente:

Principal - Volver al relato de las VI Jornadas