Validación del Índice de Calidad Formal como modelo para la evaluación de websites: el caso de la e-Administración local portuguesa

Validation of the Formal Quality Index as a model for assessing websites: The case of the local Portuguese e-Administration

Resumen

Se presentan los resultados derivados de un análisis de contenido aplicado a los websites de los 308 municipios que componen Portugal. Pese a la denominación del método utilizado (que, eventualmente, podría dar lugar a confusión), el estudio se ha centrado, exclusivamente, en los parámetros formales de la comunicación online; es decir: en la apariencia audiovisual, la arquitectura de la información, la usabilidad, la accesibilidad y los rasgos de la Web 2.0 presentes en las sedes de la muestra. Asimismo, y como principal estrategia para el procesamiento de los datos, se creó un Índice de Calidad Formal a partir de la computación de determinados ítems del libro de códigos; procedimiento adaptado de una investigación previa y que es replicado, satisfactoriamente, en el presente estudio. Este indicador fue empleado para efectuar comparaciones interregionales, que evidenciaron diferencias estadísticamente significativas, y también fue correlacionado con factores como la población, el presupuesto, el poder adquisitivo o el desarrollo tecnológico de los municipios; todos ellos predictores del estado formal de la e-Administración local lusa.

Palabras Clave
Análisis de contenido; Diseño web; e-Administración local; Factores predictores; Índice de calidad formal; Sitios web municipales

Abstract

The results derived from a content analysis applied to websites from 308 municipalities in Portugal are discussed. Despite the name of the method (which could possibly lead to confusion), the study has exclusively focused on the formal parameters of online communication; that is, audiovisual appearance, information architecture, usability, accessibility, and features of Web 2.0 present in the websites of the sample. As the main strategy for data processing, a Formal Quality Index was created from the computation of certain items in the codebook; a procedure adapted from previous research was satisfactorily replicated in the present study. This indicator was used to make interregional comparisons, which showed statistically significant differences, and it was also correlated with factors such as population, budget, purchasing power, or technological development of municipalities; all these were predictors of the formal status of the local Portuguese e-Administration.

Keywords
Content analysis; Web design; Local e-Administration; Predictive factors; Formal Quality Index; Municipal websites

Introducción

El vertiginoso desarrollo protagonizado por las nuevas tecnologías, con la red como principal exponente, ha supuesto un enorme impacto en nuestro modo de vida. Es por ello que la producción, la gestión y el consumo de información y conocimiento son considerados aspectos capitales para el desarrollo de la sociedad y la economía productiva (Verdegem; Verleye, 2009).

En lo que al sector público y la Administración local respecta, Internet representa un potente canal de comunicación que favorece el diálogo con la ciudadanía (Gandía; Archidona, 2008). Por tanto, el gobierno electrónico ha de erigirse en una estrategia mediante la cual el Estado emplee su tecnología para ofrecer a la sociedad unas condiciones adecuadas de acceso a los servicios administrativos (Ribeiro et al., 2011), a partir de una estrategia polietápica fundamentada en varios principios: la catalogación y la transacción de información tanto a un nivel vertical como horizontal (Layne; Lee, 2001).

Gandía y Archidona (2008) señalan que las entidades locales pueden optar por una de las siguientes vías en el planteamiento de sus portales. La primera tendría que ver con una vocación ornamental, basada en la promoción de contenidos socioculturales, turísticos y, en menor medida, políticos. La segunda sería una posición informativa, fomentando la trasparencia económica y financiera de los entes. La estrategia relacional, finalmente, se focalizaría en los servicios a los habitantes, facilitando, entre otros, la obtención de certificados o el pago de tasas. Estas alternativas de posicionamiento en la red parecen no ser excluyentes entre sí. Lo que sí es innegociable es que la responsabilidad última de la Administración municipal radica en brindar al ciudadano la mejor experiencia posible de acceso al e-gobierno (Ribeiro et al., 2011); una tarea que ha de fundamentarse, entre otras cuestiones, en un correcto diseño web.

Desde un punto de vista académico, esta realidad ha captado la atención de numerosas pesquisas, centradas en aspectos como: la calidad de la información de los sitios web municipales, el perfil del personal que los gestiona, las pruebas con usuarios para medir su experiencia real, o el análisis del diseño de los portales en términos de arquitectura de la información, accesibilidad o usabilidad (Cardoso-De-Miranda; Muñoz-Cañavate, 2015). Es en esta última línea de trabajo donde se sitúa el presente estudio: en la observación de los principales parámetros en los que se basa el diseño de las sedes web de las cámaras municipales portuguesas.

Municipios en la red: identificación de estudios empíricos previos

Aunque de manera poco exhaustiva, son esbozados a continuación, y por orden cronológico, algunos estudios que han ejercido, de algún modo, como referentes del actual.

El primero de ellos es el efectuado por Torpe y Nielsen (2004), que analizan los sitios de los 275 municipios de Dinamarca gracias al empleo de una checklist, compuesta por 19 parámetros relativos a la información política, la transparencia y el diálogo con el ciudadano. A nivel analítico, efectúan comparaciones según el tamaño poblacional de los municipios y su riqueza, estableciendo que los mejor valorados son los mayores y más ricos.

Park y Gretzel (2007), por su parte, llevan a cabo un meta-análisis donde señalan los factores que posibilitan el éxito de portales turísticos, entre los que se destacan: la facilidad de uso, la apariencia visual, la calidad de la información y la interactividad. Aunque su trabajo se centre en destinos de ocio, los rasgos que proponen pueden ser igualmente aplicados a webs municipales, pues los concejos ejercen (o deben hacerlo) como promotores y dinamizadores de la industria turística local.

A escala global, Holzer, Manoharan y Van-Ryzin (2010) ilustran el papel de las sedes basándose en una muestra de 86 capitales mundiales. Aplican también una checklist formada por 100 ítems dicotómicos, divididos en 5 grupos: seguridad, usabilidad, contenido, servicio y participación ciudadana. Tras su análisis, estipulan la siguiente categorización de ciudades en cuanto a su estadio de digitalización: maduras, moderadas, mínimas y marginales. Asimismo, afirman que las maduras y moderadas; esto es, las que ostentan sitios mejor implementados, lo son por tener un Producto Interior Bruto (PIB) per cápita y un porcentaje de usuarios web superiores a las demás.

En el contexto portugués, es necesario aludir a Transparência e Integridade <http://transparencia.pt>, la asociación cívica lusa que forma parte de la red Transparency International <https://www.transparency.org> y que elabora, desde 2013, una clasificación de sitios web municipales con arreglo al Índice de Transparência Municipal (ITM).

Finalmente, resulta imperativo destacar el Índice de Presença na Internet das Câmaras Municipais Portuguesas (Soares; Amaral; Ferreira, 2017), también conocido como IPIC, y estructurado con arreglo a 4 criterios: contenido; accesibilidad, navegabilidad y facilidad de uso; servicios online; y participación. Esta iniciativa periódica nació en el año 2000 con la vocación de medir el nivel de implantación de la red en Portugal, así como el establecimiento de un ranking nacional y cotejos regionales.

Procedimientos metodológicos

Este estudio tiene como objetivo valorar los principales aspectos del diseño de los sitios web municipales de Portugal. Vinculados a éste, surgen tres más: concretar, a partir del Índice de Calidad Formal (ICF), el estado de los portales; identificar factores externos que tengan incidencia en dicho estado; y, en último lugar, efectuar comparaciones territoriales.

El método empleado ha sido el análisis de contenido, que posibilita acometer tanto el estudio de los significados como el de los significantes de cualquier artefacto comunicacional (Bardin, 1991). Según McMillan (2000), Herring (2010), o Sjøvaag y Stavelin (2012), su aplicación a ambientes web exige emprender las siguientes acciones: plantear preguntas o hipótesis; seleccionar la muestra; definir categorías de análisis; entrenar a los codificadores para que efectúen su labor que, posteriormente, es chequeada a nivel de fiabilidad; e interpretar los datos recabados. A partir de este modelo, y en sintonía con los objetivos y trabajo previo (Piñeiro-Naval; Igartua; Marañón, 2017), se plantean tres preguntas de investigación:

- PI₁: ¿Cómo están diseñados los portales de los municipios de Portugal?

- PI₂: ¿Cuál es su estado global en función del ICF?

- PI₃: ¿Se producen diferencias significativas entre localidades a raíz de las comparaciones interregionales?

Asimismo, y partiendo de los hallazgos de estudios similares (Huang, 2006; Gandía; Archidona, 2008; Gallego-Álvarez; Rodríguez-Domínguez; García-Sánchez 2010; Holzer, Manoharan; Van-Ryzin 2010; Gaule; Zilinskas, 2013), se pretende corroborar estas cuatro hipótesis:

- H₁: cuanto mayor sea la población de la localidad, mayor puntuación obtendrá su sede en lo que al ICF respecta.

- H₂: a mayor presupuesto municipal, mayor ICF logrará el portal.

- H₃: a medida que aumente el poder adquisitivo de la ciudadanía, mayor puntuación recibirá el website.

- H₄: cuanto mayor sea el desarrollo tecnológico del concejo, mejor valoración obtendrá su sede.

Para obtener los datos macroestadísticos necesarios para los cruces con el ICF, han sido consultados los directorios Web del Instituto Nacional de Estatística <http://www.ine.pt>, la Base de Dados Portugal Contemporâneo <http://www.pordata.pt> y la Direção Geral das Autarquias Locais <http://www.portalautarquico.pt>.

Muestra y categorías de análisis

Internet, un medio genuinamente anárquico, presenta retos únicos para los investigadores en lo concerniente al diseño de muestras representativas. Sin embargo, y en el caso que nos ocupa, no fue necesario seguir plan de muestreo alguno, ya que se analizó el universo de portales de los municipios que conforman el territorio portugués (n=308 websites).

El tercer paso supone la elaboración de un libro de códigos en el que se describa cómo medir cada aspecto de interés, o variable. Por tanto, el codebook está integrado por un total de 49 ítems (anexados, de forma esquemática, al final del trabajo) relativos a la apariencia audiovisual, la Arquitectura de la Información (AI), la Web 2.0, la usabilidad, la accesibilidad y la (percepción de) calidad; y que se fundamentan en otras investigaciones precedentes (Beerli; Martín, 2004; Evans-Cowley, 2006; Goodwin et al., 2011; Martínez-Rolán; Piñeiro-Otero; Baamonde-Silva, 2016; Huertas; Míguez-González; Lozano-Monterrubio, 2017; Soares; Amaral; Ferreira, 2017). En relación al estudio más semejante (Piñeiro-Naval; Igartua; Marañón, 2017) al actual, cabe afirmar que el libro de códigos ha cambiado porque la red también lo ha hecho, requiriendo una necesaria adaptación de las herramientas de pesquisa a los dinámicos entornos interactivos (Karpf, 2012).

En lo que atañe a los elementos audiovisuales, conviene aclarar que han sido examinados, exclusivamente, a partir de la página de inicio (Singh; Dalal; Spears, 2005). Por su parte, la medición de los errores de accesibilidad se completó gracias al empleo de la herramienta online TAW: Web Accessibility Tool <http://www.tawdis.net>; que, automáticamente, detecta los errores que un site comete en base a 4 parámetros: percepción, operatividad, comprensión y robustez. Esta iniciativa se basa en las Web Content Accessibility Guidelines (WCAG), propuestas por el World Wide Web Consortium (W3C). La codificación de las restantes variables fue fruto de la inspección global de los portales y la experiencia de los codificadores.

Codificación y fiabilidad

La codificación comenzó el 16 de marzo y finalizó el 8 de junio de 2017, a cargo de un equipo de dos evaluadores. Con la pretensión de uniformar las condiciones del análisis, manejaron el mismo buscador (Google Chrome), idénticos equipos informáticos y la misma conexión a Internet.

Para la fiabilidad intercodificadores fue seleccionada, aleatoriamente, una sub-muestra del 12% de los casos; a saber, n =37 sedes analizadas por ambos miembros del equipo. Esta parte nuclear del protocolo fue coordinada de tal modo que cada portal se inspeccionase simultáneamente para mitigar la volatilidad (Karlsson, 2012); un rasgo muy propio de Internet que, de no ser controlado, afectaría a la objetividad del estudio.

El estadístico utilizado para chequear la fiabilidad fue el alfa de Krippendorf, el más robusto a nivel estadístico y el que mejor se ciñe a las distintas escalas de medida y a un número fluctuante de codificadores (Hayes; Krippendorff, 2007).

En total, la fiabilidad media de las 49 variables que integran el codebook fue de Mα_k=0.84 (DT=0.14). Los ítems que comparten la menor fiabilidad son la presencia de vínculos insertos en el cuerpo de texto y su correcta visibilidad (α_k=0.48); categorías que, por tanto, han de ser interpretadas con cautela.

Índice de Calidad Formal

Antes de los resultados, es necesario aludir al Índice de Calidad Formal, un modelo propio de análisis de websites municipales empleado, de nuevo, en aras de lograr su mejora y validación. Así pues, y para disponer de un valor agregado que midiese objetivamente la calidad del diseño de los sitios (Carvalho et al., 2016), fueron computadas las siguientes variables: el indicador de elementos audiovisuales, creado a partir de la recodificación, en variables dummy, y la suma del número de fotografías, animaciones y vídeos; la señalización de palabras clave; el adecuado contraste entre la fuente y el fondo; los idiomas en que se presenta la información (portugués, inglés, francés, español, alemán y otros); la existencia de vínculos insertos en el cuerpo de texto y su correcta apertura; la presencia de enlaces a las FAQs y a los elementos propios de la Web 2.0 (blogs, microblogs, newsletters, redes sociales, plataformas de imágenes, de vídeos, foros y redes turísticas); la adecuada visibilidad del menú de contenidos; la existencia de un mapa web y un motor interno de búsqueda; y, finalmente, la uniformidad y la limpieza de la interfaz.

Todas estas variables, 25 en total, son ora dummy, ora cuantitativas con un rango de 0 a 1, motivo por el que el ICF presenta idéntico rango. Su consistencia interna es de: α_c=0.73; un valor aceptable según los baremos estipulados tanto para estudios de carácter descriptivo, “0.70”, (Hayes, 2005) como exploratorio, “0.60” (Hair Jr. et al., 2010).

Resultados

Análisis univariable

En relación al diseño de los Portales Municipales (PI₁), se muestra inicialmente la Tabla 1 con la información recabada acerca de los elementos audiovisuales presentes en las páginas de inicio.

Tabla 1
Porcentaje de elementos audiovisuales con arreglo a su número, posición y contenido.

Número de elementos audiovisuales
	No hay				De 1 a 3				De 4 a 7				De 8 a 10		Más de 10
Fotografías	14.6				31.5				34.7				9.7		9.4
Animaciones	29.5				69.8				0.6				-		-
Vídeos	68.2				28.9				2.3				0.3		0.3
Posición de los elementos audiovisuales
	No hay					Superior		Izquierda		Centro		Derecha	Inferior		No está claro
Fotografías	14.6					15.9		1.9		45.1		2.9	4.9		14.6
Animaciones	29.5					46.8		0.3		19.2		0.3	1.3		2.6
Vídeos	68.2					1.9		2.3		7.8		6.2	13.3		0.3
Contenido de los elementos audiovisuales
		No hay		Cultural		Natural		Urbano	Social				Turístico General		Político
Fotografías		14.6		17.2		18.2		5.8	26.3				1.3	4.5	12.0
Animaciones		29.5		20.5		26.3		5.8	8.1				2.9	3.9	2.9
Vídeos		68.2		16.6		7.5		0.6	4.2				0.6	0.6	1.6

• Fuente: Elaborada por los autores (2017).

Las fotografías representan el elemento visual más frecuente (85.4%), acostumbrando a figurar en el centro de la página (45.1%) y reflejando, como imágenes dominantes (Keith; Schwalbe; Silcock, 2010), los ambientes social (26.3%), natural (18.2%) y cultural (17.2%). Por otro lado, se midió la presencia de una galería fotográfica, sección efectiva en el 42.9% de los portales.

Para calibrar el cromatismo, se ha examinado el color de fondo de la página de inicio, el del menú de contenidos y el del texto informativo. Véanse, a este respecto, los porcentajes de las 12 opciones cromáticas estipuladas en la Tabla 2. El blanco hegemoniza el fondo de pantalla (93.5%), mientras que el azul (23.4%) y el gris (63.3%) predominan, respectivamente, en el menú y en el texto. En los parámetros vinculados con la AI se destacan la fuente empleada en el cuerpo de texto, que suele ser de palo seco (98.4%), y el tamaño de ésta, habitualmente mediano (65.3%). La inclusión de títulos en las páginas del sitio se produce el 91.6% de las ocasiones; la señalización de palabras clave sólo se da en el 24.0% de las sedes; la extensión de los párrafos se restringe, en el 88.3% de los casos, a un máximo de 5 líneas; el correcto contraste entre la fuente y el fondo está vigente en el 96.4% de los portales; y los idiomas usados para la redacción de la información se distribuyen de esta forma: portugués (100.0%), inglés (40.3%), español (30.8%), francés (23.4%), alemán (19.5%) y otros (18.8%). Asimismo, se ha medido la existencia de vínculos insertos en el cuerpo del texto (8.1%); la adecuada visibilidad de éstos (88.0%); su correcta apertura (90.6%); y, finalmente, la existencia de enlaces a las FAQs (17.2%).

Tabla 2
Porcentaje de cada color con arreglo a los distintos dominios de aplicación.

Colores	Dominios de aplicación
	Fondo de pantalla		Menú de contenidos		Texto informativo
Blanco	93.5		1.0		1.3
Negro	0.3		2.3		32.8
Gris	4.5		13.6		63.3
Azul	0.6		23.4		1.0
Verde	-		20.8		1.3
Rojo	-		8.4		-
Amarillo	0.3		6.2		-
Naranja	-		1.3		-
Marrón	-		1.0		-
Violeta	-		2.3		-
Rosa	-		2.9		-
Varios	0.6		16.9		0.3

• Fuente: Elaborada por los autores (2017).

Las variables acerca de la Web 2.0 arrojan los siguientes valores en relación a su presencia en los sitios: redes sociales (88.6%), newsletters (71.8%), plataformas de vídeos (56.2%), microblogs (40.9%), foros y sugerencias (35.1%), plataformas de imágenes (25.3%), blogs (4.5%) y redes turísticas (3.9%).

Los atributos asociados al funcionamiento se centran en la tipología del menú de contenidos (el 62.0% es complejo, a partir de varios subniveles interactivos que se despliegan al situar el mouse sobre ellos), su correcta identificación (en el 96.4% de los casos), y localización (el 78.2% figura en la parte superior). Se cuantificó, además, la existencia de mapa web (55.8%) y motor de búsqueda interna de contenidos (93.2%).

Para la medición de la accesibilidad, se combinaron en un sumatorio las cifras referentes a los problemas detectados por la herramienta online TAW en cuanto a: percepción (M=26.74; DT=53.82), operatividad (M=37.87; DT=44.70), comprensión (M=1.90; DT=3.01) y robustez (M=14.97; DT=26.23). Dicho sumatorio (M=81.48; DT=98.27) presenta un rango de valores que oscilan entre “2” y “825”; de modo que, gracias al cálculo de los percentiles P₂₀, P₄₀, P₆₀ y P₈₀, se pudo establecer la siguiente categorización de portales en función del grado de accesibilidad: muy bajo (120-825 errores, η=61 sitios), bajo (75-119 errores; η=64 sitios), medio (45-74 errores, η=60 sitios), alto (15-44 errores, η=61 sitios) y muy alto (2-14 errores, η=60 sitios).

Como últimos datos univariables, y a colación de la interfaz, se valoró si las sedes eran consistentes (81.8%) y limpias (80.5%); así como la calidad percibida por parte de los codificadores, medida con una escala tipo Likert de 5 puntos, desde: 1) sitio pésimo (5.5%) y 2) mediocre (36.0%), pasando por 3) correcto (46.1%) y 4) bueno (11.0%), hasta llegar a 5) óptimo (1.3%). La correlación que se produjo en cuanto al criterio de ambos codificadores fue muy elevada [r (35)=0.84; ρ<0.001], mientras que el promedio de la calidad percibida de los sites tendió a un nivel correcto: . (calidad percibida)=2.67 (DT=0.79). No obstante, cabe añadir que la prueba . de Student para una muestra reveló que esta media es significativamente inferior al punto medio teórico (valor “3’) de su escala [t (308)=-7.37; ρ<0.001].

Análisis multivariable

Como respuesta al interrogante: ¿cuál es el estado global de las sedes? (PI₂), basta con referirse al ICF. Los valores que oferece para el conjunto de la muestra son: M_ICF=0.51 (DT_ICF=0.14), y un rango que va de “0.17” a “0.87”. Por tanto, podría afirmarse que el estado general de la web municipal portuguesa alcanza el aprobado.

En la siguiente tabla (Tabla 3) pueden observarse las correlaciones entre el ICF y algunas variables macroestadísticas, así como con el Índice de Presença na Internet das Câmaras Municipais (IPIC) y la variable de este estudio sobre percepción de calidad.

Tabla 3
Relación entre las variables de cruce de los municipios y el Índice de Calidad Formal (r de Pearson).

Variable		Fuente		r		N
Número de habitantes		<http://www.ine.pt>		0.15**		306
Presupuesto		<http://www.portalautarquico.pt>		0.24***		306
Ganancias medias mensuales per cápita		<http://www.pordata.pt>		0.12*		287
Porcentaje de poder de compra per cápita		<http://www.pordata.pt>		0.14*		306
Ordenadores con acceso a I nternet en la enseñanza básica y secundaria		<http://www.pordata.pt>		0.15*		276
IPIC		Soares, Amaral y Ferreira (2017)		0.43***		306
IPIC - Criterio 2 (accesibilidad, navegabilidad y facilidad de uso)		Soares, Amaral y Ferreira (2017)		0.45***		306
Percepción de calidad del sitio		Presente estudio		0.43***		306

• ^{Nota: *}
  p≤0.05;
• ^**
  p≤0.01;
• ^***
  p≤0.001
• IPIC: Indice de Presença na Internet das Câmaras Municipais. Fuente: Elaborada por los autores (2017).

Los datos contenidos en la Tabla 3 corroboran todas las hipótesis planteadas: desde la primera (H₁), que relaciona la población con el ICF [r (306)=0.15; ρ=0.009]; la segunda (H₂), que lo vincula al presupuesto [r(306)=0.24; ρ<0.001]; la tercera (H₃), que alude al poder adquisitivo de la ciudadanía, y que puede manifestarse en dos datos: las ganancias medias mensuales [r (287)=0.12; ρ=0.035], y el porcentaje de poder de compra [r (306)=0.14; ρ=0.016]; hasta la cuarta (H₄), que habla del desarrollo tecnológico de los municipios, también asentada en varias correlaciones: el número de ordenadores con acceso a Internet [r(276)=0.15; ρ=0.014], el IPIC [r (306)=0.43; ρ<0.001], el IPIC en su criterio específico 2 [r (306)=0.45; .<0.001]; y, finalmente, la percepción de la calidad [r (306)=0.43; ρ<0.001].

En todas estas correlaciones se dan resultados estadísticamente significativos. No obstante, repárese en el siguiente análisis de regresión lineal múltiple, en el que se mide la dependencia entre el ICF y ciertas variables predictoras de la Tabla 3.

El modelo ejecutado resultó estadísticamente significativo [. (4,303)=42.33; ρ<0.001], explicando las 4 variables predictoras, en su conjunto, el 35% de la varianza (R²_ajustada=0.35). Tal y como se observa en la Tabla 4, el factor predictor que más explica el ICF es el criterio 2 del IPIC (β=0.407; ρ<0.001), seguido de la percepción de la calidad (β=0.363; ρ<0.001).

Tabla 4
Factores predictores del Índice de Calidad Formal (análisis de regresión múltiple).

Factores Predictores		Tolerancia		FIV		β
Número de habitantes del municipio		0.769		1.301		0.072
Porcentaje de poder de compra per cápita		0.782		1.279		0.054
IPIC - 2 (accesibilidad, navegabilidad y facilidad de uso)		0.981		1.019		0.407***
Percepción de la calidad		0.953		1.049		0.363***
F		42.33***
g.l.		4, 303
R (R2ajustada)		0.59 (0.35)
N		308

• ^{Nota: ***}
  p≤0.001.
• FIV: Factor de Incremento de Varianza; IPIC: Indice de Presença na Internet das Câmaras Municipais.
  Fuente: Elaborada por los autores (2017).

A nivel interregional, se ha establecido una comparación (PI₃) sustentada en la Nomenclatura de Unidades Territoriais para Fins Estatísticos (NUTS) II, un sistema jerárquico de división del territorio en 7 bloques geográficos.

A partir de los datos de la Tabla 5, y tras el análisis de la varianza (ANOVA), se percibe la existencia de diferencias significativas en lo relativo a los promedios del ICF según las regiones NUTS II [F_{ICF x NUTS} (6,301)=10.33; ρ<0.001; ɳ²=0.171]. Según la prueba post hoc T3 de Dunnett, se comprobó que las diferencias más significativas se establecen entre el Área Metropolitana de Lisboa y la Região Autónoma dos Açores [t (35)=5.45; ρ<0.001;d=1.91], cuyo tamaño del efecto es elevado (Cohen, 1988).

Tabla 5
Medias del Índice de Calidad Formal en función de las regiones NUTS II (ANOVA).

Regiones Nuts II		M ICF		DT		N
1) Norte		0.57		0.16		86
2) Centro		0.48		0.11		100
3) Alentejo		0.47		0.11		58
4) Área Metropolitana de Lisboa		0.62a		0.15		18
5) Algarve		0.49		0.09		16
6) Região Autónoma dos Açores		0.40a		0.08		19
7) Região Autónoma da Madeira		0.49		0.07		11
Total		0.51		0.14		308
F (6, 301)		10.330
p		0.001
n2		0.171

• Nota: las medias acompañadas de la letra subíndice “a” se diferencian muy significativamente (p<0.001).
  NUTS: Nomenclatura das Unidades Territoriais para Fins Estatísticos; DT: Desviación Típica.
  Fuente: Elaborada por los autores (2017).

Discusión y Conclusión

En alusión a los principales resultados, es necesario destacar que, en términos audiovisuales, los portales suelen hacer uso (en ocasiones, excesivo), de fotografías y animaciones en sus homepages, siendo los vídeos los menos empleados. A este respecto, y tras un análisis de contenido visual, podemos determinar que la imagen dominante que fomentan las localidades se basa en los entornos social, natural y cultural; a saber, construyen su identidad visual a partir de sus gentes y su patrimonio que se convierten, desde un primer contacto con la sede, en sus cartas de presentación al exterior. A nivel cromático, se suman al blanco del fondo y al gris del texto (lo cual genera una correcta legibilidad de la información) los azules y verdes del menú de contenidos; colores que nos remiten, intuitivamente, al litoral y al interior del país.

En cuanto a los idiomas, cuatro de cada diez sitios presentan sus contenidos en inglés, el idioma vehicular a nivel mundial, y tres de cada diez en español, lengua propia del país vecino y con un notable peso en la industria turística lusa. Sin duda, son datos mejorables a tenor de la capacidad de los portales locales de atraer turismo no sólo nacional, sino también internacional.

Por su parte, la presencia de rasgos característicos de la Web 2.0 sí resulta más satisfactoria, especialmente en lo que atañe a las redes sociales, las newsletters y las plataformas de vídeos, características de la mayoría de los portales. Parece, por ende, que los organismos son conscientes del rol capital que juegan estas herramientas sociales en la comunicación con sus audiencias. No en vano, el estadio de madurez en que se encuentra la Web Colaborativa difícilmente justificaría una menor implementación, por caso, de perfiles municipales en Facebook.

Al margen de los resultados obtenidos por separado en los ítems analíticos, resulta interesante reflexionar acerca del ICF. Se sabe que la calidad web es un constructo multidimensional; por tanto, se antojaba complejo elaborar un indicador agregado coherente, al tiempo que estadísticamente consistente, partiendo de la suma de variables. Además de proporcionar una nota media global de los portales, el ICF resultó útil para establecer comparaciones entre concejos. En este sentido, y como cabría esperar, es el Área Metropolitana de Lisboa la que obtiene una mejor puntuación en el estudio. ¿Y por qué cabría esperar tal hallazgo? Pues por tratarse de la región del país más poblada, rica y avanzada a nivel tecnológico. Así pues, y en sintonía con estudios precedentes, queda constatada la correlación que se produce entre indicadores como la población, el presupuesto, el poder adquisitivo y el desarrollo digital de los municipios con la calidad de sus servicios web. Incluso, ha sido propuesto un modelo explicativo a partir de la confluencia de varios factores que predicen, significativamente, el estado de los sites.

Para finalizar, y en términos metodológicos, se demuestra una vez más la utilidad del análisis de contenido para acometer la evaluación de entornos web y parámetros formales de la comunicación online. En consecuencia, el ICF, cuya réplica y consolidación se han producido satisfactoriamente respecto a investigaciones propias anteriores, puede suponer un punto de partida para que otros autores efectúen evaluaciones del diseño de sitios web, con independencia de su índole o finalidad (municipal, turística, empresarial, organizacional, mediática etc.), y arguyan su validez con propuestas empíricas similares.

Apoio

• Fundação para a Ciência e a Tecnologia de Portugal (SFRH/BPD/122402/2016).

Cómo citar este articulo/How to cite this article

• Piñeiro-Naval, V., Mangana, R., Serra, P. Validación del Índice de Calidad Formal como modelo para la evaluación de websites: el caso de la e-Administraciónlocal portuguesa. Transinformação, v. 30, n. 2, p. 153-165, 2018. http://dx.doi.org/10.1590/2318-08892018000200002

Colaboradores

• V. Piñeiro-Naval concepto y diseño del estudio, análisis e interpretación de los datos, redacción del artículo. R. Mangana recolección de los datos. P. Serra revisión de la versión final del artículo.

Anexo 1

Anexo 1 Categorías analíticas del estudio.

Bloques		Parámetros		Variables		Opciones de Respuesta
1) Identificación Unidad Análisis				1.1) Número sede web municipal 1.2) Número distrito 1.3) Número NUTS II 1.4) Código codificador 1.5) Fecha análisis		1-308 1-20 1 -7 1 = Codificador A 2 = Codificador B 16.03.2017 - 08.06.2017 0 = 0
				2.1.1) Número de fotografías, animaciones o vídeos		1 = 1-3 2 = 4-7 3 = 8-10 4 = +10 0 = No hay 1 = Parte superior 2 = Margen izquierdo 3 = Centro 4 = Margen derecho 5 = Parte inferior 9 = No se puede determinar claramente 0 = No hay 1 = Entorno cultural 2 = Entorno natural
				2.1.2) Ubicación de fotografías, animaciones o vídeos
		2.1) Elementos Audiovisuales: fotografías, animaciones y vídeos
2) Apariencia Audiovisual
				2.1.3) Contenido de fotografías, animaciones o vídeos		3 = Entorno urbano 4 = Entorno social o humano 5 = Entorno turístico 6 = Infraestructuras generales 7 = Entorno político 0 = No existe 1 = Sí existe
				2.1.4) Galería fotográfica
						1 = Blanco 2 = Negro 3 = Gris 4 = Azul 5 = Verde 6 = Rojo	7 = Amarillo 8 = Naranja 9 = Marrón 10 = Violeta 11 = Rosa 12 = Varios
				2.2.1) Fondo homepage
				2.2.2) Menú de contenidos
		2.2) Cromatismo
				2.2.3) Cuerpo de texto
				3.1.1) Fuente cuerpo de texto		1 = Palo seco 2 = Serifa 1 = Pequeña (menor que 8 puntos)
		3.1) Legibilidad de texto
				3.1.2) Tamaño de la fuente		2 = Mediana (entre 9 y 12 puntos) 3 = Grande (superior a 13 puntos) 0 = No, en ninguna página
3) AI				3.2.1) Existencia de títulos		1 = A veces, sólo en algunas páginas
				3.2.2) Señalización palabras clave		2 = Sí, en todas las páginas 0 = No existe 1 = Sí existe 1 = Cortos (hasta 5 líneas) 2 = Largos (a partir de 6 líneas) 0 = No existe 1 = Sí existe
		3.2) Facilitación de la lectura		3.2.3) Extensión de los párrafos
				3.2.4) Contraste entre la fuente y el fondo
				3.2.5) Idiomas: portugués, inglés, francés, español, alemán y otros		0 = No existe 1 = Sí existe
				3.3.1) Enlaces insertos en el cuerpo del texto		0 = No existe 1 = Sí existe 0 = No es adecuada 1 = Sí es adecuada 9 = No existen vínculos 0 = No, existen vínculos huérfanos que no conducen a la ubicación prometida 1 = Sí, se produce siempre una correcta apertura 0 = No existe 1 = Sí existe
				3.3.2) Adecuada visibilidad enlaces
		3.3) Vínculos y enlaces
				3.3.3) Correcta apertura enlaces
				3.3.4) Enlaces FAQ
				4.1) Blogs corporativos (Google Blog, Blogger, Word Press) 4.2) Micro-blogs (Twitter, Tumblr, Plurk) 4.3) RSS-newsletter 4.4) Redes sociales (Facebook, MySpace) 4.5) Plataformas de imágenes (Flirk, Instagram, Picasa) 4.6) Plataformas de vídeo (Youtube, Vimeo) 4.7) Foros y sugerencias 4.8) Redes turísticas de recomendación (Tripadvisor,, Booking) 5.1) Errores percepción 5.2) Errores operatividad 5.3) Errores comprensión 5.4) Errores robustez
4) Web 2.0						0 = No existe 1 = Sí existe
5) Accesibilidad						Valores numéricos reportados por la herramienta online TAW
						1 = Simple (presenta un único nivel de categorías principales) 2 = Complejo (presenta varios subniveles interactivos por cada categoría principal)
				6.1.1) Estructura menú de contenidos
				6.1.2) Claridad menú de contenidos		0 = No es claro ni visible
		6.1) Navegación				1 = Sí es claro y visible 1 = Parte superior
				6.1.3) Ubicación menú de contenidos		2 = Margen izquierdo 3 = Margen derecho
				6.1.4) Mapa web 6.1.5) Motor de búsqueda 6.2.1) Consistencia (uniformidad y coherencia) 6.2.2) Limpieza (sencillez y armonía)		0 = No existe 1 = Sí existe
6) Usabilidad
						0 = No existe 1 = Sí existe
		6.2) Interfaz				1 = Sitio pésimo 2 = Sitio mediocre
				6.2.3) Calidad percibida		3 = Sitio correcto 4 = Sitio bueno 5 = Sitio óptimo

Nota: NUTS: Nomenclatura das Unidades Territoriais para Fins Estatísticos; AI: Arquitectura de la Información; FAQ: Frequently Asked Questions.

Fuente: Elaborado por los autores (2017).

Referencias

• Bardin, L. El análisis de contenido Madrid: Ediciones Akal Universitaria, 1991.
• Beerli, A.; Martín, J. D. Factors influencing destination image. Annals of Tourism Research, v. 31, n. 3, p. 657-681, 2004. http://doi.org/10.1016/j.annals.2004.01.010
  » https://doi.org/10.1016/j.annals.2004.01.010
• Cardoso-De-Miranda, E. A.; Muñoz-Cañavate, A. Los sitios web como servicios de información al ciudadano: un estudio sobre los 308 ayuntamientos de Portugal. Anales de Documentación, v. 18, n. 1, p. 1-15, 2015. http://doi.org/10. 6018/analesdoc.18.1.212681
  » https://doi.org/10.6018/analesdoc.18.1.212681
• Carvalho, R. M. et al Qualidade dos sítios web da administração pública portuguesa. Revista lbérica de Sistemas e Tecnologias de Informação, n. 20, p. 78-98, 2016. http://doi.org/10.17013/risti.20.78–98
  » https://doi.org/10.17013/risti.20.78–98
• Cohen, J. Statistical power analysis for the behavioral sciences 2nd ed. Hillsdale: Lawrence Earlbaum Associates, 1988.
• Evans-Cowley, J. S. The accessibility of municipal government websites. Journal of E-Government, v. 2, n. 2, p. 75-90, 2006. http://doi.org/10.1300/J399v02n02_05
  » https://doi.org/10.1300/J399v02n02_05
• Gallego-Álvarez, I.; Rodríguez-Domínguez, L.; García-Sánchez, I. M. Are determining factors of municipal e-Government common to a Worldwide municipal view? An intra-country comparison. Government Information Quarterly, v. 27, n. 4, p. 423-430, 2010. http://doi.org/10.1016/j.giq.2009.12.011
  » https://doi.org/10.1016/j.giq.2009.12.011
• Gandía, J. L.; Archidona, M. C. Determinants of web site information by Spanish city councils. Online Information Review, v. 32, n. 1, p. 35-57, 2008. http://doi.org/10.1108/1468 4520810865976
  » https://doi.org/10.1108/14684520810865976
• Gaule, E.; Zilinskas, G. E-governance in Lithuanian municipalities: External factors analysis of the websites development. Public Policy and Administration, v. 12, n. 1, p. 80-93, 2013. http://doi.org/10.5755/j01.ppaa.12.1.3854
  » https://doi.org/10.5755/j01.ppaa.12.1.3854
• Goodwin, M. et al Global web accessibility analysis of national government portals and ministry web sites. Journal of Information Technology and Politics, v. 8, n. 1, p. 41-67, 2011. http://doi.org/10.1080/19331681.2010.508011
  » https://doi.org/10.1080/19331681.2010.508011
• Hair, J. F. et al. Multivariate data analysis 7nd ed. Upper Saddle River: Pearson Prentice Hall, 2010.
• Hayes, A. F. Statistical methods for communication science Mahwah: Lawrence Erlbaum Associates, 2005.
• Hayes, A. F.; Krippendorff, K. Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, v. 1, n. 1, p. 77-89, 2007. http://doi.org/10.10 80/19312450709336664
  » https://doi.org/10.1080/19312450709336664
• Herring, S. C. Web Content Analysis: Expanding the Paradigm. In: Hunsinger, J.; Klastrup, L.; Allen, M. (Ed.). International Handbook of Internet Research Netherlands: Springer, 2010. p. 233-249. http://doi.org/10.1007/978-1-4020-9789-8_14
  » https://doi.org/10.1007/978-1-4020-9789-8_14
• Holzer, M.; Manoharan, A.; Van-Ryzin, G. Global cities on the Web: An empirical typology of municipal websites. International Public Management Review, v. 11, n. 3, p. 104-121, 2010.
• Huang, Z. E-Government practices at local levels: An analysis of U.S. counties’ websites. Issues in Information Systems, v. 7, n. 2, p. 165-170, 2006.
• Huertas, A.; Míguez-González, M. I.; Lozano-Monterrubio, N. YouTube usage by Spanish tourist destinations as a tool to communicate their identities and brands. Journal of Brand Management, v. 24, n. 3, p. 211-229, 2017. http://doi.org/10.10 57/s41262-017-0031-y
  » https://doi.org/10.1057/s41262-017-0031-y
• Karlsson, M. Charting the liquidity of online news: Moving towards a method for content analysis of online news. International Communication Gazette, v. 74, n. 4, p. 385-402, 2012. http://doi.org/10.1177/1748048512439823
  » https://doi.org/10.1177/1748048512439823
• Karpf, D. Social science research methods in Internet time. Information, Communication and Society, v. 15, n. 5, p. 639-661, 2012. http://doi.org/10.1080/1369118X.2012.665468
  » https://doi.org/10.1080/1369118X.2012.665468
• Keith, S.; Schwalbe, C. B.; Silcock, B. W. Comparing war images across media platforms: methodological challenges for content analysis. Media, War and Conflict, v. 3, n. 1, p. 87-98, 2010. http://doi.org/10.1177/1750635210353676
  » https://doi.org/10.1177/1750635210353676
• Layne, K.; Lee, J. Developing fully functional E-government: A four stage model. Government Information Quarterly, v. 18, n. 2, p. 122-136, 2001. http://doi.org/10.1016/S0740-624X (01)00066-1
  » https://doi.org/10.1016/S0740-624X(01)00066-1
• Martínez-Rolán, X.; Piñeiro-Otero, T.; Baamonde-Silva, X. M. El desafío de la transparencia en la comunicación digital. Un estudio de caso sobre las webs municipales de Galicia y Norte de Portugal. Observatorio (OBS*) Journal, v. 10, n. 4, p. 35-55, 2016.
• McMillan, S. J. The microscope and the moving target: The challenge of applying content analysis to the World Wide Web. Journalism and Mass Communication Quarterly, v. 77, n. 1, p. 80-98, 2000. http://doi.org/10.1177/107769900007700107
  » https://doi.org/10.1177/107769900007700107
• Park, Y. A.; Gretzel, U. Success factors for destination marketing web sites: A qualitative meta-analysis. Journal of Travel Research, v. 46, n. 1, p. 46-63, 2007. http://doi.org/10.1177/0047287507302381
  » https://doi.org/10.1177/0047287507302381
• Piñeiro-Naval, V.; Igartua, J. J.; Marañón, F. El diseño de las sedes web municipales de España. Una propuesta metodológica para su análisis. Revista Española de Documentación Científica, v. 40, n. 1, e164, 2017. http://doi.org/10.3989/redc.2017.1.1368
  » https://doi.org/10.3989/redc.2017.1.1368
• Ribeiro, C. P. P. et al Difusão da informação na administração pública. TransInformação, v. 23, n. 2, p. 159-171, 2011. http://doi.org/10.1590/S0103-37862011000200006
  » https://doi.org/10.1590/S0103-37862011000200006
• Singh, S. N.; Dalal, N.; Spears, N. Understanding Web home page perception. European Journal of Information Systems, v. 14, n. 3, p. 288-302, 2005. http://doi.org/10.1057/palgrave.ejis.3000525
  » https://doi.org/10.1057/palgrave.ejis.3000525
• Sjøvaag, H.; Stavelin, E. Web media and the quantitative content analysis: Methodological challenges in measuring online news content. Convergence. The International Journal of Research into New Media Technologies, v. 18, n. 2, p. 215-229, 2012. http://doi.org/10.1177/1354856511429641
  » https://doi.org/10.1177/1354856511429641
• Soares, D. S; Amaral, L.; Ferreira, L. M. Presença na Internet das Câmaras Municipais Portuguesas em 2016: estudo sobre Local e-Government em Portugal. Guimarães: Universidade do Minho, 2017.
• Torpe, L.; Nielsen, J. Digital Communication between local authorities and citizens in Denmark. Local Government Studies, v. 30, n. 2, p. 230-244, 2004. http://doi.org/10.1080/03 00393042000267254
  » https://doi.org/10.1080/0300393042000267254
• Verdegem, P.; Verleye, G. User-centered E-Government in practice: A comprehensive model for measuring user satisfaction. Government Information Quarterly, v. 26, n. 3, p. 487-97, 2009. http://doi.org/10.1016/j.giq.2009.03.005
  » https://doi.org/10.1016/j.giq.2009.03.005

Fechas de Publicación

• Publicación en esta colección
  May-Aug 2018

Histórico

• Recibido
  25 Jul 2017
• Revisado
  09 Oct 2017
• Acepto
  18 Oct 2017