Instrumento para condução de observação social sistemática: métodos e resultados da concordância interobservadores

A systematic social observation tool: methods and results of inter-rater reliability

Instrumento para la realización de observaciones sociales sistemáticas: métodos y resultados de la adecuación entre observadores

ARTIGO ARTICLE

Instrumento para condução de observação social sistemática: métodos e resultados da concordância interobservadores

A systematic social observation tool: methods and results of inter-rater reliability

Instrumento para la realización de observaciones sociales sistemáticas: métodos y resultados de la adecuación entre observadores

Eulilian Dias de Freitas^I; Vitor Passos Camargos^I; César Coelho Xavier^I,II; Waleska Teixeira Caiaffa^I; Fernando Augusto Proietti^I,III

^IFaculdade de Medicina, Universidade Federal de Minas Gerais, Belo Horizonte, Brasil

^IIFaculdade de Saúde e Ecologia Humana, Vespasiano, Brasil

^IIICentro de Pesquisa René Rachou, Belo Horizonte, Brasil

^{Correspondência}

RESUMO

A observação social sistemática tem sido utilizada para a coleta de informações do entorno físico e social da vizinhança. Os objetivos deste artigo foram descrever a operacionalização da observação social sistemática do entorno físico e social de vizinhanças urbanas e avaliar a concordância do instrumento utilizado. O instrumento foi elaborado para coleta de informações em diferentes domínios. No total, 1.306 segmentos de rua, pertencentes a 149 diferentes vizinhanças de Belo Horizonte, Minas Gerais, Brasil, foram observados. Para o estudo de concordância, 149 segmentos foram reauditados. Para se estabelecer a concordância, foi utilizado o kappa Fleiss interobservador. A concordância média dos itens foi 0,57 (DP = 0,24); 53% tiveram concordância substancial ou quase perfeita; 20,4%, moderada. O instrumento se mostrou adequado para observação de características com maior estabilidade temporal, principalmente quanto a serviços, caracterização dos imóveis, ambiente para pedestres e segurança.

Saúde da População Urbana; Reprodutibilidade dos Testes; População Urbana

ABSTRACT

Systematic social observation has been used as a health research methodology for collecting information from the neighborhood physical and social environment. The objectives of this article were to describe the operationalization of direct observation of the physical and social environment in urban areas and to evaluate the instrument's reliability. The systematic social observation instrument was designed to collect information in several domains. A total of 1,306 street segments belonging to 149 different neighborhoods in Belo Horizonte, Minas Gerais, Brazil, were observed. For the reliability study, 149 segments (1 per neighborhood) were re-audited, and Fleiss kappa was used to access inter-rater agreement. Mean agreement was 0.57 (SD = 0.24); 53% had substantial or almost perfect agreement, and 20.4%, moderate agreement. The instrument appears to be appropriate for observing neighborhood characteristics that are not time-dependent, especially urban services, property characterization, pedestrian environment, and security.

Urban Health; Reproducibility of Results; Urban Population

RESUMEN

La observación social sistemática ha sido utilizada para recabar información del ambiente físico y social del vecindario. Este artículo tiene como objetivo describir la operacionalización de la observación social sistemática del ambiente físico y social de vecindarios urbanos y evaluar la adecuación del instrumento utilizado. El instrumento fue elaborado para realizar la recogida de información en diferentes dominios. En total, fueron observados 1.306 segmentos de calle, pertenecientes a 149 vecindarios diferentes de Belo Horizonte, Minas Gerais, Brasil. Para el estudio de la adecuación, 149 segmentos fueron revaluados y el kappa Fleiss se utilizó para acceder a la adecuación entre observadores. La adecuación promedio de los ítems fue de 0,57 (DP = 0,24); un 53% tuvieron una adecuación sustancial o casi perfecta y un 20,4% moderada. El instrumento se mostró adecuado para la observación de características con mayor estabilidad temporal, principalmente en cuanto a servicios, caracterización de los inmuebles, ambiente para peatones y seguridad.

Salud Urbana; Reproducibilidad de Resultados; Población Urbana

Introdução

Viver nas cidades foi uma relevante mudança demográfica ocorrida nos dois últimos séculos. Em 1800, apenas duas cidades, Londres (Inglaterra) e Pequim (China), tinham mais de um milhão de habitantes. Cem anos depois, existiam aproximadamente dez com esse porte. Até 1950, esse número triplicou, aumentando continuamente desde então; atualmente, existem mais de 400 cidades com mais de um milhão de habitantes ^1,2. No Brasil, a proporção da população que reside em cidades passou de 31,3% em 1940 3 para 84% em 2010 ⁴.

O viver nas cidades é, hoje, o contexto social predominante para a maioria da população mundial; entretanto, não existe ainda consenso sobre o que é o urbano. Segundo Rydin et al. ⁵, ambiente urbano é o contexto físico no qual as atividades urbanas ocorrem, incluindo a infraestrutura e a organização espacial. No Brasil, o Instituto Brasileiro de Geografia e Estatística (IBGE; http://www.ibge.gov.br/home/geociencias/cartografia/cartografia/manuakl_nocoes/elementos_representacao.html, acessado em Jan/2013) define urbana como a "área interna ao perímetro urbano de uma cidade ou vila, definida por lei municipal", sendo rural a "área de um município externa ao perímetro urbano" ^6,7.

A urbanização acelerada pode resultar em efeitos adversos ou benéficos para a saúde de seus residentes ⁷. Assim, o papel do entorno físico e social do local de moradia ou vizinhança tem sido estudado em pesquisas epidemiológicas ^8,9,10,11. Contudo, a mensuração desses atributos dentro de uma unidade de contexto, por exemplo, setor censitário ou vizinhança, ainda é pouco sistematizada, sendo metodologicamente menos aprimorada e menos desenvolvida, quando comparada à mensuração de características dos indivíduos ali aninhados ¹².

Acesso e/ou disponibilidade de serviços e equipamentos urbanos, serviços de saúde e fontes comerciais de alimentação saudável vêm sendo cada vez mais investigados como determinantes de hábitos e comportamentos ¹³. Estudos têm relatado associação entre características da vizinhança e diversos eventos relacionados à saúde ^{13,14,15,16,17,18}. Seguindo essa tendência, o IBGE incluiu no censo brasileiro de 2010 informações sobre características dos domicílios urbanos e de seu entorno. A expectativa é que os dados gerados direcionem o planejamento público e privado na próxima década ⁴.

Para determinar e quantificar o papel do entorno físico e social do local de moradia na ocorrência de eventos relacionados à saúde, é necessária uma metodologia adequada, exequível, válida e reprodutível. Pesquisadores têm utilizado prioritariamente dados secundários ou de inquéritos de autopercepção dos residentes sobre características do entorno físico e social ^19,20,21. Entretanto, fontes secundárias, geralmente coletadas para outros fins, podem apresentar nível de agregação não adequado para a questão a ser investigada. Características das vizinhanças avaliadas por meio da percepção individual podem apresentar o viés de "fonte comum" – que ocorre quando tanto a exposição de interesse quanto os eventos relacionados à saúde são obtidos do mesmo informante ²². Uma alternativa utilizada é avaliar as características do entorno físico e social por intermédio de medidas diretas, conduzidas por observadores independentes, geralmente sujeitas a menor erro de mensuração.

As primeiras tentativas de sistematizar a observação do entorno físico e social parecem ter surgido na área da sociologia e criminologia ²³. Em 1971, Reiss Jr. ²⁴ apontava a observação social sistemática da vizinhança como estratégia-chave na mensuração dos fenômenos sociais. Sendo sistemática, a coleta deve ser realizada por observadores externos, utilizando-se metodologia padronizada, que possibilite sua replicação.

Apesar do crescente interesse em incorporar informações do contexto na compreensão da distribuição dos eventos relacionados à saúde, estudos que discutam os desafios metodológicos para a elaboração de um instrumento de observação social sistemática ainda são escassos na literatura epidemiológica ^13,25. Informações sobre a seleção das áreas para observação, avaliação da concordância e validade geralmente são insuficientes ou superficialmente discutidas ²⁶.

Dentre os instrumentos existentes, poucos avaliam o entorno físico e social de forma multidimensional, sendo mais freqüente o foco em facilitadores/barreiras para atividade física ^{26,27,28,29,30}. Os domínios mais comumente incluídos são ambiente físico ^31,32,33,34, disponibilidade de locais/equipamentos para lazer e atividade física ^{26,27,28,29,30}, segurança ^31,32,33, estética ^28,29, incivilidade física ^26,28, quantidade de destinos ^27,32, características de ocupação do solo ^29,34 e tráfego de veículos ²⁹.

A unidade de estudo mais utilizada é o segmento, geralmente definido como trechos de rua entre duas esquinas 35. Recentemente, Leonard et al. 36 publicaram estudo sugerindo como unidade de estudo o imóvel, incluindo a área construída e não construída.

Os instrumentos disponíveis até o momento foram elaborados e testados em países de renda elevada, mesmo que em vizinhanças consideradas vulneráveis. Após revisão da literatura, não foram encontradas publicações científicas de instrumentos de observação social sistemática elaborados ou aplicados no Brasil e em outros países de renda média e baixa. Nesses países, a elaboração e aplicação de instrumentos para a observação social sistemática é desafiadora, já que grande parte dos municípios apresenta áreas de ocupação desordenada, com considerável proporção da população submetida à convivência com níveis elevados de violência, pobreza, injustiça e iniquidade, principalmente em áreas de "favelas".

Este artigo teve como objetivos (1) descrever a operacionalização da observação social sistemática do entorno físico e social de um ambiente urbano, potencialmente relacionados à autopercepção da saúde, atividade física, saúde mental, acesso a serviços de saúde, dentre outros, e (2) avaliar a concordância do instrumento utilizado.

Métodos

O instrumento utilizado neste artigo foi elaborado no contexto de um estudo desenvolvido pelo Observatório de Saúde Urbana de Belo Horizonte (OSUBH. http://www.medicina.ufmg.br/osubh, acessado em Nov/2010) 37,38,39,40 – vinculado à Faculdade de Medicina, Universidade Federal de Minas Gerais –, cujos objetivos globais foram conhecer as características do entorno físico e social do local de moradia de residentes de dois distritos sanitários de Belo Horizonte, Minas Gerais, Brasil, e determinar e quantificar a correlação entre tais características e a ocorrência de eventos relacionados à saúde. A área de estudo correspondeu às mesmas unidades geográficas do estudo Saúde em Beagá, inquérito de base populacional também realizado pelo OSUBH e descrito a seguir.

Estudo Saúde em Beagá

Foi delineado para investigar os determinantes sociais da saúde, caracterizar os modos e estilos de vida, assim como hábitos relacionados à saúde dos indivíduos maiores de 18 anos, e avaliar o bem-estar dos adolescentes de 11 a 17 anos residentes nos mesmos domicílios. Buscou-se, também, avaliar a percepção dos participantes quanto às características do entorno físico e social do local de moradia.

A coleta de dados foi realizada em dois dos nove distritos sanitários de Belo Horizonte: Oeste e Barreiro. Esses dois distritos sanitários somavam, à época, 531 mil habitantes – correspondendo a 22,4% da população da cidade –, aninhados em 568 setores censitários ³.

A estratégia de seleção da população elegível para o estudo e dos participantes deste foi publicada recentemente 41. Resumidamente, os dados foram coletados entre agosto de 2008 e fevereiro de 2009 por meio de instrumentos padronizados, aplicados por entrevistadores previamente treinados. Todos os participantes responderam a um questionário estruturado. A amostra final foi composta por 4.048 adultos (um adulto por domicílio) residentes em 149 setores censitários. Os domicílios de todos os participantes foram georreferenciados e sobrepostos à malha viária da cidade de Belo Horizonte, disponibilizada pela prefeitura municipal.

Instrumento de observação social sistemática

O instrumento foi elaborado para determinar e quantificar características do entorno físico e social da vizinhança potencialmente associadas a eventos relacionados à saúde, entre eles, atividade física, autopercepção da saúde, sobrepeso/ obesidade e funcionalidade. O marco teórico utilizado no desenvolvimento desse instrumento foi o da saúde urbana, proposto por Caiaffa et al. ⁶, adaptado de Galea & Vlahov ⁴². Tal modelo considera que características sociais e físicas definem o contexto urbano e são moduladas por fatores proximais e distais, operando em múltiplos níveis. Especificamente, o instrumento tem como foco as características proximais do modelo, denominadas condições de moradia (disponibilidade, diversidade e acesso a serviços; ambientes físico e social; infraestrutura e moradia).

Esse instrumento foi delineado para capturar informações do entorno físico e social nos seguintes domínios: físico, social e atividade física, caracterização dos imóveis, estético, serviços e segurança. Referenciado na literatura relevante para o tema (Tabela 1) e nas "aproximações de campo" conduzidas previamente à investigação, 215 questões foram elaboradas/adaptadas e incluídas no instrumento. A alocação das variáveis em domínios foi realizada com base na literatura e na experiência acumulada nas aproximações de campo (o instrumento completo pode ser obtido com os autores).

As questões apresentam escalas de medição variada, predominando itens dicotômicos (como a presença ou ausência de passeios), contendo, também, itens de contagem (número de árvores no segmento, por exemplo), ordinais (como qualidade da superfície das ruas e calçadas) e contínuos (por exemplo, medições da largura do passeio e altura do meio fio).

A unidade de estudo foi o segmento, exceto no domínio caracterização dos imóveis, no qual a unidade foi o imóvel. Para tanto, 50% dos imóveis de cada segmento foram amostrados de forma sistemática. As vizinhanças foram definidas agregando-se os segmentos, de acordo com as estratégias descritas a seguir.

Definição da vizinhança e amostragem

Mais de 50% dos participantes do estudo Saúde em Beagá consideravam a dimensão física de sua vizinhança "as residências mais próximas da sua, seja no seu prédio, na sua rua" (31%); "até o final deste quarteirão" (27%) e, para o restante, "além do quarteirão". Considerando-se que o quarteirão típico de Belo Horizonte tem 100m de extensão, consideramos elegíveis qualquer segmento de rua até 100m dos domicílios, ou, mais precisamente, qualquer segmento que pudesse ser alcançado, mesmo que parcialmente, caso o participante caminhasse a partir de seu domicílio por 100m em qualquer direção. Os segmentos de um mesmo setor censitário foram definidos como a vizinhança daquele setor, resultando, assim, em 149 vizinhanças (Figura 1).

Domicílios com três ou menos vizinhos entrevistados em um raio linear de 100m ao redor da residência foram considerados dispersos, ou isolados, e excluídos (n = 164), evitando-se a consequente tendência à dispersão dos segmentos. Ao final, 2.975 segmentos foram elegíveis para o estudo (média de 20,1 segmentos por vizinhança; mínimo 5; máximo 44).

Para o cálculo do tamanho da amostra, foi realizado estudo de simulação. Assumimos poder de 80% para detectar odds ratio (OR) de 1,4 entre uma resposta individual dicotômica com prevalência de 65% (por exemplo, inatividade física nos últimos três meses em participantes do estudo Saúde em Beagá) e uma característica da vizinhança com prevalência variando linearmente entre 20% e 80%. A amostra final foi composta por 1.306 segmentos, aninhados em 149 vizinhanças (média por vizinhança 8,8; mínimo 4; máximo 12). O comprimento dos segmentos variou entre 50m e 250m, com média de 100m.

A seleção dos segmentos foi realizada por amostragem sistemática. Em cada vizinhança, os mesmos foram ordenados, primeiramente, pelo nome da rua e, em seguida, pelo número do primeiro endereço em ordem crescente. O intervalo amostral variou de acordo com o número de segmentos de cada vizinhança.

O processo de definição das vizinhanças, a manipulação e a amostragem dos segmentos foram realizados com auxílio de alguns softwares: MapInfo, versão 8.5 (MapInfo Corp., Nova York, Estados Unidos), para visualização e manipulação; e Google Earth, versão 5.1.3535.3218 (Google Inc., Mountain View, Estados Unidos), para atualização e correções da malha viária. Alguns pacotes do software R, versão 2.11.0 (The R Foundation for Statistical Computing, Viena, Áustria; http://www.r-project.org) também foram utilizados: maptools, para leitura dos arquivos shape do MapInfo; sp e spatstat, para manipulação dos mapas; igraph, para determinação das vias de acesso a 100m dos entrevistados; rgooglemaps, para produção do mapa do setor censitário que auxiliou a coleta de dados. O software R foi utilizado para a amostragem de segmentos dentro de cada vizinhança.

Coleta de dados

Os dados foram coletados entre os meses de abril e junho de 2011. Os segmentos foram observados por duplas, alteradas diariamente em sua composição de forma aleatória. Cada observador preencheu uma seção do instrumento, sendo permitida a comunicação entre eles.

Estudo de concordância

Em cada vizinhança, um segmento foi aleatoriamente selecionado, de modo que 149 segmentos foram avaliados duas vezes em um período máximo de 24 horas, por duplas de observadores aleatoriamente designados. Caso um dos observadores fosse o mesmo da primeira avaliação, novo sorteio era realizado, garantindo, assim, a independência das observações.

O tamanho da amostra (n = 149), que é representativo das vizinhanças do estudo, foi definido para produzir um erro mínimo de ± 0,07 e máximo de ± 0,24, a intervalo de 95% de confiança (IC95%). Foram levados em conta cenários nos quais os valores do kappa variaram de 0 a 0,9, e a proporção de classificações positivas, pressupostas como iguais para os pares de observadores, variaram de 10% a 50% 43.

Análise dos dados

Inicialmente foram realizadas análises descritivas das 215 variáveis coletadas. Para obtenção de estimativas confiáveis da concordância do instrumento, variáveis com frequência de resposta positiva inferior a 5% foram excluídas (n = 62; 28,8%) ou agrupadas em uma nova variável, de acordo com a semelhança dos aspectos avaliados. Por exemplo, presença de parques, praças, equipamentos de atividade física, quadras esportivas, pista de caminhada, dentre outros, foram agrupados em uma única variável, considerando a presença de qualquer uma dessas características no segmento. Esse processo resultou em 98 variáveis: 95 dicotômicas, ou dicotomizadas, e três contínuas.

Para avaliar a concordância das variáveis dicotômicas/dicotomizadas entre as observações pareadas, utilizou-se o kappa Fleiss. A concordância das três variáveis contínuas foi avaliada por meio do coeficiente de correlação intraclasse (CCI) ⁴⁴. Uma vez que o kappa Fleiss pode ser interpretado como a razão da variância entre unidades de análise e a variância total, a mesma medida do CCI ⁴⁵. Por isso, os resultados de concordância de ambos os métodos serão apresentados conjuntamente.

As variáveis foram dividas em dois grupos, de acordo com a possibilidade de variação temporal. Foram consideradas não passíveis de variação temporal aquelas com estabilidade por um período de 24 horas, tempo máximo decorrido entre a primeira e a segunda observação do segmento (por exemplo, presença de postes de iluminação pública e inclinação do segmento). Variáveis que poderiam diferir no período de 24 horas (como presença de lixo e volume do tráfego de veículos) foram consideradas passíveis de variação temporal.

O instrumento foi originalmente dividido em seis domínios, descritos anteriormente. Após a exclusão e agrupamento de algumas variáveis, estas foram reorganizadas, assumindo-se, neste artigo, os seguintes novos domínios: ambiente para pedestres, serviços, ambiente físico, caracterização dos imóveis, estético, segurança, sinalização de trânsito, desordem física e social, ambiente social e ruído.

Procedeu-se a análises descritivas básicas (mínimo, máximo, média e desvio-padrão) dos valores do kappa Fleiss, apresentando-se o número de itens em cada categoria de concordância. A categorização dos valores de kappa seguiu a proposta de Landis & Koch ⁴⁶.

Todas as análises foram realizadas utilizando-se o software R, com auxílio do pacote psych para o cálculo do CCI 45. As estimativas do kappa Fleiss e respectivos intervalos de confiança foram obtidos por meio de adaptação para o R da sintaxe apresentada por Zou & Donner ⁴⁷.

Resultados

Estratégias de operacionalização da observação social sistemática

Dois manuais foram elaborados para auxiliar no treinamento e na aplicação do instrumento. O manual de conceitos incluiu informações e instruções gerais sobre o preenchimento do instrumento e rotina do trabalho de campo, bem como instruções específicas sobre as questões. O manual de fotografias incluiu, além das fotos, explicação principalmente sobre os itens que, durante as diversas aproximações de campo, geraram dúvidas de interpretação. Ao longo de cinco dias de treinamento, cada seção do instrumento foi detalhadamente explicada e, em segmentos não incluídos na amostra, foram feitas observações.

Foram selecionados, como observadores, alunos de graduação, principalmente dos cursos de engenharia civil e arquitetura, com idade média de 20 anos. Para evitar horários de maior movimento de veículos e pessoas, a coleta ocorreu entre 13h30min e 17h30min. Nos locais de vulnerabilidade elevada e muito elevada (vilas e "favelas"), de acordo com o Índice de Vulnerabilidade à Saúde ⁴⁰, considerou-se prudente a coleta no período da manhã (de 8h30min às 12h30min) e em dias específicos. Nessas áreas, a coleta teve a cooperação dos Centros de Saúde da Prefeitura Municipal de Belo Horizonte. Os pesquisadores do OSUBH, em conjunto com os gerentes dos distritos sanitários e dos centros de saúde, além dos agentes comunitários de saúde (ACS), decidiram sobre a necessidade de acompanhamento de um ACS.

Antes de iniciar o preenchimento do instrumento, os observadores identificavam o início e o fim do segmento no mapa do setor censitário e o percorriam uma vez, sem fazer anotações. Seguindo orientações do manual de campo, um dos observadores registrava imagens do segmento.

Para minimizar erros na coleta, cada instrumento foi revisado pelos supervisores, em busca de dados faltantes e inconsistências. Em adição, diariamente, pelo menos um segmento de cada dupla foi revisado, minimizando precocemente erros na coleta de informações.

Concordância do instrumento de observação social sistemática

Os resultados da concordância das variáveis foram divididos em dois grupos, segundo a possibilidade de variação temporal, e em domínios (Tabela 2). A lista completa das variáveis avaliadas, com a respectiva categorização, prevalência, valores de kappa e IC95%, pode ser obtida com os autores.

As 98 variáveis avaliadas apresentaram concordância média de 0,57 (DP = 0,24); desse total, 52 (53%) tiveram concordância substancial ou quase perfeita; 20 (20,4%), moderada; as 26 (26,6%) restantes, concordância regular ou discreta. Os domínios que apresentaram as melhores concordâncias foram serviços (média = 0,72; DP = 0,08) e caracterização dos imóveis (média = 0,70; DP = 0,12). O ambiente social (média = 0,22; DP = 0,14) apresentou a pior concordância.

Setenta e nove variáveis foram consideradas não passíveis de variação temporal e apresentaram concordância média de 0,65 (DP = 0,19). Desse total, apenas dez itens (12,7%) tiveram concordância regular ou discreta. Já a concordância média dos 19 itens passíveis de variação temporal foi de 0,24 (DP = 0,13), 16 (84,2%) dos quais apresentaram concordância regular ou discreta.

O domínio desordem física e social possui componentes tanto passíveis, quanto não passíveis de variação temporal. Internamente, a média de concordância nesse domínio foi mais alta para o grupo com maior estabilidade temporal. Variáveis de desordem física e social não passíveis de variação temporal apresentaram valores entre 0,26 e 0,77 (média = 0,53; DP = 0,26), enquanto aquelas passíveis de variação temporal ficaram entre 0,11 e 0,51 (média = 0,25; DP = 0,12).

Discussão

A observação social sistemática oferece a oportunidade de expandir a compreensão sobre quais características do entorno físico e social da vizinhança têm impacto sobre a ocorrência de eventos relacionados à saúde nas populações ali aninhadas. Este é possivelmente o primeiro instrumento no gênero aplicado no Brasil, e, para captar de forma global e detalhada contrastes entre as vizinhanças, contou com a inclusão de mais de duzentas questões, coletadas em diferentes escalas e domínios.

Os desafios para a definição da vizinhança têm sido tema recorrente na saúde urbana 12. Neste estudo, optamos por incorporar a percepção dos moradores quanto à dimensão física da vizinhança, o que consideramos um avanço no campo. Apenas um dos instrumentos referenciados relata uma proposta de definição de vizinhança não baseada em unidades administrativas ³¹.

Em consonância com outras publicações de instrumentos de observação do entorno físico e social ²⁸, o delineamento do estudo incorporou vizinhanças com características socioeconômicas e espaciais heterogêneas, típicas de áreas urbanas complexas. Acreditamos que este seja um passo importante para o entendimento da dinâmica de saúde e adoecimento em áreas mais vulneráveis, como "vilas ou favelas" tipicamente brasileiras, ainda não estudadas, utilizando-se observação direta do entorno físico e social. Potencialmente, tais informações poderão instrumentalizar ações de saúde que tenham com objetivo a redução das iniquidades.

Em estudos de concordância, a estatística kappa tem sido amplamente utilizada. Neste trabalho, os instrumentos de observação social sistemática referenciados apresentam diversidades nos domínios, escalas, processo amostral, metodologia de treinamento, coleta e análise dos dados, por isso a comparação entre instrumentos é limitada. Certamente, esta é uma limitação que ainda perpassa todos os estudos no campo da observação social sistemática.

No presente estudo, 53% das variáveis apresentaram concordância acima de 0,6, resultado semelhante ao do instrumento Pedestrian Environmental Data Scan (PEDS – 52,6%), publicado por Clifton et al. ²⁹. No instrumento The Checklist, a proporção de variáveis com concordância acima de 0,6 chegou a 66,8% 28. Ainda, 31,3% das variáveis do instrumento Systematic Pedestrian and Cycling Environmental Scan (SPACES) apresentaram valores de kappa acima de 0,75 ³¹.

As menores concordâncias dos itens passíveis de variação temporal indicam que a realização de uma única observação por segmento desses itens pode ser imprecisa, mesmo quando o objetivo é agregar a unidade de estudo. É o que ocorre, por exemplo, ao se alocar o segmento em uma unidade de contexto maior – como vizinhança, setor censitário, bairro – para gerar um indicador médio. Uma medição mais confiável e reprodutível desses itens requer a observação em mais de uma ocasião, buscando captar variações ao longo das horas, ou mesmo de dias. Ademais, a incorporação da percepção dos residentes acerca dessas características pode ser uma estratégia complementar 48. Todas essas possibilidades devem ser exploradas durante o desenvolvimento e aplicação da observação social sistemática.

A avaliação individual das variáveis evidenciou que, independentemente do domínio, itens que requerem um julgamento subjetivo (como presença de mato no passeio, em quantidade capaz de dificultar o deslocamento de pedestres; ambiente agradável para prática de atividade física) apresentaram valores de kappa abaixo de 0,40. Cunningham et al. ³³ também relataram menores concordâncias para itens considerados subjetivos pelos autores. (por exemplo, condições das fachadas) ³¹. Ainda, itens que demandam uma observação mais detalhada do ambiente (como equipamentos recreativos ou de serviços pichados) igualmente apresentaram baixa concordância.

Visando a uma abordagem mais abrangente do entorno físico e social, além das características gerais do segmento, foram coletadas informações referentes aos imóveis. Tais informações foram agrupadas no domínio caracterização dos imóveis e apresentaram a segunda maior concordância. O domínio com maior média de concordância foi serviços, igualmente dependente de observação criteriosa dos imóveis. Recentemente, Leonard et al. 36 sugeriram a inclusão de medidas de avaliação dos imóveis (como condições de conservação do imóvel e presença de lixo). Em seu estudo, encontraram maior concordância entre características dos imóveis (média = 0,91; variando de 0,66-0,99) do que da face do quarteirão (média = 0,84; variando de 0,65-0,99) e atribuíram a diferença à repetição sucessiva dessas medidas e ao menor tamanho da unidade de observação. Para os autores, dados coletados no nível dos imóveis geram resultados mais confiáveis e reprodutíveis. Entretanto, essas medidas se limitam às informações do domínio físico, não sendo adequadas para avaliação das condições das ruas, passeios e do entorno social. Portanto, entendemos como mais pertinente e metodologicamente adequado que sejam incluídas nos protocolos de observação do entorno físico social informações gerais tanto do segmento, quanto do imóvel.

O instrumento é possivelmente o primeiro instrumento brasileiro e latino-americano desenvolvido para a observação direta do entorno físico e social. Tem-se mostrado mais adequado para a observação de características com estabilidade temporal, principalmente aquelas dos domínios serviços, caracterização dos imóveis, ambiente para pedestres e segurança.

Embora 26 (26,5%) das variáveis passíveis e 10 (12,7%) das não passíveis de variação temporal tenham apresentado valores de kappa Fleiss abaixo de 0,40, esse resultado não implicou a exclusão imediata das mesmas. Essas variáveis estão relacionadas, principalmente, ao contexto social das vizinhanças e fornecem informações importantes, porém deve haver modificações em sua forma de aplicação e no treinamento dos observadores para melhorar sua concordância.

Ainda que a concordância do instrumento tenha sido determinada em diferentes contextos, não foram avaliadas possíveis diferenças de concordância de acordo com características socioeconômicas, de urbanização ou de ocupação do solo das vizinhanças. Lee et al. 30 sugerem que ambientes predominantemente comerciais, sendo mais dinâmicos e complexos, apresentem maior variabilidade e, portanto, menor concordância. O instrumento também deve ser testado em outras cidades do país, de maneira a contemplar áreas urbanas heterogêneas, com diferentes tamanhos populacionais, histórias, extensões territoriais e ocupação do espaço.

Os resultados deste primeiro artigo são encorajadores. As próximas fases de nosso estudo contemplarão a elaboração e avaliação de índices que sumarizem características da vizinhança, as quais potencialmente influenciam a ocorrência de eventos relacionados à saúde.

Colaboradores

E. D. Freitas participou na elaboração e operacionalização do instrumento; análise e interpretação dos dados; redação e revisão crítica do artigo; aprovação da versão final. V. P. Camargos contribuiu na elaboração e operacionalização do instrumento; análise e interpretação dos dados; revisão crítica do artigo; aprovação da versão final. C. C. Xavier colaborou na concepção do projeto, elaboração e operacionalização do instrumento; revisão crítica do artigo; aprovação da versão final. W. T. Caiaffa contribuiu na concepção do projeto e elaboração do instrumento; revisão crítica do artigo; aprovação da versão final. F. A. Proietti participou na concepção do projeto, elaboração e operacionalização do instrumento; interpretação dos dados; revisão crítica do artigo; aprovação da versão final.

Agradecimentos

À Secretaria Municipal de Saúde de Belo Horizonte, em especial às Gerentes dos Distritos e dos Centros de Saúde. Aos Agentes Comunitários de Saúde dos Distritos Sanitários Oeste e Barreiro. Aos professores, pesquisadores, alunos de graduação e pós-graduação, assim como aos funcionários administrativos do Observatório de Saúde Urbana de Belo Horizonte. Este estudo foi parcialmente financiado pelo CNPq, FAPEMIG e Ministério da Saúde. W. T. Caiaffa e F. A. Proietti são bolsistas de pesquisa do CNPq.

Referências

1. Satterthwaite D. Will most people live in cities? BMJ 2000; 321:1143-5.

2. Satterthwaite D. Coping with rapid urban growth. London: Royal Institution of Chartered Surveyors; 2002.

3. Instituto Brasileiro de Geografia e Estatística. Tendências demográficas: uma análise dos resultados da sinopse preliminar do censo demográfico 2000. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2001.

4. Instituto Brasileiro de Geografia e Estatística. Vou te contar: a revista do censo. http://www.censo2010.ibge.gov.br/download/revista/vtc14_web.pdf (acessado em Abr/2011).

5. Rydin Y, Bleahu A, Davies M, Dávila JD, Friel S, De Grandis G, et al. Shaping cities for health: complexity and the planning of urban environments in the 21st century. Lancet 2012; 379:2079-108.

6. Caiaffa WT, Ferreira FR, Ferreira AD, Oliveira CL, Camargos VP, Proietti FA. Saúde urbana: "a cidade é uma estranha senhora, que hoje sorri e amanhã te devora". Ciênc Saúde Coletiva 2008; 13:1785-96.

7. Vlahov D, Freudenberg N, Proietti F, Ompad D, Quinn A, Nandi V, et al. Urban as a determinant of health. J Urban Health 2007; 84(3 Suppl):i16-i26.

8. Diez Roux AV. Bringing context back into epidemiology: variables and fallacies in multilevel analysis. Am J Public Health 1998; 88:216-22.

9. Susser M, Susser E. Choosing a future for epidemiology: I. Eras and paradigms. Am J Public Health 1996; 86:668-73.

10. Susser M, Susser E. Choosing a future for epidemiology: II. From black box to Chinese boxes and eco-epidemiology. Am J Public Health 1996; 86:674-7.

11. Schwartz S, Susser E, Susser M. A future for epidemiology? Annu Rev Public Health 1999; 20:15-33.

12.Proietti FA, Oliveira CL, Ferreira FR, Ferreira AD, Caiaffa WT. Unidade de contexto e observação social sistemática em saúde: conceitos e métodos. Physis (Rio J.) 2008; 18:469-82.

13. Raudenbush SW, Sampson RJ. Ecometrics: toward a science of assessing ecological settings, with application to the systematic social observation of neighborhoods. Sociol Methodol 1999; 29:1-41.

14. Kim D, Diez Roux AV, Kiefe CI, Kawachi I, Liu K. Do neighborhood socioeconomic deprivation and low social cohesion predict coronary calcification? The CARDIA study. Am J Epidemiol 2010; 172:288-98.

15. Mair C, Diez Roux AV, Galea S. Are neighborhood characteristics associated with depressive symptoms? A review of evidence. J Epidemiol Community Health 2008; 62:940-6.

16. Kim D, Subramanian S, Kawachi I. Social capital and physical health: as systematic review of the literature. In: Kawachi I, Subramanian S, Kim D, editors. Social capital and health. New York: Springer; 2008. p. 139-90.

17. Subramanian SV, Kawachi I. Whose health is affected by income inequality? A multilevel interaction analysis of contemporaneous and lagged effects of state income inequality on individual self-rated health in the United States. Health Place 2006; 12:141-56.

18. Cohen D, Spear S, Scribner R, Kisinger P, Mason K, Wildgen J. "Broken windows" and the risk of gonorrhea. J Public Health 2000; 90:230-6.

19. Corseuil MW, Schneider IJ, Silva DA, Costa FF, Silva KS, Borges LJ, et al. Perception of environmental obstacles to commuting physical activity in Brazilian elderly. Prev Med 2011; 53:289-92.

20. Hearst MO, Pasch KE, Laska MN. Urban vs. suburban perceptions of the neighborhood food environment as correlates of adolescent food purchasing. Public Health Nutr 2011; 23:1-8.

21. Pan SY, Cameron C, DesMeules M, Morrison H, Craig CL, Jiang XH. Individual, social, environmental, and physical environmental correlates with physical activity among Canadians: a crosssectional study. BMC Public Health 2009; 9:21-34.

22. Duncan GJ, Raudenbush SW. Assessing the effects of context in studies of child and youth development. Educ Psychol 1999; 34:29-41.

23. Sampson RJ, Raudenbush SW. Systematic social observation of public spaces: a new look at disorder in urban neighborhoods. Am J Sociol 1999; 105:603-51.

24. Reiss Jr. AJ. Systematic observations of natural social phenomena. In: Costner H, editor. Sociological methodology. v. 3. San Francisco: Jossey-Bass; 1971. p. 3-33.

25. chaefer-McDaniel N, Dunn JR, Minian N, Katz D. Rethinking measurement of neighborhood in the context of health research. Soc Sci Med 2010; 71:651-6.

26. Caughy MO, O'Campo PJ, Patterson J. A brief observational measure for urban neighborhoods. Health Place 2001; 7:225-36.

27. Gauvin L, Richard L, Craig CL, Spivock M, Riva M, Forster M, et al. From walkability to active living potential: an "ecometric" validation study. Am J Prev Med 2005; 28(2 Suppl 2):126-33.

28. Hoehner CM, Ivy A, Ramirez LKB, Handy S, Brownson RC. Active neighborhood checklist: a user-friendly and reliable tool for assessing activity friendliness. Am J Health Promot 2007; 21:534-7.

29. Clifton KJ, Smith ADL, Rodriguez D. The development and testing of an audit for the pedestrian environment. Landsc Urban Plan 2007; 80:95-110.

30. Lee RE, Booth KM, Reese-Smith JY, Regan G, Howard HH. The Physical Activity Resource Assessment (PARA) instrument: evaluating features, amenities and incivilities of physical activity resources in urban neighborhoods. Int J Behav Nutr Phys Act 2005; 2:13-22.

31. Pikora TJ, Bull FCL, Jamrozik K, Knuiman M, Giles-Corti B, Donovan RJ. Developing a reliable audit instrument to measure the physical environment for physical activity. Am J Prev Med 2002; 23:187-94.

32. Williams JE, Evans M, Kirtland KA, Cavnar MM, Sharpe PA, Neet MJ, et al. Development and use of a tool for assessing sidewalk maintenance as an environmental support of physical activity. Health Promot Pract 2005; 6:81-8.

33. Cunningham GO, Michael YL, Farquhar SA, Lapidus J. Developing a reliable senior walking environmental assessment tool. Am J Prev Med 2005; 29:215-7.

34. Day K, Boarnet M, Alfonzo M, Forsyth A. The Irvine-Minnesota inventory to measure built environments: development. Am J Prev Med 2006; 30:144-52.

35. Suminski RR, Petosa RL, Stevens E. A method for observing physical activity on residential sidewalks and streets. J Urban Health 2006; 83:434-43.

36. Leonard TCM, Caughy MO, Mays JK, Murdoch JC. Systematic neighborhood observations at high spatial resolution: methodology and assessment of potential benefits. PLoS One 2011; 6:e20225-35.

37. Caiaffa WT, Nabuco AL, Friche AA, Proietti FA. Urban health and governance model in Belo Horizonte, Brazil. In: Vlahov D, Boufforf JI, Pearson C, Norris L, editors. Urban health: global perspectives. New York: John Wiley & Sons; 2010. p. 437-52.

38. Proietti FA, Caiaffa WT, Oliveira CD, Rodrigues C, Dias MAS, Matos SG. A saúde das cidades: o observatório de saúde urbana da região metropolitana de Belo Horizonte. Pensar BH. Política Social 2002; 3:33-6.

39. Proietti FA, Assunção AA, Oliveira CDL, Andrade EIG, Belisário SA, Oliveira VB, et al. Observatório de Saúde Urbana de Belo Horizonte In: Rassi Neto E, Bogus CM, organizadores. Saúde nos aglomerados urbanos: uma visão integrada. v. 3. Brasília: Organização Pan-Americana da Saúde; 2003. p. 277-95. (Série Técnica Projetos de Desenvolvimento de Sistemas e Serviços de Saúde, 3).

40. Friche AAL, Diez-Roux A, César CC, Xavier CC, Proietti FA, Caiffa WT. Assessing the psychometric and ecometric properties of neighborhood scales in developing countries: Saúde em Beagá Study, Belo Horizonte, Brazil, 2008-2009. J Urban Health 2013; 90:246-61.

41. Camargos VP, César CC, Xavier CC, Caiaffa WT, Proietti FA. Imputação múltipla e análise de casos completos em modelos de regressão logística: uma avaliação prática do impacto das perdas em covariáveis. Cad Saúde Pública 2011; 27:2299-313.

42 .Galea S, Vlahov D. Handbook of urban health: populations, methods, and practice. New York: Springer; 2005.

43. Cantor AB. Sample-size calculations for Cohen's kappa. Psychol Methods 1996; 1:150-3.

44. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull 1979; 86:420-8.

45. Kraemer HC. Ramifications of a population model for κ as a coefficient of reliability. Psychometrika 1979; 44:461-72.

46. Landis JR, Koch GG. The measurements of observer agreement for categorical data. Biometrics 1977; 33:159-74.

47. Zou G, Donner A. Confidence interval estimation of the intraclass correlation coefficient for binary outcome data. Biometrics 2004; 60:807-11.

48. Mujahid MS, Diez Roux AV, Morenoff JD, Raghunathan T. Assessing the measurement properties of neighborhood scales: from psychometrics to ecometrics. Am J Epidemiol 2007; 165:858-67.

49. Bedimo-Rung AL, Gustat J, Tompkins BJ, Rice J, Thomson J. Development of a direct observation instrument to measure environmental characteristics of parks for physical activity. J Phys Act Health 2006; 3 Suppl 1:S176-89.

50. Troped PJ, Cromley EK, Fragala MS, Melly SJ, Hasbrouck HH, Gortmaker SL, et al. Development and reliability and validity testing of an audit tool for trail/path characteristics: The Path Environment Audit Tool (PEAT). J Phys Act Health 2006; 3 Suppl 1: S158-75.

51. Brownson RC, Hoehner CM, Brennan LK, Cook RA, Elliott MB, McMullen KM. Reliability of 2 instruments for auditing the environment for physical activity. J Phys Act Health 2004; 1:191-208.

Recebido em 18/Jun/2012

Versão final reapresentada em 31/Jan/2013

Aprovado em 24/Abr/2013

ERRATA

Freitas ED, Camargos VP, Xavier CC, Caiaffa WT, Proietti FA. Instrumento para condução de observação social sistemática: métodos e resultados da concordância interobservadores. Cad Saúde Pública 2013; 29(10):2093-2104.

A revista foi informada sobre um erro no endereço do autor de correspondência (p. 2093). O endereço correto é:

The journal has been informed of an error in the corresponding author's address (p. 2093). The correct address is:

La revista fue informada sobre un error en la dirección del autor de correspondencia (p. 2093). La dirección correcta es:

Av. Alfredo Balena 190, sala 730, Belo Horizonte, MG 30130-100, Brasil.

A revista foi informada sobre um erro no texto do 4º parágrafo do subitem Análise dos Dados (p. 2098). O texto correto é:

The journal has been informed of an error in the Análise dos Dados section, 4^th paragraph (p. 2098). The correct text is:

La revista fue informada sobre un error en el ítem Análise dos Dados, 4º parráfo (p. 2098). El texto correcto es:

O instrumento foi originalmente dividido em seis domínios, descritos anteriormente. Após a exclusão e agrupamento de algumas variáveis, estas foram reorganizadas, assumindo-se, neste artigo, os seguintes novos domínios: ambiente para pedestres, serviços, ambiente físico, caracterização dos imóveis, estético, segurança, sinalização de trânsito, desordem física e social, ambiente social e ruído.

A revista foi informada sobre um erro na Tabela 2 (p. 2100). A tabela correta é:

The journal has been informed of an error in the Table 2 (p. 2100). The correct table is:

La revista fue informada sobre un error en la Tabla 2 (p. 2100). La tabla correcta es:

Clique para ampliar

Datas de Publicação

• Publicação nesta coleção
  08 Out 2013
• Data do Fascículo
  Out 2013

Histórico

• Recebido
  18 Jun 2012
• Aceito
  24 Abr 2013
• Revisado
  31 Jan 2013