Validação de instrumento para identificar ações de rastreamento e detecção de neoplasia de mama

Resumos

Objetivo:

Construir e validar um questionário para identificar as ações realizadas no rastreio e diagnóstico do câncer de mama no Brasil e determinar sua aplicabilidade.

Método:

Estudo metodológico, com participação de três especialistas e teste piloto junto a 85 usuárias de quatro serviços de saúde, com análise descritiva dos dados.

Resultados:

Das 132 questões formuladas e organizadas nas dimensões de estrutura e processo submetidas à validação, houve 96,7% e 78,8% de concordância dos avaliadores na 1ª e 2ª rodadas respectivamente. A maioria das questões foi compreendida pelos envolvidos na investigação. A ausência de registro no prontuário resultou no descarte de 40 questões, ficando 83 na versão final.

Conclusão:

O conteúdo do instrumento mostrou-se adequado para avaliar as ações para controle do câncer de mama na atenção básica. O teste piloto confirmou sua aplicabilidade e a necessidade de melhorias no registro das informações.

Neoplasia da mama/diagnóstico; Atenção primária à saúde; Avaliação em saúde; Prevenção de doenças; Estudos de validação

Objective:

To develop and validate a questionnaire to identify the actions performed in screening and detection of breast cancer in Brazil, and to determine its applicability.

Methods:

A methodological study, with the participation of three experts and a pilot test with 85 users of four primary health care services, with a descriptive data analysis.

Results:

Of the 132 questions formulated and organized in the structure and process dimensions undergoing validation, there was a 96.7% and 78.8% agreement of the evaluators in the first and second rounds, respectively. Most of the questions were understood by those involved in the investigation. The absence of the medical record resulted in the exclusion of 40 questions, resulting in 83 questions in the final version.

Conclusion:

The content of the instrument was adequate to evaluate actions to control breast cancer in primary care. The pilot test confirmed its applicability, and the need for improvements in documenting information.

Breast neoplasms/diagnosis; Primary health care; Health evaluation; Disease prevention; Validation studies

Introdução

Desde 1984, no Brasil, Programas e Políticas de Saúde Pública têm direcionado medidas para o controle do câncer de mama, porém, este agravo ainda é um problema de saúde pública, tendo em vista ser o segundo tipo de câncer mais incidente entre as mulheres.^(1,2)

Para a atenção primária as orientação de programa governamental há dez anos é: o exame clínico das mamas anual em mulheres a partir dos 40 anos; mamografia a cada dois anos e exame clínico das mamas anual a partir de 50 até 69 anos; exame clínico das mamas e mamografia anual em grupos com risco elevado a partir de 35 anos e, autoexame das mamas mensal como estratégia complementar para o conhecimento corporal.

A Organização Mundial de Saúde enfatiza que é prioritário no controle do câncer, além da implementação das ações, monitorá-las e avaliá-las continuamente para nortear a tomada de decisão frente aos recursos disponíveis.⁽³⁾ No entanto, no Brasil, apesar de ter-se instituído o programa de rastreio do câncer de mama entre 2001 a 2006, estudo realizado em 28 centros de tratamento, mostrou que o resultado do estádio da doença de 39% das 2155 mulheres acometidas por este agravo atendidas no serviço público era avançado (III e IV). Além disso, 17% destas avaliações eram inconclusivas.⁽⁴⁾ Estes dados sugerem possíveis falhas no rastreio desta doença.

A validade corresponde à precisão e ao grau com que um determinado instrumento mede o que deve medir.^(5,6) Apesar de não existir medição perfeita, este é um dos requisitos essenciais que deve conter um instrumento de coleta de dados e a desconsideração da validade de conteúdo de um instrumento pode comprometer sua acurácia e, consequentemente, produzir resultados pouco confiáveis.^(5,6) Diante do exposto, para identificar as ações realizadas para o rastreio e diagnóstico do câncer de mama no Brasil, este estudo objetivou construir e validar um questionário direcionado à usuária e determinar sua aplicabilidade.

Métodos

Trata-se de um estudo metodológico que apresenta a construção, validação de conteúdo e teste de um instrumento de coleta de dados,^(5–7) em três etapas.

Primeira etapa – construção do instrumento

1. Revisão de artigos e documentos sobre ações para o controle do câncer de mama no Brasil.

2. Seleção do referencial para elaboração do conteúdo e do modelo de avaliação: o Programa Nacional de Controle do Câncer de Mama foi adotado como referencial de construção e o modelo de avaliação foi o proposto por Donabedian.⁽⁸⁾ Este autor propõe a avaliação por meio da sistematização de atributos mensuráveis que representem a qualidade dos serviços e ou as etapas da produção (de estrutura, processo e resultado).⁽⁸⁾ A estrutura refere-se aos recursos utilizados pelo serviço na atenção à saúde e os atributos selecionados foram: disponibilidade de instalação física e de equipamentos, dimensionamento e qualificação da equipe, existência e funcionamento de recursos logísticos. O processo corresponde ao conjunto de atividades desenvolvidas entre profissionais e usuários. Para avaliá-lo considerou-se a presença e execução de fluxos e protocolos e a oferta de capacitação profissional.⁽⁸⁾

3. Definição do informante e da forma de coleta de dados: escolheu-se a usuária da unidade básica de saúde como informante por usufruir da estrutura e serviços desse nível de atenção. Visando minimizar perdas por falhas de registro ou por viés de memória, propôs-se a coleta por meio de entrevista (86 questões) e consulta ao prontuário (46 questões).

Segunda etapa – validação de conteúdo do instrumento^(5–7)

1. Escolha da técnica de validação – optou-se pela Delphi, que tem como vantagens, a eliminação da influência de interação direta, a comunicação à distância, a produção de grande quantidade de ideias de alta qualidade e especificidade, além do baixo custo na execução.

2. Seleção dos avaliadores – a validação de conteúdo pressupõe um julgamento subjetivo sobre se uma medida faz sentido intuitivamente e se refere ao grau em que um instrumento representa um domínio ou a relevância de seus itens, no entanto, a literatura menciona não existir um número ideal de juízes. Assim, por meio de amostra por conveniência, foram convidados cinco especialistas com formação na área de Mastologia, e/ou em avaliação de políticas ou programa de saúde, focados na atenção primária, dos quais somente três responderam aos questionários.

3. Análise do grau de concordância – os especialistas foram solicitados a avaliar, por meio de um instrumento, o conjunto de variáveis que consideravam importantes escolhendo uma das opções: concordo plenamente, concordo parcialmente e discordo. Os critérios adotados segundo nível de consenso dos avaliadores foram: 1 – Manter a questão quando houvesse concordância plena de todos avaliadores; 2 – Reformular quando a concordância fosse parcial ou houvesse discordância de apenas um, ou concordância plena de dois deles; 3 – Excluir a pergunta quando concordância parcial ou discordância de mais de um avaliador. As sugestões também foram consideradas, o que resultou na criação de novas questões e em alterações feitas pelas autoras, posteriormente justificadas e submetidas a julgamento dos especialistas na rodada subsequente de avaliação. Para cada rodada de validação, foi realizado o cálculo da média das proporções das questões (itens) consideradas relevantes, ou seja, as que obtiveram dos avaliadores concordância plena e/ou parcial de apenas um deles.⁽⁶⁾ Conforme alguns autores sugerem, considerou-se a concordância mínima de 70% para a validação do instrumento.⁽⁷⁾

Terceira etapa – teste da aplicabilidade do questionário realizada em duas semanas de fevereiro do ano de 2011

1. Área do estudo – das cinco regiões do município de São Paulo, selecionou-se a sudeste por ser a área campo de ensino e pesquisa da universidade. Neste território de 211,89Km² existiam 90 unidades básicas de saúde que atendiam 585.120,00 mulheres < 20 anos por mês.

2. Critérios de inclusão à amostra – unidades básicas de saúde constituída após janeiro de 2006 e usuária com idade ≥ 35 anos em seguimento por mais de três anos no serviço que assinasse o Termo de Consentimento Livre e Esclarecido.

3. Amostragem – as restrições orçamentárias e de tempo, bem como a heterogeneidade populacional e extensão da área de estudo dificultaram lis-tar as mulheres da área de estudo, conduzindo ao plano complexo de amostragem em dois estágios.⁽⁹⁾ Este tipo de amostra consiste na seleção de indivíduos pertencem a subunidades que se concentram em agrupamentos formando os conglomerados.⁽⁹⁾ Considerou-se o nível de confiança de 95%, efeito de delineamento igual a dois com erro amostral de 5%, resultando em amostra com 760 usuárias de 38 serviços. No entanto, o instrumento foi aplicado por cinco entrevistadores treinados a 85 usuárias de quatro unidades básicas de saúde, correspondendo aproximamente a 10% da amostra.

4. Avaliação da compreensão dos participantes e dificuldades em campo – realizada a análise do conteúdo dos relatos dos entrevistadores treinados, quanto às questões que eles e as usuárias consideraram de difícil compreensão, bem como dificuldades encontradas durante a coleta de dados.

5. Mensuração do tempo de aplicação do instrumento – o registro do horário de início e fim da coleta de dados no próprio instrumento permitiu calcular a média de tempo das entrevistas.

6. Cálculo de perda de dados – realizado segundo a distribuição das respostas ausentes em relação ao número de entrevistadas e prontuários pesquisados, considerando um intervalo de confiança de 95%.

   O desenvolvimento do estudo atendeu as normas nacionais e internacionais de ética em pesquisa envolvendo seres humanos.

Resultados

Da revisão de literatura, as ações direcionadas à atenção primária de saúde, do Programa de controle do câncer de mama no Brasil foram identificadas como prioritárias e selecionadas como padrão para a construção do instrumento, as apresentadas no quadro 1.

Quadro 1
Ações para controle do câncer de mama na atenção primária

Ações	Periodicidade	Indicação	Estrutura necessária
Exame clínico das mamas	Anual	Prioriza-se mulher com idade ≥ 40 anos.	Enfermeiro e ou Médico capacitados e consultórios.
Mamografia	Depende da idade	Mulher ≥ 50 anos - cada 2 anos. Mulher ≥ 35 anos com alto risco para câncer de mama - anual.	Um aparelho de mamografia 240 mil/habitantes, vagas para encaminhamento, profissionais capacitados.
Autoexame das mamas	Mensal	Autoconhecimento corporal de toda mulher. A climatérica o faz em qualquer data e as demais mulheres, uma semana após a menstruação.	Profissionais de enfermagem, médico, consultório ou sala e material educativo.
Reuniões educativas	Não mencionada	Toda mulher do grupo alvo visando à adesão às ações.	Profissionais de saúde e material educativo.
Busca ativa	Não mencionada	Priorizam-se as mulheres alvo que no fazem os exames, as faltantes e as com exames alterados.	Lista de mulheres alvo e profissionais de saúde.
Agenda da mulher	Não mencionada	Toda mulher do grupo alvo visando à adesão das ações.	Agenda da mulher e profissionais de saúde.
Sistema de informção de Mamografia (SISMAMA)	Não mencionada	Cada servidor da unidade básica de saúde e do setor de imagem preenche o formulário digital de cada mamografia realizada.	Computador com sistema operante e profissional administrativo capacitado.

As ações referidas no quadro 1 foram organizadas segundo os atributos das dimensões estrutura e processo. As variáveis referentes à estrutura foram: motivo de remarcação e de não realização da mamografia e ultrassom de mama e disponibilidade da agenda da mulher. As variáveis referentes ao processo foram: identificação de fatores de risco; execução e ensino do exame clínico das mamas; solicitação, execução e orientação da mamografia, orientação e ensino do autoexame das mamas; realização e orientação de citologia oncótica, de consulta de enfermagem e médica. No quadro 2 encontra-se o detalhamento das variáveis consideradas no estudo e seu agrupamento em nove blocos.

Quadro 2
Organização das perguntas do questionário da usuária para avaliar as ações para o controle do câncer de mama na atenção primária

	n° de questões
Blocos	Entrevista	Prontuário	Detalhamento das variáveis
Informaçóes gerais	8	0	Data da coleta, código do entrevistador, nome do entrevistador, tipo e nome da unidade básica de saúde, especificação se equipe Estratégia Saúde da Família, horário de início e fim da coleta.
Identificação da usuária	5	0	Número do prontuário, iniciais do nome, endereço, telefone e data de matrícula.
Informação da usuária	8	0	Idade, estado civil, raça, escolaridade, fonte de renda, renda familiar, plano de saúde, critério de uso do plano de saúde.
Fator de risco	7	7	História familiar de câncer de mama ou ovário, câncer de mama antes de 50 anos, câncer de mama bilateral em qualquer idade, câncer de mama masculino, câncer de ovário em qualquer idade, biópsia mamária, tipo de tumor biopsiado.
Ações gerais	9	2	Consulta médica/enfermagem nos últimos quatro anos, frequência de consultas por ano, agenda da mulher, profissional que investigou fator de risco, convocação da unidade básica de saúde para fazer mamografia ou exame clínico das mamas, participação de reunião.
Autoexame das mamas	7	8	Idade de iniciar, se menstrua, se faz autoexame das mamas, frequência, como aprendeu, quando o realiza, razão de não fazer.
Exame clínico das mamas	15	9	Indicação etária, realização pela unidade básica de saúde ou saúde complementar, ano de realização, dificuldades, quem fez a solicitção, tempo decorrido do pedido at o resultado, local de realização, alterções identificadas, condutas, razão de não fazer o exame pela unidade básica de saúde.
Mamografia	15	10
Ultrassom de mama	12	10
Total	86	46	=132

Os especialistas que participaram da validação de conteúdo do instrumento das usuárias tinham entre dez a 20 anos de experiência, dois atuavam na área de ensino e pesquisa em Saúde Pública e um na assistência e pesquisa em Mastologia.

Das 132 questões da 1ª versão do instrumento, oito referentes à identificação da UBS e do entrevistador não foram enviadas.

Na 1ª rodada, das 124 avaliadas em junho de 2010, 66,9%(83) tiveram concordância plena de três avaliadores, 29,8% (37) concordância parcial, sendo 24,2% (30) de um avaliador e 5,6% (7) de dois avaliadores e; 3,3% (4) com discordância de um avaliador, resultando em 42 questões mantidas, 61 reformuladas, 21 excluídas e onze criadas. Desta análise as 114 questões somadas a outras oito referentes à identificação, totalizaram 122 na 2ª versão.

Na 2ª rodada da validação realizada em setembro de 2010, 80 questões do total de 122 foram avaliadas, das quais, 63,8% (51) tiveram concordância plena de três avaliadores, a concordância parcial foi de 12,5% (10) de um avaliador e 2,5% (2) de dois avaliadores; 21,2% (17) com discordância de um avaliador; resultando em 47 questões mantidas, 30 reformuladas, três excluídas e cinco criadas, gerando a 3ª versão com 124 questões.

Na 1ª rodada houve 91,2% de concordância plena e/ou parcial de apenas um dos avaliadores, na 2ª rodada obteve-se 76,2% e em ambas as rodadas, a média de concordância obtida foi de 83,7%.

Após o instrumento ter sido testado em campo e analisado, identificaram-se 11 perguntas consideradas de difícil compreensão pelos entrevistadores, sendo apresentadas as seguintes justificativas e sugestões: item não foi formulado como pergunta, a razão de não realização do exame clínico das mamas independe da paciente, faltou alternativa de resposta e o espaço para descrição de alguns dados foi considerado insuficiente. Para as sete perguntas consideradas de difícil compreensão pelas entrevistadas, as justificativas e sugestões foram: modificar a forma de perguntar sobre a renda e a escolaridade, substituindo-as por número de salários mínimos e série, respectivamente; traduzir termos técnicos desconhecidos para linguagem popular (biópsia, exame clínico das mamas, ultrassom de mama, autoexame das mamas e unidade básica de saúde); o termo guia de encaminhamento do exame teve melhor compreensão do que somente encaminhamento e, a opção de resposta Dona de Casa causou desconforto.

As dificuldades referidas pela equipe de campo foram: formulário longo, com espaço reduzido para descrever o endereço e o número do prontuário; falta de um texto explicativo que elucidasse os termos de difícil compreensão; necessidade de alterar opções de resposta e de evitar repetições em perguntas com desdobramentos em subquestões.

O tempo despendido na entrevista das usuárias variou, em média, de três a 18 minutos. Na coleta de dados dos prontuários das usuárias, a má qualidade dos registros e de arquivamento resultou em baixo aproveitamento dessa fonte de informação, uma vez que das 40 das perguntas coletadas houve perda de respostas maior ou igual a 40%, sendo então excluídas. As sugestões foram acatadas e uma questão criada resultando na versão final com 83 questões (Quadro 3).

Quadro 3
Organização das questões do instrumento da usuária nas versões resultantes do processo de validação de conteúdo

1ª versão			2ª versão		3ª versão		Versão Final
Bloco e número de questões			Bloco e número de questões		Bloco e número de questões		Bloco e número de questões
Fonte - registros médicos
	Informação geral	08	Informação geral	07	Informação geral	07	Informação geral	07
	Identificação da usuária	05	Identificação da usuária	05	Identificação da usuária	05	Identificação da usuária	05
	Informação da usuária	08	Informação da usuária	08	Informação da usuária	09	Informação da usuária	09
	Fator de risco	07	Fator de risco	08	Fator de risco	08	Fator de risco	09
	Exame clínico das mamas	15	Exame clínico das mamas	11	Exame clínico das mamas	11	Exame clínico das mamas	09
	Mamografia	15	Mamografia	16	Mamografia	17	Mamografia	17
	Ultrassom de mama	12	Ultrassom de mama	14	Ultrassom de mama	14	Ultrassom de mama	14
	Autoexame de mama	09	Autoexame de mama	08	Autoexame de mama	08	Autoexame de mama	08
	Ações gerais	07	Ações gerais	05	Ações gerais	05	Ações gerais	05
	Sub-total	86	Sub-total	82	Sub-total	84	Sub-total	83
Fonte - registros médicos
	Fator de risco	07	Fator de risco	07	Fator de risco	07		0
	Exame clínico das mamas	09	Exame clínico das mamas	06	Exame clínico das mamas	06		0
	Mamografia	10	Mamografia	10	Mamografia	10		0
	Ultrassom de mama	10	Ultrassom de mama	10	Ultrassom de mama	10		0
	Autoexame de mama	08	Autoexame de mama	04	Autoexame de mama	04		0
	Ações gerais	02	Ações gerais	03	Ações gerais	03		0
	Sub-total	46	Sub-total	39	Sub-total	40	Sub-total	0
Total geral		132		122		124		83

Discussão

A conferência da acurácia da medida por meio da validação de construto, critério e/ou conteúdo de um instrumento de coleta de dados é um item considerado desejável em pesquisas científicas, além desta, a literatura também recomenda que seja mensurada a capacidade de reprodução precisa da medida por meio de outros testes denominados medida de confiabilidade ou testes psicométricos.^(5–7) Assim, outros testes de validação como o de critério e construto, bem como medidas de confiabilidade poderão ser aplicados ao instrumento de coleta de dados aqui apresentado que teve apenas o seu conteúdo validado. Há que se destacar que para obter as autorizações de pesquisa dos indivíduos e de todas as instituições envolvidas (Universidade, Avaliadores, Secretaria Municipal de Saúde, Coordenação Regional de Saúde Sudeste, Gestor da unidade básica de saúde e da usuária) muito tempo foi despendido. Além disto, à amplitude do fenômeno estudado gerou um questionário extenso, requerendo ainda mais tempo e articulação para operacionalizar sua validação (8 meses) e teste piloto (2 semanas), impossibilitando desta maneira, a mensuração de sua confiabilidade.

Mesmo assim, este estudo permitiu construir, validar o conteúdo e mensurar a aplicabilidade do questionário de avaliação das ações de rastreio do programa brasileiro de controle do câncer de mama.

Na validação de conteúdo requer-se do avaliador, além de competência na temática, disponibilidade de tempo para fazer a análise. Este último fator, provavelmente, concorreu para que apenas três dos cinco convidados participassem do estudo e demandasse um longo período de tempo para enviar suas respostas. Respaldadas na literatura que menciona não existir um número ideal de juízes,^(5–7) bem como no fato de as variáveis dos instrumentos terem sido extraídas de um programa nacional de saúde pública, previamente consensuado por especialistas, considerou-se que a avaliação realizada pelos três juízes atingiu seu objetivo, uma vez que estes consideraram que o instrumento incorporou a maior parte dos elementos essenciais do objeto de investigação.

O grau de concordância obtido para o instrumento da usuária quer seja na primeira rodada de validação, quer na segunda, demonstrou a pertinência das questões. Cabe destacar que as observações dos especialistas contribuíram para melhorar o conteúdo das questões e o agrupamento de ações.

Parte da amostra tem sido utilizada para a validação de instrumentos de coleta de dados, bem como para avaliação logística e de viabilidade de pesquisas. Desta forma, corroborando com a literatura,^(10,11) a aplicação dos instrumentos validados e os apontamentos da equipe de campo permitiram mensurar o tempo médio para coleta de dados, o grau de compreensão do conteúdo destes, e contribuíram para identificar as principais dificuldades em campo, os possíveis fatores condicionantes e os meios para contorná-los. As sugestões e comentários dos entrevistadores, quanto ao conteúdo do instrumento, auxiliou a tornar a linguagem de algumas questões acessível à população alvo.

No que diz respeito às entrevistas com as usuárias, apesar de ter sido referido pelos entrevistadores que alguns termos técnicos pareciam ser desconhecidos por elas, as baixas taxas de ausência de resposta às questões sugere que a formulação destas favoreceu a compreensão do público alvo e a economia de tempo, provavelmente associado ao treinamento ofertado, sugerindo que este modelo pode ser aplicado em amostra maior.

Em um instrumento, muitas perdas podem indicar a má formulação de determinado item ou dificuldade na coleta.^(12,13) Deve-se considerar que uma variável também pode ser investigada em um agrupamento de questões correlacionadas (subquestões) que, a depender da alternativa escolhida, poderá ocasionar a não resposta das demais. Esta situação foi verificada no presente estudo, fato que motivou a manutenção de muitas questões do instrumento, apesar de que, do ponto de vista estatístico, ter havido perdas significantes. Já em relação aos dados do prontuário das usuárias das UBS, a decisão de descartá-los deveu-se, principalmente, à ausência de registros dos profissionais e à baixa qualidade do arquivamento das informações.

Os dados perdidos geram dificuldades para a análise dos resultados das pesquisas, uma vez que a maioria desses procedimentos não foi concebida para eles. Apesar de não ser o foco principal da investigação, a perda de dados geralmente é um incômodo e manuseá-la tem sido um desafio computacional.^(12,13) Dados perdidos podem gerar dois problemas importantes, o primeiro é a diminuição do poder estatístico, ou seja, redução do poder de encontrar uma associação entre um conjunto de dados e, o segundo, seria a possibilidade de direcionar uma estimativa enviesada. Dentre as várias possibilidades de tratamentos existentes, a literatura respalda o descarte da variável que não tenha efeito importante junto ao desfecho.^(12,13)

A expansão da assistência à saúde por meio da municipalização e com foco em ações preventivas vem ocorrendo de forma gradativa desde 1988.⁽¹⁴⁾ Na cidade de São Paulo esta reorganização da rede se iniciou a partir do ano 2000 e, neste período, pesquisas que se utilizaram de dados de prontuários apontaram a má qualidade dos registros e armazenamento das informações. Após 11 anos, a mesma situação se perpetua, indicando a existência de lacunas nas consultas clínicas de médicos e enfermeiros, falhas na auditoria dos serviços e fragilidade desta fonte. O prontuário é um acervo documental em que os profissionais de saúde descrevem dados do paciente de forma padronizada, organizada e concisa. Estes registros garantem a continuidade da assistência, a segurança do profissional e da paciente. Também permitem sua utilização para o ensino e a realização de pesquisas e auditorias. A ausência ou a má elaboração de registros dificulta monitorar e avaliar as práticas em saúde, bem como conhecer necessidades, deixando, desta forma, de contribuir para melhorias na oferta de serviços públicos que atendam de forma resolutiva as necessidades da população.

A ausência de registros do prontuário demonstra que esta fonte de informação é inadequada para monitorar as práticas e requer melhorias.

Conclusão

O processo de validação resultou na adequação do conteúdo do questionário construído para mensurar as ações de rastreio, preconizadas no Programa Nacional de Controle do Câncer de Mama. Já as reduzidas perdas de dados nas entrevistas, a referência de compreensão da maioria das questões, bem como as poucas dificuldades em campo e o tempo gasto na coleta de dados, indicam que o instrumento validado é aplicável.

Agradecimentos

Agradecemos ao Conselho Nacional de Ciência e Tecnologia (CNPq) pela concessão de bolsa de produtividade em pesquisa nível 1B e à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) pela concessão de bolsa de mestrado.

Referências

• ¹
  Goss PE, Lee BL, Badovinac-Cmjevic T, Strasser-Weippl K, Chavarri-Guerra Y, St Louis J, et al. Planning cancer control in Latin America and the Caribbean. Lancet Oncol. 2013; 14(5):391–436.
• ²
  Ferlay J, Shin HR, Bray F, Forman D, Mathers C, Parkin DM. Cancer incidence and mortality worldwide: GLOBOCAN 2008. [cited 2014 Nov 21]. Available from: http://globocan.iarc.fr
  » http://globocan.iarc.fr
• ³
  World Health Organization. Prevention. Fight Against Cancer: Strategies that prevent, cure and care. Geneva: WHO; 2007. 28 p.
• ⁴
  Liedke PE, Finkelstein DM, Szmonifka J, Barrios CH, Chavarri-Guerra Y, Bines J, Vasconcelos C, Simon SD, Goss PE. Outcomes of breast cancer in Brazil related to health care coverage: a retrospective cohort study. Cancer Epidemiol Biomarkers Prev. 2014;23(1):126–33.
• ⁵
  Keeney S, Hasson F, McKenna H. Consulting the oracle: ten lessons from the Delphi Technique in nursing research. J Adv Nurs 2006;2(53):205–12.
• ⁶
  Brod M, Tesler LE, Christensen TL. Qualitative research and content validity: developing best practices based on science and experience. Qual Life Res. 2009;18(9):1263–78.
• ⁷
  Akins RB, Tolson H, Cole BR. Stability of response characteristics of a Delphi panel: application of bootstrap data expansion. BMC Med Res Method 2005;5:37.
• ⁸
  Donabedian A. The quality of care. How can it be assessed? JAMA. 1988; 260(12):1743–8.
• ⁹
  Szwarcwald CL, Damacena GN. Amostras complexas em inquéritos populacionais: planejamento e implicações na análise estatísticas dos dados. Rev Bras Epidemiol. 2008; 11(Supl 1):38–45.
• ¹⁰
  Rees C, Shepherd M. Students’ and assessors’ attitudes towards students’ self-assessment of their personal and professional behaviors. Med Educ. 2005; 39(1):30–9. Erratum in Med Educ. 2006;40(1):88.
• ¹¹
  Davis RE, Couper MP, Janz NK, Caldwell CH, Resnicow K. Interviewer effects in public health surveys. Health Educ Res. 2010;25(1):14–26.
• ¹²
  Williams R. Fitting heterogeneous choice models with olgm. Stata Journal. 2010; 10(4):540–67.
• ¹³
  Schafer JL, Graham JW. Missing data: our view of the state of the art. Psychol Methods. 2002;7(2):147–77.
• ¹⁴
  Paim J, Travassos C, Bahia CA, Macinko J. The Brazilian health system: history, advances and challenges. Lancet: Health in Brazil 1. 2011 may. DOI:10.1016/S0140-6736(11)60054-8.
  » https://doi.org/10.1016/S0140-6736(11)60054-8

• Erratum

  No artigo publicado na Acta Paul Enferm. 2015; 28(2):183-89, Marques CA, Figueiredo EN, Gutiérrez MG; “Validação de instrumento para identificar ações de rastreamento e detecção de neoplasia de mama”, os autores solicitaram publicar a seguinte errata: Incluir o instrumento, produto final, do processo de validação.
  

  
  Formulário de identificação de ações de detecção precoce do câncer de mama - Usuária
  

Datas de Publicação

• Publicação nesta coleção
  Mar-Apr 2015

Histórico

• Recebido
  28 Set 2014
• Aceito
  26 Nov 2014