Estudo de fidedignidade inter-avaliadores de uma escala para a avaliação da interação mãe-bebê

Estudio de confiabilidad inter-evaluadores de una escala para la evaluación de la interacción madre-bebé

An inter-rater reliability study of a scale to assess mother-infant interaction

Resumos

OBJETIVO: Realizar um estudo de concordância entre examinadores da versão adaptada de uma escala para a avaliação de interação mãe-bebê (Brown e colaboradores - 1975) MÉTODO: Quatorze puérperas e seus recém-nascidos participaram deste estudo. As observações, que duravam quinze minutos, foram filmadas na maternidade no segundo dia após o nascimento do bebê, durante a amamentação. Num momento sucessivo e isoladamente, dois avaliadores atribuíram escores para cada item de interação estabelecida entre a mãe e o recém nascido. Para tal fim, foi utilizada e submetida ao estudo de fidedignidade uma versão adaptada da escala de Brown e colaboradores.³ (1975). RESULTADOS: Nove entre os dez itens pertencentes à escala adaptada do estudo de Brown e colaboradores³ (1975) revelaram uma concordância excelente, o coeficiente Kappa acima de 0,85. O único item que apresentou uma concordância moderada (K= 0,59) foi 'mãe segura o bebê'.Os resultados obtidos indicam a estabilidade da escala adaptada e aplicada em ambiente hospitalar destinado às mães de baixa renda. CONCLUSÕES: Os dados trazidos por este estudo indicam que a utilização das categorias é um parâmetro fidedigno na avaliação da interação mãe-bebê.

Fidedignidade; escala; mãe; bebê; interação

ARTIGO ORIGINAL

Estudo de fidedignidade inter-avaliadores de uma escala para a avaliação da interação mãe-bebê

An inter-rater reliability study of a scale to assess mother-infant interaction

Estudio de confiabilidad inter-evaluadores de una escala para la evaluación de la interacción madre-bebé

Anne Lise Sandoval Silveira Scappaticci^I; Eduardo Iacoponi^II; Sérgio L. Blay^III

^IDoutoranda do Departamento de Psiquiatria da Universidade Federal de São Paulo/ Escola Paulista de Medicina (UNIFESP EPM), São Paulo, SP, Brasil

^IIHonorary Lecturer, Health Services Research Department. Institute of Psychiatry. London

^IIIProfessor Adjunto do Departamento de Psiquiatria da Universidade Federal de São Paulo/ Escola Paulista de Medicina (UNIFESP EPM), São Paulo, SP, Brasil

^{Endereço para correspondência}

RESUMO

OBJETIVO: Realizar um estudo de concordância entre examinadores da versão adaptada de uma escala para a avaliação de interação mãe-bebê (Brown e colaboradores - 1975)

MÉTODO: Quatorze puérperas e seus recém-nascidos participaram deste estudo. As observações, que duravam quinze minutos, foram filmadas na maternidade no segundo dia após o nascimento do bebê, durante a amamentação. Num momento sucessivo e isoladamente, dois avaliadores atribuíram escores para cada item de interação estabelecida entre a mãe e o recém nascido. Para tal fim, foi utilizada e submetida ao estudo de fidedignidade uma versão adaptada da escala de Brown e colaboradores.³ (1975).

RESULTADOS: Nove entre os dez itens pertencentes à escala adaptada do estudo de Brown e colaboradores³ (1975) revelaram uma concordância excelente, o coeficiente Kappa acima de 0,85. O único item que apresentou uma concordância moderada (K= 0,59) foi 'mãe segura o bebê'.Os resultados obtidos indicam a estabilidade da escala adaptada e aplicada em ambiente hospitalar destinado às mães de baixa renda.

CONCLUSÕES: Os dados trazidos por este estudo indicam que a utilização das categorias é um parâmetro fidedigno na avaliação da interação mãe-bebê.

Descritores: Fidedignidade, escala, mãe, bebê, interação.

ABSTRACT

OBJECTIVE: To develop a study to assess the inter-rater reliability of a modified version of Brown's scale designed to investigate early mother-child interaction.

METHOD: Fourteen postpartum women and their newborn babies took part in this study.

The tape-recorded observations lasted 15 minutes, and they were performed on the second day after birth, during breast-feeding.

In a successive and isolated moment, two evaluators scored each item of the interaction established between the mother and the newborn. In order to do so, a modified version of the scale of Brown and collaborators (1975), was used and submitted to a reliability study.

RESULTS: Nine out of ten items of the modified scale revealed an excellent inter-rater agreement: The Kappa coefficient was 0.85 or higher. Only one item showed a moderate degree of agreement = 0.59, concerning "mother holds the baby." The results show that the modified scale is stable if used in a hospital setting for low-income mothers.

CONCLUSIONS: The conclusion of this study indicates that categories are a reliable parameter to evaluate mother-baby interaction.

Keywords: Reliability, scale, mother, baby, interaction.

RESUMEN

OBJETIVO: Realizar un estudio de concordancia entre examinadores de la versión adaptada de una escala para la evaluación de la interacción madre-bebé (Brown y colaboradores - 1975).

MÉTODO: catorce parturientas y sus recién nacidos participaron de este estudio. Las observaciones, que duraban quince minutos, fueron filmadas en la maternidad en el segundo día después del nacimiento del bebé, durante la amamentación. En un momento sucesivo e isoladamente, dos evaluadores atribuyeron escores para cada iten de interacción establecida entre la madre y el recién nacido. Para tal fin, fue utilizada y submetida al estudio de confiabilidad una versión adaptada de la escala de Browun y colaboradores (1975).

RESULTADOS: nueve entre diez itens pertenecientes a la escala adaptada del estudio de Brown y colaboradores (1975) revelaron una concordancia excelente, el coeficiente Kappa arriba de 0,85. El único iten que presentó una concordancia moderada (K=0,59) fue "madre agarra el bebé" . Los resultados obtenidos indican la estabilidad de la escala adaptada y aplicada en ambiente hospitalar destinado a las madres de baja renta.

CONCLUSIONES: los datos resultantes de este estudio indican que la utilización de las categorías es un parámetro fidedigno en la evaluación de la interacción madre-bebé.

Palabras-clave: Confiabilidad, escala, madre, bebé, interacción.

INTRODUÇÃO

Embora muitos autores preconizem a importância da investigação científica acerca da complexa interação que se estabelece logo após o nascimento entre a puérpera e o recém-nascido, poucos são os estudos que desenvolveram métodos de registro objetivo com o intuito de estudar esta interação. Mais ainda, escassos são os instrumentos submetidos a estudo de fidedignidade e de validade que permitam a sua aplicação no nosso meio.

O método de investigação elaborado por Daniel Stern¹² e colaboradores. (1977) através da análise - segundo após segundo - da interação mãe-bebê, assim como a compreensão dos comportamentos intrínsecos da interação como atos comunicativos, inspirou várias pesquisas. O termo "dyadic states" traduz a preocupação deste âmbito de pesquisa, que preconiza que a observação sistemática do "diálogo" comunicativo que se estabelece, logo nos primeiros dias de vida, entre a puérpera e o recém-nascido, contribua com uma visão mais objetiva de fenômenos complexos do que a mensuração de comportamentos isolados.

Questionando o caráter de objetividade das escalas de avaliação da interação mãe - recém nascido, um grupo de pesquisadores da universidade de Geórgia^3-5 resolveu desenvolver um método que aproximasse a observação sistemática, objetiva e específica à propriedade de generalização das escalas de avaliação. Buscando um valor preditivo através da microanálise do diálogo comportamental que se instaura entre a dupla mãe-bebê, estes autores elaboraram códigos relativos a sessenta comportamentos da mãe e quarenta do recém-nascido. Estes estudos foram conduzidos na maternidade Grady Memorial Hospital em Atlanta em 1975 e tinham como objetivo: primeiro, elaborar técnicas de registro objetivo dos comportamentos que vão se estabelecendo entre a parceria; segundo, descrever esta parceria e examinar os efeitos que outras variáveis como sexo, peso - bebês prematuros X a termo, ordem do nascimento do bebê, pudessem surtir nesta interação. O registro da interação mãe-bebê ocorreu durante a amamentação, no segundo dia após o nascimento da criança. As observações foram feitas no quarto da maternidade, por um observador que anotava os comportamentos da mãe, enquanto um outro se ocupava em registrar os comportamentos do bebê.

A cada sessão os dois observadores utilizavam um catálogo pré-definido de códigos que chegou variar de cem a 120 diferentes comportamentos. Estes eram registrados com o auxílio de um aparelho eletrônico (Datamyte).

Estes autores realizaram posteriormente, alguns controles longitudinais com o intuito de verificar a conseqüência da interação precoce mãe-bebê no desenvolvimento social e mental destas crianças com três anos de vida e com a finalidade de comparar um grupo de bebês prematuros com outro a termo⁵. Os pesquisadores, em seguida, agruparam os itens mais expressivos dos códigos, elaborando grandes categorias do comportamento da mãe e da criança com o intuito de estabelecer comparações e conduzir o estudo de fidedignidade.

Embora a utilização da grade de categorias tenha sido útil para a obtenção de parte dos resultados, a utilização dos códigos para captar o valor preditivo do diálogo comportamental que se estabelece na interação entre a mãe e o recém nascido não teve o mesmo êxito. Algumas hipóteses foram então aventadas pelos autores⁵: a primeira é a falha de capacidade preditiva da análise da comunicação precoce, assim o período pós-parto deveria ser considerado mais como adaptativo do que como 'sensível'. A segunda hipótese residiria na escolha da situação de amamentação que, por ser específica, reservaria um território escasso para a avaliação das diferenças e a terceira, seria que a interação precoce teria efeitos dificilmente diagnosticados em amostras pequenas como as analisadas.

Finalmente, outras razões que desmotivam a utilização dos códigos são: o treino dos aplicadores de um extenso sistema de códigos para a microanálise dos comportamentos que compõem a interação mãe-bebê pode ser dispendioso, assim como a presença dos observadores no quarto da puérpera para a anotação dos comportamentos pode ser sentida pela mãe como invasiva.

Uma listagem de categorias mais gerais da interação mãe-recém-nascido foi realizada e publicada para proceder ao estudo de fidedignidade³. Este instrumento é composto por dez itens subdivididos em seis itens relativos às categorias interativas da mãe e quatro itens relativos às categorias comportamentais interativas do recém-nascido. Os itens referentes à mãe são: um. Segura o bebê (embala, segura no colo, no ombro), 2. Oferece o seio ao bebê (toca ou estimula, insere o seio na boca), 3. Mãe estimula o bebê (esfrega, acaricia ou afaga, toca, beija, balança), 4. Cuida do bebê (limpa o leite, verifica ou troca as fraldas, arruma as cobertas), 5. Olha para o bebê, 6. Vocaliza (remete sons não verbais, conversa, canta). Os itens relativos ao bebê são: 1. Adere ao seio, 2. Ativo (participa com movimentos, aperta as mãos), 3. Permanece de olhos abertos, 4. Vocaliza (geme, chora, soluça, espirra, emite outras vocalizações).

Brown e seus colaboradores realizaram o estudo de fidedignidade durante o projeto piloto no qual foram observados vinte e três pares de mães com seus bebês. O índice de concordância obtido, relativo ao escore total, foi excelente, para a fidedignidade entre os observadores da mãe 81% (DP = 3) e do bebê 96 % (DP = 1). O procedimento estatístico para obter o cálculo da fidedignidade foi a divisão do número de concordâncias pela soma do número de concordâncias mais discordâncias. Duas definições foram utilizadas para o número de discordâncias: na primeira, o número de omissões não foi computado como discordância, na segunda, o número de omissões foi computado como discordância resultando, portanto, num número de concordância menor (reportado entre parênteses na tabela 3). Estes resultados estão ilustrados pela tabela 3. Entretanto, o cálculo estatístico do estudo original pode ser examinado com maior detalhe em outra referência³.

Por tratar-se de uma escala composta por categorias de comportamentos observáveis que constituem a interação mãe-bebê, tais medidas possuem evidente validade de Face. Desta forma, priorizou-se nessa investigação o estudo de fidedignidade do instrumento.

Devido aos motivos citados acima e por tratar-se de um instrumento de fácil aplicação, capaz de fornecer um registro minucioso das inter-relações entre a mãe e o bebê que se estabelecem logo nos primeiros dias de vida, pretendemos aprofundar o estudo psicométrico da grade de grandes categorias elaborada por Brown e colaboradores³ (1975). Realizamos assim uma adaptação dos códigos utilizando a versão das categorias publicadas em 1975 como uma escala para ser usada em nosso contexto. Dada a inexistência de informações a respeito de outros estudos de fidedignidade em nosso meio, essa pesquisa tem como objetivo preencher essa lacuna realizando um estudo de concordância entre examinadores da versão brasileira do instrumento.

MÉTODO

A adaptação da escala de Brown³ e colaboradoras (1975)

A grade de categorias (tabela 1) foi traduzida para o português por uma tradutora juramentada e bilingüe⁶ (tendo vivido pelo menos um ano em cada país, possuindo entendimento dos diferentes significados das palavras em ambas as línguas dentro de um contexto bicultural). A versão em português foi retraduzida para o inglês, por outro tradutor. A pesquisadora efetuou um controle minucioso de cada um dos itens da escala para verificar se a tradução correspondia ao significado atribuído pelos autores às interações mãe-bebê.

Mensuração das interações

No período total de quinze minutos, o examinador deveria indicar um ponto, numa escala contínua, correspondente à avaliação clínica da intensidade e duração da interação específica que estava sendo observada, como, por exemplo: 'mãe segura o bebê', ou ainda, 'mãe vocaliza para o bebê' e assim por diante para cada um dos itens. O modelo da escala foi obtido a partir de uma avaliação de comportamentos¹⁵. A escala variava de zero a dez centímetros, e um escore total era atribuído medindo-se com uma regra a distância do ponto zero até o anotado. A medida obtida em centímetros era então transformada no escore definitivo da interação que poderia variar do valor zero, significando nenhuma interação, até cem, correspondendo à máxima duração e intensidade da interação.

Procedimento

As mães que deram a luz no segundo semestre de 1998, cujas condições clínicas possibilitavam a permanência na ala de parto normal da Casa do Amparo Maternal na zona sul de São Paulo, foram os sujeitos deste estudo. As puérperas foram abordadas pelo pesquisador seguindo um critério aleatório, através do sorteio pelo número dos leitos. A amostra constuiu-se por quatorze pares de puérperas e seus bebês. Para uma análise de dados dicotômicos, uma amostra maior ou igual a oito sujeitos foi selecionada⁶. Assim, optou-se por quatorze puérperas por corresponder ao número da amostra adotado no estudo original de Brown³.

As candidatas que assinaram o termo de consentimento pós-informação foram filmadas por quinze minutos enquanto amamentavam, durante o segundo dia sucessivo ao parto. As observações foram gravadas por uma filmadora portátil Vídeomovie GR-30 com um tripé fixo e tinham início quando a mãe comunicava ao pesquisador sua disponibilidade para iniciar a amamentar. O pesquisador deixava o quarto após ter colocado a filmadora sempre na mesma posição.

Após a filmagem, as interações mãe-bebê foram catalogadas por cada um dos pesquisadores isoladamente, em ambiente externo à maternidade, com o propósito de padronizar a observação da interação mãe-bebê e de realizar a atribuição dos escores.

Dois psicólogos foram treinados previamente para atribuir os escores. Este treinamento foi feito durante o projeto piloto, utilizando cinco sujeitos que não participaram da amostra. Durante o estudo, os pesquisadores viram os vídeos separadamente e atribuíram os escores relativos às interações mãe-bebê.

Cada item da grade foi observado em diversas sessões utilizando o recurso do vídeo. A atribuição dos escores entre juizes era padronizada e se dava da seguinte maneira: 1) avaliava-se um item de cada vez; 2) para tal finalidade, assistia-se aos quinze minutos de filmagem quantas vezes fossem necessárias na atribuição do escore do item em questão para depois passar ao item seguinte.

Análise dos dados

A interação mãe-criança foi tratada de forma categórica. Para tanto, arbitrou-se pela divisão das interações observadas em dois subgrupos, utilizando a mediana de cada uma das áreas como ponto de corte¹¹. Foi feita uma divisão em duas categorias: valores inferiores ou iguais ao valor da mediana foram considerados como 'interação de menor intensidade', enquanto valores superiores ao valor da mediana foram denominados 'interações de maior intensidade'.

Por tratar-se de variáveis dicotômicas avaliadas por dois juizes, o coeficiente Kappa² foi escolhido como medida de fidedignidade.

O coeficiente Kappa pode variar de 1 a -1, indicando concordância ou discordância completa, e o valor 0 indica um valor de concordância igual ao acaso. Para uma interpretação dos valores Kappa, foi utilizada as faixas de valores elaboradas por Landis & Koch⁸ (1977). Esses autores sugerem que os valores acima de 0,75 representam concordância excelente, valores abaixo de 0,40 uma concordância pobre e os valores entre 0,40 e 0,75 representariam uma concordância de suficiente a boa. O cálculo do coeficiente Kappa e os respectivos intervalos de confiança foram calculados segundo as fórmulas apresentadas por Barko & Carpenter² (1975).

RESULTADOS

Descrição da amostra

A amostra foi constituída por quatorze puérperas e seus recém-nascidos que freqüentaram a ala do parto normal de uma maternidade da zona sul da cidade de São Paulo. Estes sujeitos provinham das mais diversas zonas da grande metrópole, e a soma do ganho de cada núcleo familiar oscilou de zero a três salários mínimos (média = 1 salário mínimo, DP = 1,2).

A idade do grupo variou entre dezesseis e trinta anos (média = 21 e DP = 5). Metade do grupo foi constituída por mães adolescentes, enquanto a outra metade por mães adultas, segundo o critério estabelecido pela Organização Mundial de Saúde⁹ (OMS, 1977) que estipula a idade limítrofe de até dezenove anos completos para a faixa etária relativa à adolescência.

Em relação ao estado civil, 8 das puérperas (57%) eram casadas ou juntadas, 5 eram solteiras (35%) e apenas uma, separada (7%). Destas, 86% das mulheres adultas são casadas e 71% das mães adolescentes, solteiras.

A maior parte do grupo sabe ler e escrever e possui um nível de escolaridade semelhante: 11 sujeitos possuem um nível secundário incompleto (78,6%), 2 primário incompleto (14,3%) e apenas uma superior (7%). Quanto à profissão, 6 mulheres são donas de casa (43%), 4 possuem outras profissões (28,6%), 3 trabalham com auxiliar de escritório (21,2%), uma está desempregada (7%) e uma é estudante (7%).

A grande maioria (92,3%) não planejou a gravidez. A amostra era constituída por metade das mães primíparas e metade das mães multíparas.

Estudo de fidedignidade

No estudo de fidedignidade da grade de categorias interativas, dos dez itens observados na escala apenas um deles, mãe segura o bebê, revelou uma concordância moderada (k = 0,59), enquanto todos os outros itens apresentaram o coeficiente Kappa acima de 0,85 considerado excelente. Os valores obtidos estão anotados na Tabela 2.

DISCUSSÃO

É necessário avaliar se um instrumento realmente está mensurando o que se propõe de maneira estável e consistente. Reprodutividade e estabilidade são palavras-chave que definem a fidedignidade de um instrumento¹³.

Nas últimas décadas, muitos pesquisadores têm se proposto a estudar a configuração que se estabelece entre a dupla mãe-recém nascido, logo nos primeiros dias de vida. Estes estudos, inspirados no modelo de Daniel Stern¹² (1977), utilizam um sistema de observação e de anotação minuciosa (microanálise) do diálogo comportamental que se estabelece entre a parceria. Este método de investigação resulta em excelentes descrições clínicas, mas apresenta falha quanto a sua capacidade de reproduzir e comparar os resultados.

Devido, portanto, à falta e à necessidade de estudos de fidedignidade de uma escala que mensurasse as interações mãe-bebê, a presente investigação se propôs acrescer um instrumento no nosso meio adaptando e submetendo as categorias advindas dos códigos elaborados por Brown e colaboradores.³ (1975) à concordância entre dois juizes.

Por tratar-se de uma escala composta por categorias de comportamentos observáveis que descrevem a interação mãe-bebê, o que revela o valor intrínseco do instrumento em medir a interação, um estudo de fidedignidade revelou-se oportuno para que a escala permaneça acessível em nosso meio.

O estudo de Brown³ permanece como um dos poucos estudos de fidedignidade de uma escala (categorias mais relevantes) da interação mãe-bebê. Embora utilizando metodologias distintas, os resultados obtidos nesta investigação não deixam de ser semelhantes aos achados do estudo original de Brown e seus colaboradores (tabela 3).

Do ponto de vista metodológico, um ponto merece destaque. Diferente do estudo de Brown³, assim como em tantos outros que visaram à catalogação dos comportamentos presentes na interação mãe-recém-nascido⁷, foi utilizado o recurso da filmadora e do gravador de vídeo.

Autores como Almeida Filho¹ enfatizam que, quando diferentes pesquisadores avaliam o mesmo paciente, baixos valores de concordância podem ser encontrados devido a duas fontes de erro: diferenças entre os juízes e o fato de o paciente alterar suas respostas em função da presença dos avaliadores. Este último fato não subsiste quando a observação é simultânea através do espelho unidirecional ou, ainda, quando se utiliza o recurso do vídeo.

Este estudo, assim como vários outros¹², utilizou o método de filmagem para identificar as interações mãe-bebê utilizando uma adaptação dos códigos elaborados por Brown e colaboradores³, que resultou na formulação de grandes categorias que foram publicadas no artigo de 1975 para realizar o seu estudo de fidedignidade. O registro permanente tornou possível a observação da mesma interação por dois observadores independentes, ou seja, a realização do estudo de fidedignidade. Neste sentido, o presente estudo contrasta com o método de registro in loco utilizado pelo próprio estudo de Brown³ e outros estudos^4,7,5,14.

A pesquisa empregou uma metodologia bastante diferente do estudo conduzido por Brown. Destaca-se o seguinte: 1) a utilização da filmadora; 2) o fato do pesquisador deixar o quarto, e, portanto, a atribuição dos escores não ter sido feita durante a amamentação, na presença da puérpera; 3) a aplicação do teste estatístico Kappa para a análise da concordância entre os observadores.

Embora constitua uma ferramenta deste estudo, uma hipótese para explicar o elevado índice de fidedignidade obtido na maior parte dos itens da escala é a presença inibidora da filmadora empobrecendo o repertório de comportamentos da mãe em relação ao bebê. Nesta investigação, a pesquisadora deixava o quarto após colocar a filmadora e o tripé fixo procurando não interferir ou intimidar a mãe, o que pode ter ocorrido em estudos como o de Brown, nos quais os pesquisadores permaneciam no quarto e pediam para a puérpera "não considerá-los".

Outro fator limitador foi o critério de seleção aleatório da amostra. Se a amostra fosse escolhida de forma a propiciar uma maior exposição do instrumento à variabilidade de comportamentos interativos mãe-bebê, o grau de concordância obtido entre os pesquisadores poderia ser diferente.

Em relação à metodologia, o tratamento das variáveis como categorias (mais intensa e menos intensa) direcionaram a escolha da análise estatística. Optou-se pelo cálculo do Kappa, proposto como a melhor medida de fidedignidade para dados categóricos entre dois examinadores^2,10.

Deve-se destacar que existem poucos instrumentos de exame da relação mãe-recém-nascido na literatura, submetida a um estudo de fidedignidade. De acordo com a revisão bibliográfica realizada, este é o primeiro estudo deste tipo, usando este instrumento, em nosso meio.

CONCLUSÃO

Os resultados obtidos indicam a estabilidade da escala adaptada para uma amostra examinada em ambiente hospitalar de baixa renda. Embora por caminhos diferentes, os dados trazidos por este estudo são muito semelhantes aos achados do estudo original de Brown e parecem confirmar que a utilização das categorias é um parâmetro fidedigno, já que permite mensurar se os resultados obtidos por um avaliador seriam reproduzidos por mais juízes.

Devido ao fato de a interação precoce mãe-bebê ser um tema relevante em saúde mental, poderia ser útil a testagem do instrumento por outros pesquisadores em outras populações para avaliar a estabilidade da escala.

Recebido em 11/11/2003

Revisado em 20/01/2004

Aprovado em 06/04/2004

• 1. Almeida Filho N. Desenvolvimento de instrumentos na pesquisa epidemiológica. In: Epidemiologia sem números: Uma introdução crítica à ciência Epidemiológica (N. Almeida Filho org.), Rio de Janeiro: Editora Campus; 1989: 39-54.
• 2. Bartko JJ & Carpenter Jr.WT. On the method and theory of reliability. Journal of Nervous and Mental Disease 1975, 163:307-317.
• 3. Brown JV, Bakeman R, Snuder PA, Fredrickson WT, Morgan ST & Hepler R. Interactions of Black Inner-City Mothers with Their Newborn Infants. Child Development 1975; 46: 677-686.
• 4. Bakerman R, Brown JV. Behavioral dialogues an approach to the assessment of mother-infant interaction. Child development 1977; 48: 195-203.
• 5. Bakerman R, Brown JV. Early interaction: consequences for social and mental development at three years. Child development 1980; 51: 437-447.
• 6. Cicchetti DV. Assessing inter rater reliability for scales: resolving some basic issues. British Journal of Psychiatry 129: 432-436, 1976.
• 7. Garyfallos G, Karastergiou A, Adamopoulou, Moutzoukis C, Alagiodou E, Mala D & Garyfallos A. Greek version of the general health questionnaire: accuracy of translation and validity. Acta psychiatrica Scandinavica 1985; 84 (4): 43-55.
• 8. Korner AF, Zeanah CH, Linden J, Berkowitz RI, Kraemer HC & Agras WS. The relation between neonatal and later activity and temperament. Child development 1985; 56: 38-42.
• 9. Landis JR & Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159-174.
• ¹⁰
  Organización Mundial de la Salud (OMS). Necesidades de la salud de los adolescentes. Informe de un comité de los expertos de la OMS (Serie de informes técnicos 609). Gene bra; 1977.
• 11. Shrout PE, Spitzer RL & Fleiss JL. Quantification of agreement in psychiatric diagnosis revised. Archives of general Psychiatry 1987; 42:725-728.
• 12. Siegel S. Nonparametric Statistics for the Behavioral Sciences. McGraw-Hill, New York; 1956.
• 13. Stern DN. The first relationship: Infant and mother. London: Fontana. Open Books; 1977.
• 14. Streiner DL. A checklist for evaluating the usefulness of rating scales. Canadian Journal of Psychiatry 1993; 38:140-148.
• 15. Thoman EB, Leiderman PH & Olson JP. Neonate-mother interaction during breast-feeding, Develop. Psycho. 1972; 6: 110-118.
• 16. Williams JR. Preliminary studies aimed at increasing the reliability of a behavior rating scale for use with geriatric and infirm patients. Journal of gerontology 1973; 28, (4): 510-515.

Datas de Publicação

• Publicação nesta coleção
  13 Set 2005
• Data do Fascículo
  Abr 2004

Histórico

• Aceito
  06 Abr 2004
• Revisado
  20 Jan 2004
• Recebido
  11 Nov 2003