Julgamento perceptivo-auditivo das oclusivas velares associadas à fissura labiopalatina por juízes com e sem experiência

RESUMO:

Objetivo:

verificar: a) o grau de concordância de juízes no julgamento perceptivo-auditivo da produção de oclusivas velares, antes e depois da fonoterapia; b) a possível influência da composição fonética das amostras de fala nesta concordância e c) se os julgamentos obtidos por juízes com experiência diferem daqueles obtidos por juízes sem experiência, nas condições investigadas.

Métodos:

60 amostras de fala de uma criança com fissura labiopalatina (30 previamente e 30 posteriormente a fonoterapia) e 30 amostras de fala de uma criança com fala típica (normal) foram julgadas por um grupo de 9 juízes. Três fonoaudiólogos estabeleceram os julgamentos consensuais "padrão ouro" para o estudo. Seis outros juízes julgaram as amostras: três considerados com experiência (fonoaudiólogos) e três sem experiência (alunos de graduação). As amostras de fala incluíram palavras constituídas pelas oclusivas velares /k/ e /g/ combinada com as vogais /a/, /i/ e /u/. Os juízes foram instruídos a julgar a presença, a ausência das oclusivas velares ou a presença de AC nestas amostras.

Resultados:

verificou-se diferenças no grau de concordância de juízes com experiência (Kappa moderada) e sem experiência (Kappa baixo) para os julgamentos realizados na condição pré-fonoterapia. O contexto fonético das amostras de fala influenciaram os julgamentos nas condições pré e pós-fonoterapia. Houve maior percentual de acerto para os juízes experientes condição pré-fonoterapia (p-valor <0,001).

Conclusão:

a experiência dos juízes e composição fonética das amostras de fala influenciam os julgamentos perceptivo-auditivos das AC.

DESCRITORES:
Fissura Palatina; Fala; Distúrbios de Fala; Percepção Auditiva

ABSTRACT:

Purpose:

to verify: a) the level of agreement among judges during auditory-perceptual assessment of velar plosive sounds before and after speech therapy, b) the possible influence of the phonetic composition from the speech samples in this correlation c) whether the assessments from judges with experience differ from those without experience in given conditions.

Methods:

60 speech samples of children with cleft lip and palate, 30 before and 30 after speech therapy, and 30 samples from children without cleft lip and palate and with normal speech were rated by a group of 9 judges. Three speech-language pathologists established the "gold standard" consensual judgments for the study. Six other judges assessed the samples for this study: three considered experienced ones (speech-language pathologists) and three non-experienced (undergraduate students). The speech samples included velar consonants /k/ and /g/ and vowels /a/, /i/ and /u/. Judges were instructed to assess the presence or absence of velar consonants or presence of CA.

Results:

Kappa statistics revealed moderate agreement among experienced judges and low agreement among the judges without experience for samples recorded before speech therapy. Phonetic context had an effect on the assessments before and after speech therapy. Assessments were significantly better among experienced judges before speech therapy (p-valor <0,001).

Conclusion:

experience of judges and phonetic composition from the speech samples influence perceptual judgments of CA.

KEYWORDS:
Cleft Palate; Speech; Speech Disorders; Auditory Perception

Introdução

Dentre as alterações de fala que podem ser encontradas na população com fissura labiopalatina (FLP), destacam-se as articulações compensatórias (AC), que são desvios na produção dos sons que se estabelecem nas fases iniciais da aquisição fonológica para compensar funcionalmente o mecanismo velofaríngeo alterado. Tais produções alteram o ponto articulatório e, na maioria das vezes, são produzidas em regiões do trato vocal posterior à velofaringe¹. Quando presentes, as AC podem tornar a fala da criança ou do adulto ininteligível e trazer prejuízos na vida social, educacional e até mesmo profissional destes sujeitos^2),(3. A fonoterapia é essencial para o estabelecimento da produção padrão e diferentes abordagens de intervenção foram reportadas na literatura, a fim de favorecer a produção de fala típica nesta população^4),(5. Cabe ao profissional fonoaudiólogo amplo conhecimento sobre as AC com o objetivo de identificar estas produções e, ainda, estabelecer planejamento terapêutico apropriado ⁽².

A avaliação perceptivo-auditiva é o procedimento inicial utilizado pelo fonoaudiólogo para a identificação e caracterização das alterações de fala associadas FLP⁶. Na prática clínica, é por meio do julgamento auditivo que o fonoaudiólogo caracteriza as alterações de fala antes do processo terapêutico e certifica-se da presença de fala típica após intervenção. Considerando-se a avaliação perceptiva como procedimento essencial para a caracterização das alterações de fala associadas à FLP, estudiosos têm se preocupado com possíveis aspectos que podem influenciar na interpretação dos resultados obtidos nesta avaliação^6)-(8. Dentre estes aspectos destacam-se a concordância intra e inter avaliadores estimada por meio de procedimentos específicos^7),(9)-(13, a experiência do avaliador em realizar julgamento perceptivo-auditivo destas produções^6),(10),(12) e a seleção das amostras de fala utilizadas na avaliação perceptiva da fala^{6),(10),(14),(15}.

Particularmente, no que se refere à concordância de juízes, a literatura enfatiza a importância de se verificar esse aspecto, a fim de permitir comparações de resultados de tratamento em estudos multicêntricos^7),(16) longitudinais¹³⁾ ou, também, envolvendo técnicas cirúrgicas distintas¹⁷. Em um artigo de revisão crítica da literatura sobre avaliação perceptiva da fala de pacientes com FLP, estudiosos⁶⁾ verificaram que aproximadamente metade dos artigos analisados incluiu medidas de confiabilidade (como percentagem de concordância ou coeficiente Kappa), sendo verificada falta de informação sobre confiabilidade dos juízes em 49% do material analisado. De forma geral, a literatura reporta baixa concordância inter-juízes em avaliações perceptivas da fala^{7),(9),(10),(12}. Um estudo, em particular, encontrou baixa concordância entre profissionais (com e sem experiência), quando a transcrição fonética foi utilizada como procedimento para registrar as AC identificadas nas produções da fala de sujeitos com FLP, o que levou os autores a concluírem sobre a necessidade de ampliar o treinamento de realização da transcrição fonética para a identificação das AC¹⁰. Outros procedimentos de avaliação das produções articulatórias foram reportados em diferentes estudos, dentre eles, a identificação da presença/ausência de fala típica, o cálculo da porcentagem de consoantes corretas, frequência e tipo de alterações ou descrição das alterações⁶. Embora tais procedimentos sejam referenciados, nos últimos anos pesquisadores têm advogado pela transcrição fonética de profissionais com experiência nesta tarefa. Estudos recentes reportam concordância de 80-90% inter-transcrições^11),(18. No entanto, treinamentos estruturados previamente a realização dos julgamentos de fala são recomendados, a fim de favorecer concordância dos avaliadores nas tarefas propostas¹⁶, principalmente quando amostras provenientes de diferentes línguas são julgadas⁸.

No que diz respeito às amostras de fala utilizadas para a identificação das AC, de forma geral, a literatura reporta variabilidade na seleção das amostras entre os diferentes estudos, incluindo conversa espontânea, textos, sentenças, palavras, consoantes isoladas e fala automática (usadas de forma isolada ou combinada)⁶. Um estudo, em particular, utilizou palavras controladas constituídas de consoante + vogal + consoante (CVC) inseridas em uma frase veículo ao analisar o grau de concordância das respostas obtidas por profissionais com e sem experiência na identificação das AC¹⁰. O uso amostras de fala foneticamente controladas e padronizadas é recomendado na literatura, a fim de possibilitar comparações de resultados, especialmente em estudos multicêntricos¹⁴.

Além dos aspectos já citados, a experiência do avaliador em identificar auditivamente as AC é considerada pela literatura como um aspecto que pode influenciar nos julgamentos da fala. Um estudo, em particular, observou maior concordância na identificação das AC por profissionais com experiência na avaliação da população com FLP, quando comparadas àquela obtida por profissionais sem experiência, ao usar a transcrição fonética para registrar as produções¹⁰. Em outro estudo os autores encontraram concordância baixa entre juízes experientes na identificação do parâmetro de nasalidade e concordância moderada para boa na identificação dos demais parâmetros investigados (incluindo a produção articulatória). De forma geral, os autores atribuíram os resultados de concordância obtidos em seu estudo à necessidade de treinamento com amostras de referência, mesmo para os juízes experientes, a fim de melhorar resultados de concordância nos julgamentos¹². Mais recentemente, um estudo comparou julgamentos de aspectos de fala (incluindo as AC) de juízes sem treinamento (funcionários e alunos do primeiro ano de graduação) com julgamentos de fonoaudiólogos treinados. As amostras de fala julgadas foram provenientes de crianças com fissura palato ou lábio/palato e continham dois conjuntos de frases. Houve baixa ocorrência de dificuldades articulatórias nas amostras apresentadas e, portanto, não foi possível verificar o grau de concordância inter-juízes em relação a este parâmetro de fala. No entanto, constatou-se que juízes, com e sem experiência, identificaram as duas únicas crianças com alterações na produção articulatória¹⁹.

Ao analisar os vários aspectos apresentados na literatura que podem influenciar na análise perceptiva da fala, um estudo de revisão de literatura trouxe questionamentos sobre até que ponto a experiência do juiz, quando considerado como um único fator, garante graus satisfatórios de concordância entre juízes⁷. Outro estudo¹⁶, ao utilizar um procedimento especificamente elaborado para treinamento na avaliação da fala da população com FLP, obteve boa concordância entre juízes na identificação das consoantes não orais (produções na faringe e glote). A partir dos resultados obtidos, os autores advogam a favor de julgamentos realizados após treinamento estruturado, envolvendo sessões com uso de amostras de fala previamente gravadas, em contrapartida aos julgamentos realizados contando somente com a experiência prévia do fonoaudiólogo. De forma geral, a literatura sugere que os julgamentos sejam feitos por juízes múltiplos e com experiência na avaliação dos aspectos de fala apresentados pela população com FLP⁷.

Frente ao exposto, verifica-se que a avaliação perceptivo-auditiva da fala está sujeita a muitas variáveis que podem influenciar seus resultados, requerendo cuidados especiais para sua execução e interpretação. Verifica-se, ainda, uma grande preocupação dos estudiosos em reconhecer e discutir fatores que podem interferir na identificação das AC, bem como em preparar fonoaudiólogos para a tarefa de identificação destas alterações. Tal tarefa, que é realizada por meio da avaliação perceptiva, é essencial para clínicos e pesquisadores, uma vez que dela depende a definição de conduta sobre a necessidade de tratamento e, ainda, que se monitora os resultados terapêuticos. Informações sobre concordância nos julgamentos perceptivo-auditivos obtidos nas condições pré e pós fonoterapia, levando-se em conta a experiência ou não do juiz e a composição fonética das amostras de fala podem contribuir para um melhor entendimento das AC na fala da criança com FLP. Os objetivos do presente estudo foram: a) verificar o grau de concordância de juízes (com e sem experiência) no julgamento perceptivo-auditivo da produção de oclusivas velares, antes e depois da fonoterapia, em relação aos julgamentos de referência ("padrão ouro"); b) verificar possível influência da composição fonética das amostras de fala nesta concordância; c) verificar se os julgamentos obtidos por juízes com experiência diferem daqueles obtidos por juízes sem experiência, nas condições investigadas (pré/pós-fonoterapia e controle).

Métodos

Este estudo prospectivo envolveu o julgamento perceptivo-auditivo de amostras de fala de uma criança com FLP, previamente e posteriormente a fonoterapia. Ainda envolveu o julgamento perceptivo-auditivo de amostras de fala de uma criança sem FLP e que apresenta fala típica, ou seja, desenvolvimento de fala normal (controle). Julgamentos consensuais ("padrão ouro") foram estabelecidos por três profissionais fonoaudiólogos de um centro de alta referência em anomalias craniofaciais, para as amostras de fala incluídas neste estudo. Três profissionais fonoaudiólogos com experiência de, no mínimo, cinco anos, em avaliação da fala de crianças com FLP julgaram as mesmas amostras de fala e foram denominados, no presente estudo, "juízes experientes". Três alunos de série inicial da graduação em Fonoaudiologia julgaram as amostras de fala incluídas no estudo e foram denominados "juízes sem experiência".

O trabalho foi realizado, em duas etapas, sendo submetido e aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Filosofia e Ciências (FFC), UNESP, Campus de Marília, sob os números 0347/2011 e 0609/2012 e foi considerado sem risco.

Amostras de fala armazenadas no banco de dados

As amostras de fala analisadas no estudo fazem parte de um banco de dados mantido no Laboratório de Análise Acústica-LAAc da instituição. Neste banco a produção da fala de pacientes submetidos à fonoterapia é gravada sistematicamente antes e após as intervenções. Particularmente, as gravações utilizadas no estudo foram obtidas de uma criança com cinco anos de idade, do gênero feminino, com fissura de palato operada (FP). Previamente à fonoterapia, essa criança apresentava inteligibilidade de fala comprometida devido ao uso de AC (oclusiva glotal), conforme identificado em avaliação clínica (ao vivo) que consistiu de repetição de palavras e conversa espontânea. A criança participou de um programa de fonoterapia direcionado para o estabelecimento da produção de pontos articulatórios orais em oposição ao uso das articulações compensatórias, com enfoque para as consoantes oclusivas. O programa de fonoterapia envolvendo as consoantes oclusivas foi realizado semanalmente, com duas sessões de 40 minutos em cada semana, por um período de quatro meses. Também foram utilizadas no estudo, as gravações armazenadas no banco de dados do LAAc obtidas de uma criança com cinco anos de idade, do gênero feminino, sem fissura de palato e com fala típica (controle).

Para o estudo, as oclusivas velares /k/ e /g/ foram os som-alvos de interesse. Assim, as amostras utilizadas consistiram de seis palavras dissílabas paroxítonas da língua ("capa, quibe, cuca" e "gato, guizo, gula") que combinavam as oclusivas velares em posição inicial de palavras com as vogais /i/, /a/, /u/ na posição acentuada. Estas amostras, na ocasião das gravações, foram produzidas pelas crianças e armazenadas no banco de dados. Para obter estas amostras foi solicitado para cada criança, por meio de uma atividade lúdica, cinco repetições de cada uma das 6 palavras inseridas na frase veículo: "Fale ____ bem bonito". Durante esta atividade lúdica, foram apresentadas seis figuras correspondentes a cada uma das consoantes de interesse, para que as crianças as nomeassem, a fim de possibilitar as gravações. Para a criança com FP, as repetições foram obtidas nas duas condições estudadas, antes e depois da fonoterapia. Para este estudo, portanto, foram gravadas um total de 90 amostras, sendo 60 amostras da criança com FP, considerando as oclusivas /k/ e /g/, e as vogais /a/, /i/, /u/, nas duas condições estudadas (pré-fonoterapia e pós-fonoterapia), e ainda, 30 amostras da criança com fala típica (controle), considerando as oclusivas /k/ e /g/ e as vogais /a/, /i/ e /u/. Assim, tem-se para a criança com FP: 5 (repetições) X 3 (vogais) X 2 (oclusivas) X 2 (condições) = 60 amostras, e para a criança controle: 5 (repetições) X 3 (vogais) X 2 (oclusivas) = 30 amostras. No total, portanto, 90 gravações armazenadas no banco de dados do LAAc foram de interesse para o estudo.

Ressalta-se que uma única avaliadora conduziu as gravações da fala da criança sem e com FP (previamente e depois da fonoterapia). As amostras de fala foram gravadas em uma mesma sala tratada acusticamente (LAAC), utilizando equipamento digital de alta fidelidade (gravador digital MARANTZ , microfone unidirecional Shure). O microfone foi posicionado a 20 cm da boca das crianças. As gravações digitalizadas foram armazenadas em um computador.

Preparo das amostras para análise pelos juízes

Para o estudo, as gravações já existentes e armazenadas foram editadas para os julgamentos perceptivo-auditivos por meio do software PRAAT . Este material compreendeu um total de 90 amostras editadas de forma aleatória. O material editado foi arquivado em CD-ROM e enviado para os juízes que estabeleceram julgamentos considerados "padrão ouro". Em seguida, o mesmo material foi enviado para cada um dos juízes (com ou sem experiência). Juntamente com o material editado proveniente das duas crianças participantes do estudo, foram incluídas no mesmo CD amostras de referência áudio gravadas para os juízes. Estas amostras de referência eram representativas de cada tipo de produção (fala típica, com omissão de segmento ou presença de AC) e pertenciam a outros sujeitos não incluídos neste estudo.

Estabelecimento do "padrão ouro"

Três fonoaudiólogos estabeleceram os julgamentos de referência ("padrão ouro") das 90 amostras de fala. Estes profissionais pertencem a um centro da alta complexidade no tratamento de anomalias craniofaciais e atuam neste centro há mais de 5 anos, tendo ampla experiência em avaliação da fala da população com FLP. Os fonoaudiólogos referiram ter audição normal, não tiveram contato com os sujeitos que tiveram suas falas gravadas e não receberam informações sobre o objetivo do estudo.

Foi explicado para aos fonoaudiólogos que o julgamento servia para a identificação da presença, ausência das oclusivas velares /k/ e /g/ ou, ainda, a presença de AC. Previamente aos julgamentos, foram oferecidas instruções e amostras de referência (áudio gravadas) representativas de cada tipo de produção. Ao apresentar as amostras de referências, foi indicado qual era o tipo de produção que deveria ser julgada, orientando os juízes que os mesmos deveriam usar estas informações como parâmetro para realizarem seus julgamentos. Os juízes foram instruídos a julgarem apenas a presença, a ausência das oclusivas velares ou a presença de AC na posição inicial da palavra, inserida na frase veículo, independentemente de ouvirem outras compensações e/ou hipernasalidade na frase apresentada. Por exemplo, ao ouvir a frase "Fala capa bem bonita", o juiz deveria decidir entre a presença da consoante /k/ na primeira sílaba, a ausência da oclusiva /k/ na primeira sílaba ou a presença de AC na primeira sílaba. Os juízes não foram informados sobre as condições em que as amostras foram obtidas.

Após as instruções, os juízes tiveram a oportunidade de ouvir simultaneamente, em uma mesma sala, as amostras de fala usando fones de ouvido individuais. Os juízes tiveram permissão para ouvir as amostras quantas vezes achassem necessárias e, ainda, puderam ajustar o volume das amostras gravadas. Após ouvir (uma ou mais vezes) cada amostra de fala, os juízes anotaram sua opção (presença/ausência das oclusivas velares ou presença de AC) em folhas de anotação feita para esse fim e, então, verificaram suas respostas. No caso de discordarem de seus julgamentos, os fonoaudiólogos ouviram novamente até obterem julgamentos consensuais (um único julgamento para cada uma das 90 amostras ouvidas). O julgamento consensual foi denominado, no presente estudo, "padrão ouro" e estes julgamentos foram reportados para verificar concordância com os julgamentos dos demais participantes (juízes com ou sem experiência).

Julgamento perceptivo-auditivo: juízes experientes

Três outros fonoaudiólogos pertencentes ao mesmo centro de alta complexidade no tratamento de anomalias craniofaciais, com mais de 5 anos de experiência na avaliação da fala da população com FLP, julgaram as 90 amostras de fala, porém individualmente, a fim de atender ao primeiro objetivo do presente estudo (ou seja, verificar concordância entre seus julgamentos e os do "padrão ouro"). Estes fonoaudiólogos referiram ter audição normal, não tiveram contato com os sujeitos que tiveram suas falas gravadas e não receberam informações sobre o objetivo do estudo.

Os três fonoaudiólogos identificaram a presença, a ausência das oclusivas velares /k/ e /g/ ou, ainda, a presença de AC nas amostras de fala apresentadas, que foram as mesmas utilizadas para o estabelecimento do "padrão ouro". Além disso, as instruções fornecidas para o julgamento dos três fonoaudiólogos experientes seguiram aquelas descritas para o estabelecimento do "padrão ouro", com uma diferença: cada fonoaudiólogo experiente ouviu, com fones de ouvido individuais, o material gravado (90 amostras), em sala reservada para esse fim. Assim, os 90 julgamentos foram feitos separadamente e anotados em folha de registro semelhante àquela usada para o estabelecimento do "padrão ouro".

Julgamento perceptivo-auditivo: juízes sem experiência

Três alunas matriculadas no segundo ano de graduação em Fonoaudiologia foram incluídas no estudo e consideradas como "sem experiência" na avaliação de fala da população com FLP, pois não haviam iniciado as disciplinas específicas da área de Fonoaudiologia e nem haviam sido expostas às atividades clínicas. Estas alunas referiram ter audição normal, não tiveram contato com os sujeitos que tiveram suas falas gravadas e não receberam informações sobre o objetivo do estudo.

As três alunas julgaram individualmente as 90 amostras de fala, a fim de atender ao primeiro objetivo do presente estudo (ou seja, verificar concordância entre seus julgamentos e os do "padrão ouro"). Estas três alunas identificaram a presença, a ausência das oclusivas velares /k/ e /g/ ou, ainda, a presença de AC nas amostras de fala apresentadas, que foram as mesmas utilizadas para o estabelecimento do "padrão ouro". Além disso, as instruções fornecidas para o julgamento das três alunas sem experiência seguiram aquelas descritas para o estabelecimento do "padrão ouro", com uma diferença: cada aluna ouviu o material gravado (90 amostras), com fones de ouvido individuais, conectados a computadores separados, em salas reservadas para esse fim. Todas as alunas finalizaram seus julgamentos em um mesmo período e os 90 julgamentos feitos separadamente foram anotados em folha de registro semelhante àquela usada para os demais participantes deste estudo.

Análise dos dados

As respostas obtidas foram apresentadas em porcentagem de concordância para cada condição estudada (pré-fonoterapia, pós-fonoterapia, controle), levando-se em conta os julgamentos obtidos para cada uma das consoantes velares (/k/ = 45 julgamentos e /g/ = 45 julgamentos) e os julgamentos obtidos para cada uma das vogais (/a/ = 30 julgamentos, /i/ = 30 julgamentos e /u/ = 30 julgamentos). Mais especificamente, os julgamentos foram analisados por consoantes (/k/ ou /g/) ou por vogais (/a/, /i/ e /u/), a fim de permitir posterior análise estatística (concordância Kappa) dos dados.

O índice de Concordância Kappa também foi usado para medir o grau de concordância entre os julgamentos perceptivo-auditivos de interesse ("padrão ouro" x juízes com experiência e "padrão ouro" x juízes sem experiência), em relação às condições estudadas (pré-fonoterapia, pós-fonoterapia, controle) e as amostras utilizadas (oclusivas velares e vogais). A estatística Kappa é uma medida usada para verificar concordância inter-juízes que corrige o acordo obtido por acaso (afasta às observações feitas daquelas esperadas, fruto do acaso, indicando quão legítimas são as interpretações). Esta medida conservadora também foi utilizada, juntamente com a porcentagem de concordância, em estudos prévios que visaram obter a confiabilidade inter-juízes em julgamentos das alterações de fala apresentadas pela população com FLP^12),(20. Conforme reportado na literatura¹²críticos comentam que no Kappa o acordo esperado é uma fonte de preocupação, pois os avaliadores não são estatisticamente independentes e a concordância esperada por acaso é baseada na suposição de avaliadores independentes.

No presente estudo os valores de Kappa obtidos foram interpretados de acordo com a literatura²¹⁾ em que: 0,00 não indica concordância; de 0.00 a 0,20 indica concordância baixa; de 0,21 a 0,40 indica concordância regular; de 0,41 a 0,60 indica concordância moderada; de 0,61 a 0,80 indica concordância substancial e de 0,81 a 1,00 indica concordância perfeita (ou quase perfeita). Os intervalos de confiança foram construídos com 95% de confiança estatística e adotou-se nível de significância de 5% (p<0,05). A análise do coeficiente Kappa foi apresentada unificando os julgamentos dos três juízes com experiência e, da mesma forma, unificando os julgamentos dos três juízes sem experiência, resultando em um único valor de Kappa para os juízes com experiência e para os juízes sem experiência.

O Teste de Igualdade de duas Proporções (não paramétrico) foi usado para comparar se a proporção de respostas de duas determinadas variáveis (juízes com e sem experiência) e/ou seus níveis foi estatisticamente significante.

Resultados

Os resultados obtidos referem-se à concordância nos julgamentos perceptivo-auditivos de juízes experientes e "padrão ouro" ("experiente/ouro") e de juízes sem experiência e "padrão ouro" ("sem experiência/ouro"), em três condições distintas: pré, pós-fonoterapia e controle.

As Tabelas 1 e 2 apresentam a porcentagem de concordância inter-juiz "experientes/ouro" obtida na condição pré-fonoterapia. Mais especificamente, a Tabela 1 apresenta a porcentagem de concordância para os 45 julgamentos referentes à consoante /k/ e os 45 julgamentos referentes à consoante /g/. Já a Tabela 2 apresenta a porcentagem de concordância para os 30 julgamentos referentes a cada uma das vogais estudadas (/a/, /u/, /i/).

Tabela 1:
Porcentagem de concordância inter-juízes com experiência/ouro entre os julgamentos realizados (omissão - O, articulação compensatória - AC ou fala típica (T) por oclusiva velar (/k/ e /g/), na condição pré-fonoterapia. Ocorrências de O, AC e T relativas à cada palavra envolvendo /k/ ou /g/ são apresentadas em parênteses

Tabela 2:
Porcentagem de concordância inter-juízes (com experiência/ouro) entre os julgamentos realizados (omissão - O, articulação compensatória - AC ou fala típica (T) por vogal (/a/, /u/ /i/), na condição pré-fonoterapia. Ocorrências de O, AC e T relativas à cada palavra envolvendo /k/ ou /g/ são apresentadas em parênteses

A Tabela 3 sumariza a porcentagem de concordância inter-juiz "experientes/ouro" obtida para os julgamentos (geral, por consoante e por vogal) na condição pré-fonoterapia, além de apresentar o índice de concordância Kappa (geral, por consoante e por vogal).

Tabela 3:
Porcentagem de concordância e Índice de Concordância Kappa inter-juízes (com experiência/ouro) para os julgamentos realizados por consoante (/k/ e /g/) e por vogal (/a/, /u/, /i/) na condição pré-fonoterapia

• *Coeficiente Kappa p<0.05

A porcentagem de concordância inter-juiz "experientes/ouro" obtida para todos os julgamentos (geral, por consoante e por vogal) na condição pós-fonoterapia e na condição controle foi de 100%, com concordância Kappa perfeita.

As tabelas 4 e 5 apresentam a porcentagem de concordância inter-juiz "sem experiência/ouro" obtida na condição pré-fonoterapia. Mais especificamente, a Tabela 4 apresenta a porcentagem de concordância para os 45 julgamentos referentes à consoante /k/ e os 45 julgamentos referentes à consoante /g/. Já a Tabela 5 apresenta a porcentagem de concordância para os 30 julgamentos referentes a cada uma das vogais estudadas (/a/, /u/, /i/).

Tabela 4:
Porcentagem de concordância inter-juízes (sem experiência/ouro) nos julgamentos realizados (omissão - O, articulação compensatória - AC ou fala típica (T) por oclusiva velar (/k/ e /g/), na condição pré-fonoterapia. Ocorrências de O, AC e T relativas à cada palavra envolvendo /k/ ou /g/ são apresentadas em parênteses

Tabela 5:
Porcentagem de concordância inter-juízes (sem experiência/ouro) nos julgamentos realizados (omissão - O, articulação compensatória - AC ou fala típica (T) por vogal (/a/, /u/ /i/), na condição pré-fonoterapia. Ocorrências de O, AC e T relativas à cada palavra envolvendo /k/ ou /g/ são apresentadas em parênteses

A Tabela 6 sumariza a porcentagem de concordância inter-juiz "sem experiência/ouro" obtida para os julgamentos (geral, por consoante e por vogal) na condição pré-fonoterapia, além de apresentar o índice de concordância Kappa (geral, por consoante e por vogal).

Tabela 6:
Porcentagem de concordância e Índice de Concordância Kappa inter-juízes (sem experiência/ouro) para os julgamentos realizados por consoante (/k/ e /g/) e por vogal (/a/, /u/, /i/) na condição pré-fonoterapia

• *Coeficiente Kappa p<0.05

A Tabela 7 sumariza a porcentagem de concordância inter-juiz "sem experiência/ouro" obtida para os julgamentos (geral, por consoante e por vogal) na condição pós-fonoterapia, além de apresentar o índice de concordância Kappa (geral, por consoante e por vogal). Vale ressaltar que em duas, das 90 produções, houve discordância, sendo que estas ocorreram para amostra de fala "gula".

Tabela 7:
Porcentagem de concordância e Índice de Concordância Kappa inter-juízes (sem experiência/ouro) para os julgamentos realizados por consoante (/k/ e /g/) e por vogal (/a/, /u/, /i/) na condição pós-fonoterapia

• *Coeficiente Kappa p<0.05

A porcentagem de concordância inter-juiz "sem experiência/ouro" obtida para todos os julgamentos (geral, por consoante e por vogal) na condição controle foi de 100%, com concordância Kappa perfeita.

A Tabelas 8 mostra a distribuição (absoluta e relativa) de acerto por grupo de juízes (com e sem experiência), levando-se em consideração, as três condições sob investigação (controle, pré e pós-fonoterapia), além de indicar os valores de p encontrados para os grupos de juízes e as três condições investigadas.

Tabela 8:
Distribuição de acerto por juízes (com e sem experiência) para as condições investigadas (controle, pré e pós-fonoterapia)

• Teste de Igualdade de duas Proporções (p<0,05)

Discussão

A avaliação perceptiva é considerada essencial para avaliação das características da fala dos sujeitos com FLP⁶⁾ e a importância desta modalidade de avaliação foi enfatizada previamente^7),(22. Profissionais (ou futuros profissionais) envolvidos na avaliação perceptiva da fala da população com FLP necessitam estar preparados para identificar, dentre outras alterações, as produções atípicas (AC), a fim de determinar plano de tratamento adequado. Assim, é de interesse investigar variáveis que podem afetar os julgamentos destes profissionais, como o grau de concordância de juízes em relação aos julgamentos de referência ("padrão ouro"), bem como influência da composição fonética das amostras de fala nesta concordância.

Neste estudo, no que se refere à concordância entre os julgamentos de juízes experientes e "padrão ouro", para a condição pré-fonoterapia, verificou-se a porcentagem de concordância em 81% no total dos julgamentos realizados, com concordância Kappa moderada, estatisticamente significante. Uma análise posterior dos dados revelou que quando os juízes discordaram em seus julgamentos tal discordância ocorreu somente para o tipo de alteração (AC ou omissão) identificado nas produções julgadas. As diferenças encontradas nos dois tipos de análises realizadas (porcentagem de concordância, 81% e índice de concordância Kappa, 0,60), podem ser explicadas pelo fato do Kappa corrigir o acordo obtido por acaso (afastando às observações feitas daquelas esperadas, fruto do acaso). Estudos prévios reportaram diferenças entre estes dois tipos de análises, com valores mais baixos de Kappa quando comparados a porcentagem de concordância^12),(20, provavelmente devido ao Kappa ser uma medida conservadora que assume que toda concordância obtida que poderia ser ao acaso foi, de fato, ao acaso ¹². Segundo a literatura, a opção em usar tanto a porcentagem de concordância quanto o índice de concordância Kappa justifica-se quando se busca uma descrição mais completa dos dados¹².

Ao considerar os resultados obtidos por meio das duas análises realizadas de forma conjunta, verificou-se que, embora os participantes ("padrão ouro" e juízes experientes) tenham experiência na avaliação da fala da população com FLP, a tarefa solicitada (julgar fala típica, omissão ou presença de AC) pode ter influenciado nos julgamentos. A literatura descreve o uso de escalas graduadas como o método mais comum usado para avaliar a fala de sujeitos com FLP⁶. No entanto, têm se observado uma tendência na literatura em apresentar resultados de fala a partir do uso da transcrição fonética^11),(18. O uso de transcrição fonética, apesar de desejável⁷, é pouco usado na prática clínica envolvendo fala da população com FLP e, muitas vezes, em pesquisas científicas⁶. De forma geral, na clínica, as produções consonantais atípicas são descritas usando-se modelos propostos na literatura²³. Um estudo, em particular, ao verificar concordância entre profissionais com e sem experiência, na identificação das AC^, obteve baixa concordância mesmo para juízes treinados, ao utilizar a transcrição fonética para registrar as produções encontradas, o que levou os autores a concluírem sobre a necessidade de treinamento específico de transcrição fonética para os avaliadores que atuam com sujeitos que apresentam AC¹⁰. No presente estudo, a concordância moderada obtida entre profissionais com experiência e "padrão ouro" (julgamentos de juízes múltiplos, com consenso) pode ser explicada, pelo menos em parte, pelo fato de que os juízes tiveram que identificar, além da presença ou ausência da AC, omissão do segmento velar. Caso a tarefa fosse somente identificar a presença ou ausência de AC, a concordância poderia ter sido mais alta (ou, até mesmo, perfeita). Concordâncias mais altas foram encontradas em um estudo em que a tarefa foi julgar presença ou ausência de hipernasalidade, quando comparado com as concordâncias obtidas para as categorizações propostas para o julgamento das alterações de ressonância²⁰. Estas informações sugerem que a tarefa solicitada pode influenciar os resultados obtidos na classificação das alterações de fala associadas à FLP, incluindo as AC. A avaliação perceptivo-auditiva da fala, portanto, está sujeita a muitas variáveis que podem influenciar seus resultados, requerendo cuidados especiais para sua execução e interpretação. A influência dos aspectos metodológicos envolvidos na avaliação perceptivo-auditiva tem sido enfatizada por vários autores^6),(7). A necessidade de se padronizar a tarefa a ser realizada pelos fonoaudiólogos em contextos clínicos e de pesquisa também foi reportada¹⁴, uma vez que a seleção das amostras pode interferir nos resultados obtidos⁶, desfavorecendo comparações de resultados em estudos multicêntricos.

Neste estudo, buscou-se também analisar os dados separadamente levando-se em conta somente as consoantes ou somente as vogais. Ao se considerar somente as consoantes, verificou-se porcentagem de concordância de 80% para a consoante /k/ e de 82% para /g/, com concordância Kappa (0,56) moderada para /k/ e substancial (0,64) para /g/, ambas estatisticamente significantes. De forma conjunta, estes resultados sugerem que a consoante /g/ apresentou tendência à maior concordância (para omissão do segmento) entre os julgamentos (tabela 1). A amostra de fala "gula" pareceu contribuir para a diferenciação da concordância entre as consoantes velares. O fato de esta amostra de fala ser constituída pelo segmento consonantal /l/ (que requer baixa pressão intra-oral) pode, em termos perceptivos, ter gerado dúvidas aos ouvintes, resultando em julgamentos tanto de omissão de segmentos (N=3) quanto de AC (N=8), o que elevou a porcentagem final de concordância da consoante [g].

Ao se considerar as vogais, a porcentagem de concordância foi de 74% para vogal /a/, 84% para /u/ e 87% para /i/, com concordância Kappa pequena (0,15 não significante) para /a/, regular (0,30 significante) para /i/ e moderada (0,44, significante) para /u/, sendo as diferenças entre as duas forma de análise (porcentagem de concordância e índice de concordância Kappa) provavelmente em decorrência do Kappa corrigir o acordo obtido por acaso (afastando às observações feitas daquelas esperadas, fruto do acaso). Uma análise posterior dos dados revelou que, independente da consoante, a concordância (menor e não significante) para vogal /a/ ocorreu sempre em relação ao julgamento da omissão, sugerindo que esta vogal, em termos perceptivos, favorece a identificação da ausência da oclusiva velar, conforme mostra a Tabela 2.

Quanto vogal /u/, a concordância observada foi maior em relação à presença de AC (Tabela 2). Vale ressaltar que dos 30 julgamentos envolvendo a vogal /u/, 15 sucedia a consoante /k/. Nestes, houve concordância em relação à presença de AC em 14 julgamentos, sugerindo que, em termos perceptivos, a vogal /u/ pode ter favorecido a identificação da presença de AC, além do fato da palavra "cuca" apresentar recorrência de consoante de alta pressão /k/, o que também pode ter influenciado a identificação de AC. Já diante de /g/, nos 15 julgamentos, 8 apresentaram concordância para presença de AC e 3 para omissão do segmento, sugerindo que a vogal /u/ diante de /g/ gerou mais dúvidas no ouvinte quanto à classificação da fala alterada. Vale ressaltar que a palavra "gula" é constituída pelo segmento consonantal /l/, que requer baixa pressão intra-oral, o que pode ter desfavorecido a identificação de AC. Em relação à vogal /i/, observou-se que ela favoreceu a concordância para presença de AC tanto diante de /k/ quanto de /g/. Vale ressaltar que dos 30 julgamentos envolvendo a vogal /i/, 15 envolveram a consoante /k/ (com 11 julgamentos concordantes, indicando presença de AC) e 15 envolveram a consoante /g/ (com 15, ou seja, 100% dos julgamentos concordantes, indicando presença de AC) (Tabela 2). Estes dados indicam que a vogal /i/ favoreceu a identificação da presença de AC, principalmente diante de /g/.

De forma conjunta, os resultados para os julgamentos de juízes experientes em relação "padrão ouro", na condição pré-fonoterapia, indicaram que houve variabilidade, que poderia ser decorrente da composição fonética das amostras, além da tarefa solicitada. Tal fato não foi observado nas condições pós-fonoterapia e controle, uma vez que em ambas as condições, houve 100% de concordância (Kappa= concordância perfeita) entre os julgamentos, sugerindo que diante da fala típica (pós-fonoterapia ou controle), nem a tarefa solicitada nem o contexto-fonético das amostras geraram dúvidas para os ouvintes. A literatura aponta a dificuldade de avaliadores em identificar categorias fonêmicas que não existem na língua nativa do falante⁹, como ocorre, por exemplo, na presença da AC oclusiva glotal (também conhecida como "golpe de glote") para o português brasileiro. Levando-se em conta a influência da composição fonética nos julgamentos de juízes múltiplos, nos últimos anos estudiosos¹⁴ têm recomendado o uso de amostras de fala controladas constituídas por palavras isoladas ou, particularmente, por frases foneticamente elaboradas, mas com recorrência do som alvo. A recorrência de um mesmo som nas amostras de fala pode favorecer a comparação de resultados em estudos multicêntricos¹⁴⁾ e, por isso, deve ser considerada na prática clínica e em pesquisas. A elaboração de protocolos padronizados para o português brasileiro que atendam as recomendações internacionais¹⁴⁾ poderá contribuir muito em estudos que buscam verificar concordância entre juízes, principalmente se os julgamentos forem realizados por juízes múltiplos.

Neste estudo, também foi de interesse verificar a concordância entre os julgamentos de juízes sem experientes e "padrão ouro" ("sem experiência/ouro"). Para a condição pré-fonoterapia, verificou-se baixa porcentagem de concordância (48%) nos julgamentos realizados, com concordância Kappa pequena, embora estatisticamente significante. Uma análise posterior dos dados revelou que quando houve concordância, esta ocorreu para as amostras em que o "padrão ouro" também julgou como omissão e, quando houve discordâncias, estas ocorreram entre os tipos de alterações identificados, uma vez que os juízes sem experiência tenderam a classificar as produções como "omissão" enquanto o "padrão ouro" julgou as mesmas produções como "AC". Somente duas do total (N=90) de amostras foram consideradas como fala típica pelos estudantes de graduação, em relação ao "padrão ouro", sugerindo que os alunos de graduação em Fonoaudiologia de série inicial percebem a presença da fala alterada, embora ainda não sejam capazes de distinguir entre omissão das oclusivas velares (/k/, /g/) e presença de AC. Estudo prévio¹⁰⁾ investigou concordância entre julgamentos de juízes com e sem experiência na identificação de AC, em relação ao "padrão ouro". Os resultados indicaram maior concordância na identificação das AC por profissionais com experiência na avaliação de sujeitos com FLP, quando comparadas àquela obtida por profissionais sem experiência, quando a transcrição fonética foi utilizada. Outro estudo encontrou concordância baixa, mesmo entre juízes experientes na identificação de produções atípicas, atribuindo este achado à falta de treinamento suficiente para os avaliadores¹². De forma geral, os dados obtidos nestes estudos evidenciam a necessidade de treinamento específico para a identificação das produções compensatórias, o que deve ser iniciado desde a graduação. Sabe-se que o período de graduação em Fonoaudiologia representa um importante momento de formação profissional em que se prepara o futuro profissional para avaliações clínicas especializadas. O uso de materiais que favoreçam tal vivência é recomendado para estes futuros profissionais.

Ao analisar os dados separadamente levando-se em conta somente as consoantes, verificou-se porcentagem de concordância de 42% para a consoante /k/ e de 54% para /g/, com concordância Kappa pequena, mas estatisticamente significante para /k/. Uma análise mais detalhada dos dados sugeriu que quando houve concordância entre juízes sem experiência e "padrão ouro", esta ocorreu um maior número de vezes quanto à omissão do segmento, para ambas as consoantes (tabela 4). Ao se considerar as vogais, a porcentagem de concordância foi de 90% para /a/, 37% para /u/ e 17% para /i/, com concordância Kappa regular (0,37, significante) para /a/ e pequena para /u/ (0,15, significante) e /i/ (0,6, significante).

Estes dados sugerem que enquanto a vogal /a/ favoreceu a concordância para omissão do segmento, as vogais /i/ e /u/ favoreceram a concordância (ainda que baixa) para presença de AC. De forma conjunta os resultados sugerem que mesmo sendo verificada concordância baixa entre juízes (sem experiência e "padrão ouro"), a mesma parece ter sido influenciada pelo contexto fonético das amostras de fala. Assim, para fins clínicos e de pesquisa, sugere-se levar em conta a influência do contexto fonético nos resultados obtidos. Sugere-se, ainda, o uso de protocolos de avaliação de fala com base nos parâmetros universais, conforme recomendados internacionalmente, em 2008¹⁴. Se utilizados em aulas e estágios supervisionados de graduação, estas amostras podem contribuir para o desenvolvimento das habilidades da identificação das AC em futuros profissionais, capacitando-os inclusive para o julgamento de outras amostras de fala, como aquelas usadas em estudos de análise acústica de fala e que requerem uso de palavras em frases veículos ou fala espontânea. De forma geral, estudos recentes que utilizaram transcrições fonéticas indicaram concordância de 80 e 90% entre os julgamentos^11),(18, contrariando estudos prévios que encontram concordâncias mais baixas ^{7),(9),(10),(12}. Tais dados sugerem que a concordância entre os avaliadores podem ser elevadas se houver treinamentos apropriados¹⁶.

Para a condição pós-fonoterapia, verificou-se porcentagem de concordância de 98% (88/90), com índice de concordância Kappa de 65,2% para /g/ e 64,4% para /u/, ambos estatisticamente significantes. Uma análise posterior dos dados evidenciou que a vogal /u/ gerou dúvidas para os juízes sem experiência nesta condição, sendo que juízes sem experiência julgaram duas amostras de fala "gula" como fala alterada (uma como omissão e outra como AC), o que sugere que para juízes sem experiência, a produção da fala após fonoterapia pode ainda não ter magnitude suficiente para ser resgatada auditivamente como típica, em todas as produções. Tal fato não foi observado nas condição controle, uma vez que houve 100% de concordância (Kappa= concordância perfeita) entre os julgamentos, sugerindo que os alunos de graduação de séries iniciais são capazes de identificar as amostras de fala constituídas por consoantes velares em sujeitos com fala típica (sem histórico de alteração), independentemente do contexto fonético em que elas se encontrem.

Finalmente, o presente estudo objetivou verificar se existem diferenças nos julgamentos realizados por juízes com e sem experiências, nas três condições (pré-fonoterapia, pós-fonoterapia e controle). Os resultados evidenciaram que há diferença estatística entre os grupos, com maior percentual de acerto para os juízes experientes (81%), sendo este estatisticamente diferente dos 48% observados para alunos de graduação (p-valor <0,001). Esta análise confirma que, no presente estudo, tanto juízes com experiência (fonoaudiólogos) quanto juízes sem experiência (alunos de série inicial) apresentaram dificuldades em identificar as AC, quando a tarefa de fala solicitada envolveu não somente a identificação da presença de AC ou de fala típica, mas também a diferenciação entre AC e omissão de segmento. O uso da transcrição fonética, embora recomendada, poderia também ter dificultado a tarefa dos juízes sem experiência no julgamento das amostras de fala apresentadas. Neste estudo, os julgamentos realizados foram feitos utilizando palavras inseridas em frases veículos, aproximando-se das amostras de fala utilizadas em estudo prévio¹⁰. As concordâncias obtidas poderiam ser mais altas, caso as amostras de fala fossem constituídas por frases com recorrência dos sons fossem apresentadas para os juízes, com ou sem experiência. Um estudo, já em andamento, pretende verificar o efeito do uso de diferentes amostras de fala na concordância dos julgamentos de avaliadores com experiência, em relação ao "padrão ouro" (juízes múltiplos).

Conclusão

Os dados obtidos no presente estudo sugeriram que a tarefa solicitada, a composição fonética das amostras de fala e a experiência dos juízes influenciaram os julgamentos perceptivo-auditivos, particularmente para a condição pré-fonoterapia. De forma geral, os dados do estudo indicam a necessidade de selecionar as amostras de fala que possam melhor responder aos questionamentos, no que se refere às produções atípicas associadas à FLP. Por exemplo, ao investigar fatos acústicos, o uso de palavras inseridas em frases veículos é recomendado por controlar possíveis variáveis que possam interferir nas medidas de interesse. Já ao investigar a fala por meio da avaliação perceptivo-auditiva, o uso de protocolos padronizados envolvendo amostras de fala com recorrência dos sons pode favorecer a análise de fala por juízes distintos.

Referências

• ¹
  Hanayama EM. Distúrbios da comunicação nos pacientes com sequela de fissura labiopalatina. Rev Bras Cir Craniomaxilofac. 2009;12(3):118-24.
• ²
  Marino VCC, Dutka JCR, Pegoraro-Krook MI, Lima-Gregio, AM. Articulação compensatória associada à fissura de palato ou disfunção velofaríngea: revisão de literatura. Rev CEFAC. 2012;14(3):528-43.
• ³
  Palandi BBN, Guedes ZCF. Aspectos da fala de indivíduos com fissura palatina e labial, corrigida em diferentes idades. Rev CEFAC. 2011;13(1):8-16.
• ⁴
  Pamplona MC, Ysunza A, Chavelas K, Arámburu E, Patiño C, Martí F et al. A study of strategies for treating compensatory articulation in patients with cleft palate. J Maxillofac Oral Surg. 2012;11(2):144-51.
• ⁵
  Bessell A, Sell D, Whiting P, Roulstone S, Albery L, Persson M et al. Speech and language therapy interventions for children with cleft palate: a systematic review. Cleft Palate Craniofac J. 2013;50(1):e1-e17.
• ⁶
  Lohmander A, Olsson M. Methodology for perceptual assessment of speech in patients with cleft palate: A critical review of the literature. Cleft Palate Craniofac J. 2004;41(1):64-70.
• ⁷
  Sell D. Issues in perceptual speech analysis in cleft palate and related disorders: a review. Int J Lang Com Dis. 2005;40(2):103-21.
• ⁸
  Lohmander A, Willadsen E, Persson C, Henningsson G, Bowden M, Hutters B. Methodology for speech assessment in the Scandcleft project - an international randomized clinical trial on palatal surgery: experiences from a pilot study. Cleft Palate Craniofacial J. 2009;46(4):347-62.
• ⁹
  Santelman L, Sussman J, Chapman K. Perception of middorsum palatal stops from the speech of three children with repaired cleft palate. The Cleft Palate Craniofac J. 1999;36:233-42.
• ¹⁰
  Gooch J, Hardin-Jones M, Chapman K, Trost-Cardamone J, Sussman J. Reliability of listener judgments of compensatory articulations. Cleft Palate Craniofac J. 2001;38:59-67.
• ¹¹
  Chapman KL, Hrdin-Jones MA, Goldstein JA, Halter KA, Havlik RJ, Schulte J. Timing of Palatal Surgery and Speech Outcome. The Cleft Palate Craniofac J. 2008;45(3):297-308.
• ¹²
  Brunnegard K, Lohmander A. A cross-sectional study in 10-year-old children with cleft palate: results and issues of rater reliability. The Cleft Palate Craniofac J. 2007;44:33-44.
• ¹³
  Lohmander A, Friede H, Lilja J. Long-Term, longitudinal follow-up of individuals with unilateral cleft lip and palate after the Gothernburg primary early veloplasty and delayed hard palate closure protocol: speech outcome. Cleft Palate Craniofac J. 2012;49(6):657-71.
• ¹⁴
  Hennigsson G, Kuehn DP, Sell D, Sweeney T, Trost-Cardamone JE, Whitehill TL. Universal parameters for reporting speech outcomes in individuals with cleft palate. Cleft Palate Craniofac J. 2008;45(1):1-17.
• ¹⁵
  Klinto K, Salameh EK, Svensson H, Lohmander A. The impact of speech material on speech judgment in children with and without cleft palate. Int J Lang Commun Disord. 2011;46(3):348-60.
• ¹⁶
  Sell D, John A, Harding-Bell A, Sweeney T, Hegarty F., Freeman J. Cleft audit protocol for speech (CAPS-A): a comprehensive training package for speech analysis. Int J Lang Comm Dis. 2009;44:529-48.
• ¹⁷
  Nyberg J, Westberg LR, Neovius E, Larson O., Henningsson G. Speech results after one-stage palatoplasty with or without muscle reconstruction for isolated cleft palate. Cleft Palate Craniofacial J. 2010;47(1):92-103.
• ¹⁸
  Lohmander A, Persson, C. A longitudinal study of speech production in Swedish children with unilateral cleft lip and palate and two-stage palatal repair. Cleft Palate Craniofacial J. 2008;45(1):32-41.
• ¹⁹
  Brunnegård K, Lohmander A, van Doorn J. Untrained listeners' ratings of speech disorders in a group with cleft palate: a comparison with speech and language pathologists' ratings. Int J Lang Commun Disord. 2009;44(5):656-74.
• ²⁰
  Prathanee B, Lorwatanapongsa P, Makarabhirom K, Suphawatjariyakul R, Manochiopining S, Thinnaithorn R. Reliability of perceptual assessment for resonance disorders in patients with cleft palate. J Med Assoc Thai. 2012;95 Suppl 11:S73-9.
• ²¹
  Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
• ²²
  Baylis AL, Munson B, Moller KT. Perceptions of audible nasal emission in speakers with cleft palate: a comparative study of listener judgments. Cleft Palate Craniofac J. 2011;48(4):399-411.
• ²³
  Bzoch KR. A battery of clinical perceptual tests, techniques, and observations for the reliable clinical assessment, evaluation, and management of 11 categoriasl aspects of cleft palate speech disorders. In: Bzoch KR (ed). Communicative disorders related to cleft lip and palate. 5th ed. Austin: Pro-Ed; 2004. p. 375-462.

• Fontes de auxílio à pesquisa: PIBIC-CNPq e PROEX-UNESP

Datas de Publicação

• Publicação nesta coleção
  Nov-Dec 2015

Histórico

• Recebido
  22 Jan 2014
• Aceito
  25 Abr 2014