Utilidade de regras booleanas aplicadas à liberação de resultados de exames hormonais e marcadores tumorais

Usefulness of Boolean rules applied on the release of hormonal and tumor markers tests results

ARTIGO ORIGINAL ORIGINAL PAPER

Utilidade de regras booleanas aplicadas à liberação de resultados de exames hormonais e marcadores tumorais

Usefulness of Boolean rules applied on the release of hormonal and tumor markers tests results

Murilo Rezende Melo^I; Keli Cardoso de Melo^II; Cláudia Dutra Costantin Faria^III

^IMédico; patologista clínico; professor-assistente; doutor em Medicina pelo Departamento de Ciências Fisiológicas da Faculdade de Ciências Médicas da Santa Casa de São Paulo (FCMSCSP); diretor médico do SAE Laboratório Médico

^IIFarmacêutica-bioquímica; mestranda do Departamento de Moléstias Infecciosas e Parasitárias da Faculdade de Medicina da Universidade São Paulo (FMUSP); supervisora do Setor de Liberação de Exames do SAE Laboratório Médico

^IIIMédica endocrinologista; doutoranda do Departamento de Ciências Fisiológicas da FCMSCSP

^{Endereço para correspondência}

RESUMO

INTRODUÇÃO: A avaliação de perfis hormonais exige, tradicionalmente, a participação de especialistas para adequada liberação setorial. A análise desses resultados através de regras booleanas é alternativa interessante para minimizar os resultados a serem avaliados manualmente.

MATERIAL E MÉTODO: Avaliamos a utilização de regras booleanas construídas no programa Instrument Manager para o equipamento Architect, principalmente para mensuração de hormônios sexuais e tireoidianos, além de marcadores tumorais. O resultado da intervenção foi avaliado quanto a: a) número e facilidade de construção das regras; b) comparação cega entre liberação por patologista clínico (resultados impressos) e conjunto de regras em 940 testes consecutivos.

RESULTADOS: A criação das regras se revelou tarefa complexa e trabalhosa, especialmente pela existência de perfis hormonais com diversos modos de solicitação dos testes. Foram necessárias 153 regras booleanas (do tipo se...então) em uma ordem específica. Essas regras concordaram com o especialista em 97,9% dos casos (920 testes). O conjunto de regras reteve 25 casos (2,7%) e o patologista clínico, apenas nove. Nos 20 casos discordantes, as regras deixaram de reter apenas dois casos, sendo um da fração beta da gonadotrofina coriônica humana (beta-hCG) em homens (que implicou a criação de nova regra) e um caso de perfil tireoidiano completo sem hormônio tireoestimulante (TSH) (o patologista clínico optou por confirmar o pedido médico).

CONCLUSÃO: A criação de conjunto eficiente de regras booleanas é tarefa complexa que necessita de conhecimentos técnicos e de lógica, mas que permite a otimização do funcionamento do laboratório. Obtivemos excelente concordância entre o conjunto de regras criado e a liberação manual de patologista clínico, garantindo a segurança, a velocidade e o menor custo do sistema.

Unitermos: Lógica, Hormônios, Validação de programas de computador, Inteligência artificial

ABSTRACT

BACKGROUND: Hormone profile evaluation traditionally requires an expert review of results for adequate laboratory section test release. Analysis of these results using Boolean rules is an interesting alternative to reduce the number of results that require manual review.

MATERIAL AND METHOD: We evaluated the utilization of Boolean rules using Instrument Manager software and Architect analyzer, mainly performing sex and thyroid hormones measurement. The intervention was evaluated on: a) number of rules and its easiness of construction; b) blind comparison of results evaluation by clinical pathologist (printed results) and set of rules in 940 consecutive tests.

RESULTS: Rule creation was a complex and arduous task, especially due to hormonal profiles with several different request patterns. It was necessary to use a set of 153 Boolean (if then) rules, in a specific order. This set of rules agreed with expert opinion in 97.9% (920 tests). Rules hold 25 tests (2.7%) and the clinical pathologist only nine tests. There was discordance in 20 cases; rules did not hold only two cases: a beta-hCG in a male patient (that prompted the creation of a new rule) and a complete thyroid profile lacking only TSH request (pathologist opted to review the original request).

CONCLUSION: Creation of an efficient set of Boolean rules proved to be a complex task requiring both technical and logics knowledge, but allowing optimization of laboratory workload. We achieved excellent concordance between the set of rules and clinical pathologist manual review, in a safe, fast and low cost system.

key words: Logic, Hormones, Software validation, Artificial intelligence

Introdução

A avaliação de perfis hormonais é assunto complexo e que exige, tradicionalmente, a participação de especialistas para adequada liberação setorial. Entretanto, na maioria dos laboratórios ambulatoriais, uma parte expressiva desses exames encontra-se dentro da normalidade, consumindo recursos humanos e financeiros na sua avaliação. Além disso, a interpretação manual de grande quantidade de resultados normais pode levar à diminuição da atenção dispensada a cada teste e do tempo disponível do supervisor setorial para as adequadas investigação e resolução de casos problemáticos^{(7, 19)}.

Este problema vem se agravando com a tendência de concentração de exames em laboratórios maiores e a formação de grupos de laboratórios, além dos laboratórios de apoio, que usualmente apresentam grande volume desses testes^{(2, 11)}. O custo elevado dos testes imunoquímicos para dosagens hormonais e a dificuldade dos laboratórios brasileiros em repassar custos crescentes com as novas tecnologias utilizadas são a outra face do problema⁽²²⁾. A reformulação dos processos laboratoriais, visando excelência na eficiência operacional e redução concomitante de custos, é considerada uma necessidade para os laboratórios clínicos^{(16, 17)}.

A análise computadorizada dos resultados dos testes laboratoriais é alternativa interessante para selecionar resultados a serem avaliados manualmente por especialista^{(6, 10, 15, 23)}, otimizando assim o processo produtivo. Tem-se discutido bastante esse tipo de análise, mas muito pouco tem sido publicado e documentado sobre tais esforços. A American Association for Clinical Chemistry (AACC) iniciou um projeto on-line (www.aacc.org/labrules/allrecords.cfm) para documentação e discussão de regras, mas muito pouco se tem discutido neste fórum (middleware library), que apresenta, até o momento, apenas 18 regras, sendo a maioria delas muito simples.

Entre os sistemas informatizados comercializados no Brasil, três tipos predominam. O sistema dicotômico, no qual cada teste é avaliado individualmente e classificado entre normal e anormal, é o mais freqüentemente presente nos programas computacionais disponíveis no Brasil. Nesse modelo, os testes classificados como anormais são bloqueados pelos sistemas, enquanto os normais são liberados automaticamente. Uma variação desse algoritmo inclui a utilização de delta-checks, comparando os resultados obtidos com os anteriores e liberando os que apresentem variação considerada adequada para cada teste. Uma vez que esse tipo de liberação de valores não-patológicos é rudimentar demais para administrar cenários complexos como os perfis hormonais, restam basicamente duas metodologias de criação de regras: as regras booleanas e o sistema de lógica fuzzy. Enquanto o primeiro opera como uma caixa-branca, em que as situações são conhecidas e as regras definidas a partir de conhecimento preexistente, na lógica fuzzy existe um componente caixa-cinza no qual o modelador das regras pode introduzir conhecimentos a priori e também extrair e interpretar o conhecimento do modelo⁽¹⁸⁾.

O modelo lógico criado no século XIX pelo inglês George Boole (daí booleanas) baseia-se no uso de operadores (como and, or e not) para definir um conjunto matemático. Tal conjunto de dados, definido na proposição da regra (se), é avaliado como verdadeiro ou falso⁽²³⁾. Caso verdadeiro (o conjunto definido existe na base de dados), é executada a ação correspondente, definida na conclusão (então) da regra. Isso implica uma certa rigidez na construção das regras, necessitando de parametrização de todas as variáveis da proposição.

Estas distinções entre os modelos de regras booleanas e lógica fuzzy são extremamente interessantes, com claras vantagens para a lógica fuzzy (e suas modificações) em situações de alta complexidade, como os modelos evolutivos^{(3, 4)}. Entretanto, na prática do laboratório de rotina, existem dados de literatura abundantes para os testes executados. Assim, uma vez que sabemos as inter-relações entre os elementos utilizados em uma determinada regra, como, por exemplo, a direção usual das concentrações de hormônio tireoestimulante (TSH) e tiroxina livre (T4L) nas diversas condições fisiopatológicas existentes, a importância da escolha entre esses dois modelos é bastante reduzida.

As melhores práticas laboratoriais são um reflexo do conhecimento adquirido pelas diferentes especialidades médicas, sendo traduzidas pelo patologista clínico em regras de avaliação do resultado, quer matematicamente explícitas como uma regra booleana, quer utilizadas de maneira quase subconsciente na avaliação manual dos casos e em sistemas que utilizem a lógica fuzzy. De qualquer modo, o conhecimento está presente a priori, tornando os sistemas bem construídos muito semelhantes quanto aos resultados obtidos.

Neste estudo, avaliamos a utilização de regras booleanas para a liberação setorial de exames hormonais quanto à facilidade da construção de conjunto de regras para um único equipamento e à confiabilidade desse sistema quando em comparação com a avaliação dos mesmos resultados por médico patologista clínico.

Material e método

Avaliamos a utilização de regras booleanas construídas no programa computacional Instrument Manager v8.04.02.10 (IM, Data Innovations, Vermont, EUA) para o equipamento Architect (Abbott, Abbott Park-IL, EUA), em laboratório privado de São Paulo, configurado para os seguintes testes: antígeno carcinoembrionário (CEA), antígeno prostático específico (PSA), fração livre do antígeno prostático específico (PSAL), estradiol, fração beta gonadotrofina coriônica humana (beta-hCG), hormônio folículo-estimulante (FSH), hormônio luteinizante (LH), TSH, progesterona, prolactina, tiroxina total (T4T), T4L, triiodotironina (T3 total) e sua fração livre (T3 livre).

O IM apresenta editor com capacidade ilimitada de regras para cada equipamento interfacetado, além de regras que podem ser utilizadas entre equipamentos diferentes. As regras podem ser do tipo resultado ou requisição, sendo a tomada de ações baseada no tipo de evento. Neste estudo nos restringimos a regras do tipo resultados e específicas para o equipamento mencionado.

O editor do IM permite a construção estruturada de regras booleanas a partir de três tipos de elementos: de dados (85 opções), operadores (20 opções) e ações (68 opções). Os elementos de dados são utilizados exclusivamente na construção das proposições da regra (cláusula se), enquanto os elementos de ação podem ser usados apenas na cláusula então, definindo assim a ação a ser tomada caso a regra seja verdadeira. Os operadores podem ser utilizados em ambas as partes da regra.

Após a criação da regra, deve-se definir sua prioridade em relação às outras. Esse passo é essencial, pois define a ordem das ações a serem tomadas quando um resultado atinge uma condição verdadeira. Estabelecendo prioridades das regras, podem-se utilizar ainda as de apoio, que não serão usadas diretamente para uma tomada de decisão sobre um resultado, mas simplificarão a construção de uma regra subseqüente. Como exemplo, podemos construir regras para avaliação de um resultado anterior de beta-hCG, criando um algoritmo para a liberação dos resultados desse teste (Figura 1).

As regras foram configuradas em conexão específica para testes, em que foram possíveis a simulação de sua utilização e a adequada validação antes da implantação das mesmas na conexão com o Architect. Após validação inicial da construção das regras em resultados fictícios digitados na área de testes, as regras foram copiadas através de um único comando para a conexão com o Architect.

A partir desse momento, as regras implantadas ditaram a liberação dos testes para o sistema de informática laboratorial (X-Clinic, Medical Systems – São Bernardo do Campo-SP, Brasil). Neste sistema é adotada uma liberação final tomando-se o conjunto de resultados de diferentes setores. Os colaboradores responsáveis por esse processo foram alertados para tomarem cuidados adicionais na liberação dos laudos durante esse período de validação. Paralelamente, todos os resultados do equipamento foram impressos e avaliados, independentemente da operação informatizada, por médico patologista clínico com experiência na área hormonal (M.R.M.). Os resultados bloqueados pelo equipamento e que necessitaram de liberação manual foram registrados e avaliados pela supervisão setorial para posterior comparação com os achados da revisão manual.

O resultado da intervenção (uso de regras) foi avaliado quanto a: a) número e facilidade de construção das regras; b) comparação cega entre liberação por patologista clínico e conjunto de regras em amostra de 940 testes avaliados na forma impressa, diretamente pelo equipamento, pelo patologista clínico e, posteriormente, consultada na interface do Instrument Manager.

Utilizamos o programa computacional SigmaStat 2.03 (SPSS) para a realização da análise estatística. O nível de significância adotado (p) foi de 0,05.

Resultados

A criação das regras para o Architect no Instrument Manager se revelou tarefa complexa e trabalhosa, especialmente pela existência de perfis hormonais entre os testes realizados. As regras construídas são relativamente complexas e a curva de aprendizado dos parâmetros a serem utilizados no editor proprietário do IM foi relativamente longa. O processo de aprendizado, incluindo os testes iniciais, até o início da validação foi de aproximadamente dois meses.

Uma vez que, ao se criar uma regra booleana (do tipo se...então), é necessário fixar resultados para valores (resultados possíveis) de todos parâmetros (testes laboratoriais) que participaram da condição se, um complicador foi a existência de diversos modos de solicitação dos testes num laboratório privado. Para o perfil tireoidiano, por exemplo, podemos ter solicitações de T4L + TSH; T4T + T4L + TSH; ou T4T + TSH, entre outras variações. Sendo os perfis de diversos exames, tivemos que inicialmente estudar os perfis de solicitação encontrados para criarmos conjuntos de regras específicos para cada perfil existente.

Isso culminou num total de 153 regras booleanas (do tipo se...então), em uma ordem específica. Na Tabela 1 ilustramos algumas dessas regras criadas para reter resultados não-esperados. Na tabela torna-se claro, ainda, que a construção de regras no IM é baseada na ação resultante de reter os resultados para liberação manual. Assim, os resultados que não corresponderem a nenhuma regra serão liberados automaticamente.

Como houve certa duplicidade de regras, como T4L baixo com TSH baixo e T4T e T4L baixos com TSH baixo, pudemos perceber as dificuldades de edição das regras no Instrument Manager, o qual permite apenas editar as variáveis numéricas de uma regra, mas não a sua revisão textual nem a inclusão ou exclusão de variáveis. Esse foi um fator que tornou a construção do conjunto de regras um processo tedioso e trabalhoso.

A utilização deste conjunto de regras foi avaliada em 940 testes em relação à avaliação manual de patologista clínico de forma independente das regras. Houve concordância em 97,9% dos casos (920 testes). O conjunto de regras reteve 25 casos (2,66%) e o patologista clínico, apenas nove (0,96%), sendo essa diferença significativa (teste de qui-quadrado com correção de Yates, p = 0,011). Houve concordância em reter sete casos, que foram investigados de maneira detalhada, avaliando-se condições da amostra e interferentes medicamentosos, repetindo as mensurações e entrando em contato com o médico assistente, quando pertinente. Nos casos discordantes, as regras deixaram de reter apenas dois casos, sendo um beta-hCG em homens (que implicou a criação de nova regra, já incorporada na Figura 1) e um caso de perfil tireoidiano completo sem TSH (que levou o patologista clínico a confirmar o pedido médico, questionando um eventual esquecimento no cadastro deste teste, o que não se confirmou).

As regras retiveram 18 casos (1,91%), os quais foram liberados pelo patologista clínico. Esses casos foram relacionados a dois fatores principais: uma regra muito geral, de reter todo resultado de crianças (11 casos), e resultados muito próximos aos limites utilizados nas regras, que foram desconsiderados pelo patologista clínico (sete casos). Na Tabela 2 exibimos as freqüências das concordâncias entre as avaliações dos resultados por médico patologista clínico e pelo sistema de regras booleanas criado.

Discussão

A criação de regras booleanas com desempenho satisfatório é tarefa complexa e que necessita de conhecimentos técnicos a respeito das patologias e também de lógica, mas que permite a otimização do funcionamento do laboratório, com maior agilidade na liberação setorial de resultados e, possivelmente, redução de custos.

Neste estudo avaliamos o conjunto de 153 regras booleanas criadas no IM depois de um período de aprendizado e treinamento de aproximadamente dois meses. Essa tarefa foi complicada pelas limitações de edição das regras no sistema, o que gera um considerável grau de retrabalho, mas, principalmente, pela existência de diferentes perfis de solicitação de exames que devem ser avaliados em conjunto.

A necessidade de parametrização das proposições definidoras do conjunto matemático avaliado (cláusula se das regras) é uma limitação intrínseca à criação de regras booleanas, as quais exigem a inclusão de valores para cada um dos parâmetros analisados. Para a criação das regras de liberação de exames laboratoriais é necessário que os conjuntos definidos na proposição correspondam fielmente aos diferentes tipos de pedidos médicos, garantindo assim especificidade nas ações executadas. As proposições devem, portanto, ser específicas, definindo um conjunto claro e não-ambíguo de solicitações e seus resultados para o bom funcionamento desse tipo de regra.

Isso implica o estudo dos diferentes modos que os médicos assistentes podem usar para solicitar os perfis de exames inter-relacionados, os quais devem ser avaliados em conjunto. Essa abordagem privilegia a praticidade, adotando conceitos médicos e de histórico de solicitações para a definição dos conjuntos usuais. A abordagem estritamente matemática, com a definição de todos os cenários possíveis, é teoricamente melhor, pois evita que um pedido médico que não obedeça a um padrão preestabelecido seja avaliado erroneamente pelas regras. Entretanto, o número de conjuntos matemáticos cresce muito nessa abordagem: para o perfil tireoidiano, composto por até cinco exames, haveria 31 conjuntos iniciais (de acordo com o triângulo de Pascal) de pedidos médicos possíveis; cada teste nesses conjuntos pode apresentar três tipos de resultado (acima, entre ou abaixo dos valores de referência), totalizando 4.495 combinações (regras) possíveis. Como não há necessidade de regras para todas as situações possíveis, mas apenas para reter os testes que não apresentem correlação fisiopatológica adequada, este número seria menor, mas, mesmo assim, muito maior que o conseguido utilizando a abordagem por nós adotada.

Em função destas dificuldades inerentes ao processo de criação de regras booleanas, outros processos lógicos e computacionais tornaram-se interessantes, como a lógica fuzzy, as redes neurais, os processos de aprendizado com base em padrões (inteligência artificial), as árvores de decisão, entre outros ^{(1, 3, 8, 9, 12, 14, 21)}. Esses métodos são interessantes e sua utilização deve ser explorada pelos fabricantes de programas computacionais de interfacetamento e sistemas de informação laboratoriais. Por apresentarem um componente de decisão baseado em informações menos completas, mas embasado em outras regras, podem ser úteis nas situações de avaliação de perfis de exames pouco solicitados. Outro ponto promissor dessas tecnologias reside na maior facilidade de incorporação de um parâmetro novo. Enquanto haveria necessidade de reescrever grande parte das regras booleanas nessa situação, alguns desses modelos apresentam maior capacidade adaptativa a novas informações, diminuindo o tempo gasto na manutenção do sistema⁽¹⁸⁾. Tais abordagens necessitam, entretanto, de validação clínica em situações de rotina, utilizando como padrão-ouro a avaliação por especialista. Deve ser ressaltado que, independentemente do modelo lógico utilizado, o sistema computacional deve sempre visar a proteção do paciente, segurando mais casos do que um especialista, especialmente em situações pouco freqüentes.

O processo de redução no tempo de construção das regras para outro equipamento utilizando o Instrument Manager obedece à lei de eficiência da curva de aprendizado, descrita em processos produtivos de aviões em 1936 e, posteriormente, em diversas situações clínicas^{(13, 20, 24)}, a qual estabelece maior eficiência em processos repetitivos com o ganho cumulativo de experiência. A maior velocidade em se criar outro conjunto de regras deve-se à relativa facilidade de copiar regras de um equipamento para outro, com posterior edição dos parâmetros, além do melhor entendimento dos processos inerentes à criação destas regras.

Avaliando o conjunto de regras em 940 testes consecutivos realizados no Architect, obtivemos excelente concordância entre o conjunto de regras criado e a liberação manual por patologista clínico (920 testes, 97,9%). O conjunto de regras reteve mais testes do que o patologista clínico, como esperado, para garantir maior segurança do sistema. Apenas dois casos foram liberados pelo IM de forma discordante do patologista clínico, havendo a criação de uma nova regra para uma situação relativamente rara (beta-hCG em homens elevado), e um caso em que o patologista não liberou o exame para investigar um possível erro administrativo, que não se confirmou. Com conjunto de regras amplo, deve-se atentar para situações raras que mereçam investigação detalhada.

Nossa experiência durante o desenvolvimento deste trabalho e após a tabulação dos resultados sugere que a avaliação de conjunto de regras deva ser feita por outro especialista e também pela observação do desempenho das regras em situações reais, para detectar, principalmente, situações pouco freqüentes de resultados e de solicitações médicas (perfis de exames pouco usuais).

Após a realização deste trabalho, o Clinical and Laboratory Standards Institute (CLSI), antigo National Committee for Clinical and Laboratory Standardization (NCCLS), divulgou a seus membros um documento para comentários (proposto): Autoverification of Clinical Laboratory Test Results (AUTO10P)⁽⁵⁾. Esse documento, que ainda receberá alterações antes de sua publicação na forma aprovada (quando será chamado AUTO10-A), sugere procedimentos de validação dos algoritmos de validação também em duas fases, uma de simulação de resultados e outra com dados reais, podendo ser tanto com amostras escolhidas e com resultados alterados, quanto avaliando amostras da rotina em um período de tempo predefinido (p. ex., um turno). Essas recomendações refletem essencialmente a metodologia por nós adotada.

Uma das características interessantes do IM é a possibilidade de inclusão de avisos de erro (flags) para cada regra. Nós utilizamos tal recurso para dar uma interpretação preliminar do problema ao supervisor setorial. Quando um caso, como, por exemplo, "FSH com resultado baixo em mulher acima de 45 anos", é bloqueado pelas regras, ficando em tela para revisão de resultados, é possível visualizar seu alerta correspondente, nesse caso o aviso idade em uma cor específica, definida pelo usuário. Assim, o supervisor entende rapidamente o motivo do bloqueio, analisa a idade e os outros dados do paciente, podendo definir se é uma variação biológica ou um erro relacionado à amostra.

No laboratório estudado existe, além da liberação setorial que sofreu intervenção da automação, um segundo nível de liberação que avalia os resultados de exames dos diversos setores (automatizados e manuais). O envolvimento desses profissionais durante o desenvolvimento das regras de liberação setorial é importante por dois motivos principais: a maior segurança aos pacientes durante o período de validação das regras e a construção da confiança dos profissionais nas regras e no sistema computacional, que foram co-validados por eles, evitando assim a mera transferência do trabalho ao longo da cadeia produtiva. A satisfação dos colaboradores dos setores técnicos e de liberação com o sistema de regras é um fator importante, que corrobora o sucesso da implantação e permite sua extensão para outros equipamentos e perfis de exames.

Em resumo, a construção de conjunto de regras booleanas para liberação setorial de exames interfacetados é um mecanismo eficiente e seguro para sua implantação em laboratórios clínicos.

Agradecimentos

Agradecemos ao Sr. José Colleoni e à equipe da Data Innovations por seu auxílio na revisão da sintaxe das regras, bem como ao Sr. Wellington de Magalhães Maurício pelo seu auxílio no teste das mesmas.

Primeira submissão em 25/11/05

Última submissão em 12/06/06

Aceito para publicação em 29/06/06

Publicado em 20/08/06

Trabalho realizado no SAE Laboratório Médico e apresentado como pôster durante o 39º Congresso Brasileiro de Patologia Clínica e Medicina Laboratorial, São Paulo, 2005.

• 1. APOLLONI, B. et al A general framework for learning rules from data. IEEE Trans Neural Netw, v. 15, n. 6, p. 1333-49, 2004.
• 2. BERGER, D. A brief history of medical diagnosis and the birth of the clinical laboratory. Part 4 Fraud and abuse, managed-care and lab consolidation. MLO Med Lab Obs, v. 31, n. 12, p. 38-42, 1999.
• 3. CARRASCAL, A. et al Evolutionary local search of fuzzy rules through a novel neuro-fuzzy encoding method. Evol Comput, v. 11, n. 4, p. 439-61, 2003.
• 4. CHANG, X.; LILLY, J. H. Evolutionary design of a fuzzy classifier from data. IEEE Trans Syst Man Cybern B Cybern, v. 34, n. 4, p. 1894-906, 2004.
• 5. CLINICAL AND LABORATORY STANDARDS INSTITUTE. Autoverification of clinical laboratory test results. Proposed Guideline, 2006.
• 6. COHEN, A. et al An intelligent controller for automated operation of sequencing batch reactors. Water Sci Technol, v. 47, n. 12, p. 57-63, 2003.
• 7. DIRNBERGER, G. et al Fatigue in a simple repetitive motor task: a combined electrophysiological and neuropsychological study. Brain Res, v. 1028, n. 1, p. 26-30, 2004.
• 8. EKLUND, P.; FORSSTROM, J. J. Computational intelligence for laboratory information systems. Scand J Clin Lab Invest Suppl, v. 222, p. 21-30, 1995.
• 9. FORSSTROM, J. J. et al Using data preprocessing and single layer perceptron to analyze laboratory data. Scand J Clin Lab Invest Suppl, v. 222, p. 75-81, 1995.
• 10. FURUKAWA, T. Revolution of paradigm in clinical diagnosis: from the mechanization to the intelligent being. Rinsho Byori, v. 39, n. 10, p. 1044-8, 1991.
• 11. GRAY, S. et al Improved laboratory efficiency through cooperation, consultation, and consolidation. Am Clin Lab, v. 21, n. 2, p. 28-31, 2002.
• 12. INNIS, M. D. Clinical problem solving: the role of expert laboratory systems. Med Inform (Lond), v. 22, n. 3, p. 251-61, 1997.
• 13. KEDIKOGLOU, S. et al Implementing clinical protocols in oncology: quality gaps and the learning curve phenomenon. Eur J Public Health, v. 15, n. 4, p. 368-71, 2005.
• 14. KITZIS, S. N. et al Broadening the tests of learning models. J Math Psychol, v. 42, n. 2/3, p. 327-55, 1998.
• 15. KRICKA, L. J.; PARSONS, D.; COOLEN, R. B. Healthcare in the United States and the practice of laboratory medicine. Clin Chim Acta, v. 267, n. 1, p. 5-32, 1997.
• 16. OGUSHI, Q.; ALVES, S. L. Preceitos financeiros em laboratórios clínicos. J Bras Patol Med Lab, v. 36, n. 1, p. 41-4, 2000.
• 17. OLIVEIRA, U. M. Gestão do laboratório sob a lógica de processos de produção e seus controles. J Bras Patol Med Lab, v. 36, n. 3, p. 174-5, 2000.
• 18. PENA-REYES, C. A. Evolutionary fuzzy modeling human diagnostic decisions. Ann N Y Acad Sci, v. 1020, p. 190-211, 2004.
• 19. PIERSON, W. R. Fatigue, work decrement and endurance in a simple repetitive task. Br J Med Psychol, v. 36, p. 279-82, 1963.
• 20. RENZULLI, P.; LAFFER, U. T. Learning curve: the surgeon as a prognostic factor in colorectal cancer surgery. Recent Results Cancer Res, v. 165, p. 86-104, 2005.
• 21. SCHWARZER, G. et al. Comparison of fuzzy inference, logistic regression and classification trees (CART). Prediction of cervical lymph node metastasis in carcinoma of the tongue. Methods Inf Med, v. 42, n. 5, p. 572-7, 2003.
• 22. SEKI, M. et al A inovação de valores nos laboratórios clínicos. J Bras Patol Med Lab, v. 39, n. 3, p. 211-4, 2003.
• 23. WINKEL, P.; RAVN, H. N. Automated laboratory protocols. Comput Methods Programs Biomed, v. 49, n. 1, p. 69-83, 1996.
• 24. WOODS, J. R. et al The learning curve and the cost of heart transplantation. Health Serv Res, v. 27, n. 2, p. 219-38, 1992.

Datas de Publicação

• Publicação nesta coleção
  22 Set 2006
• Data do Fascículo
  Ago 2006

Histórico

• Revisado
  12 Jun 2006
• Recebido
  25 Nov 2005
• Aceito
  29 Jun 2006