Accessibility / Report Error

Um método para medição de desempenho do serviço público de Perícia Criminal com base no valor

Resumo:

Este artigo apresenta um método para medição de desempenho com base no valor que o serviço público de Perícia Criminal deve entregar, visando gerenciar e melhorar a operação do serviço. Esse serviço é o órgão do sistema de segurança pública e justiça criminal responsável no Brasil pela produção da prova material. Utiliza conhecimento científico e tecnologia e está intimamente ligado à promoção dos direitos humanos. O método foi desenvolvido e avaliado utilizando-se a metodologia Design Science Research, mostrando-se viável, haja vista que retorna respostas sobre o desempenho de forma simples e rápida para os gestores do serviço. O método proposto pode ser utilizado pelos gestores, para avaliar se a operação está entregando valor aos clientes e para direcionar ações de melhoria, e por agentes políticos, para formulação de políticas públicas de segurança, justiça e direitos humanos.

Palavras-chave:
Medição de valor; Medição de desempenho; Perícia Criminal

Abstract:

This paper presents a method for measuring performance based on the value that Forensic Science Service must deliver to its main clients, in order to achieve a better management and improve its operation performance. The Forensic Science Service is the agency in charge of producing the material evidence at the public safety and criminal justice system, applying scientific knowledge and technology. It´s embedded with human rights promotion. The method was developed and evaluated using Design Science Research methodology and it was viable, once it gives a quick and simple response to service managers. The method might be used by managers to assess if the operation is delivering value to its clients, as well by politicians to make public policies on public safety, criminal justice and human rights.

Keywords:
Value measurement; Performance measurement; Forensic Science

1 Introdução

Entre os desafios do setor público brasileiro está o de melhorar a sua eficiência e, ao mesmo tempo, a qualidade dos serviços prestados à sociedade. Como financiadores dos serviços públicos, os cidadãos aspiram a bons serviços como retorno dos tributos recolhidos.

Entre os serviços que afligem o cotidiano dos cidadãos e têm desafiado vários governos estão os de segurança pública e justiça criminal. Nesse contexto, os órgãos que integram esses sistemas precisam se adaptar às mudanças impostas no plano institucional do país no sentido de melhorar a qualidade dos serviços prestados à sociedade sem aumentar os custos.

Ao mesmo tempo, a engenharia de produção também deve ampliar seu escopo para as operações de serviços, incluindo serviços públicos, sob pena de ficar restrita a um “gueto”, a manufatura (Jesus & Costa, 2014Jesus, I. R., & Costa, H. G. (2014). A nova gestão pública como indutora das atividades de Engenharia de Produção nos órgãos públicos. Production, 24(4), 887-897.; Slack, 2005Slack, N. (2005). Operations estrategy: will it ever realize its potential? Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300004.
http://dx.doi.org/10.1590/S0104-530X2005...
; Starr, 2005Starr, M. K. (2005). Changing agendas for operations management. Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300003.
http://dx.doi.org/10.1590/S0104-530X2005...
; Cauliraux & Yuki, 2004Cauliraux, H. M., & Yuki, M. (Eds.) (2004). Gestão pública e reforma administrativa. Rio de Janeiro: Lucerna.). No Brasil, há exemplos de publicações que demonstram a aplicação do conhecimento da engenharia de produção em segurança pública (Brasil, 2004Brasil. Ministério da Justiça e Segurança Pública. Secretaria Nacional de Segurança Pública. Programa das Nações Unidas para o Desenvolvimento – PNUD. (2004). Eixo:“Modelo de gestão organizacional (Produto 05: Relatório Preliminar dos Trabalhos, 72 p.). Brasília: SENASP. Recuperado em 1 de outubro de 2008, de http://www.dhnet.org.br/redebrasil/executivo/nacional/anexos/gestao_org_caulliraux.pdf
http://www.dhnet.org.br/redebrasil/execu...
; Cauliraux et al., 2004Cauliraux, H. M., Proença, A., & Silva, B. L. (2004). Gestão pública no Brasil. In H. M. Cauliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna.), haja vista a preocupação com a eficiência, eficácia e efetividade das operações.

Na cadeia de produção de serviços de segurança pública e justiça criminal, um dos serviços que tem papel relevante a desempenhar na investigação criminal e julgamento dos delitos é o de Perícia Criminal. Esse serviço é responsável pela produção da prova material, desempenhando papel decisivo na resolução de crimes e na promoção dos direitos humanos.

Porém, apesar da relevância do serviço, uma das lacunas das operações de Perícia Criminal é a medição do desempenho (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.; King & Maguire, 2009King, W., & Maguire, E. (2009). Assessing the performance of systems designed to process criminal forensic evidence. Forensic Science Policy & Management, 1(3), 159-170. http://dx.doi.org/10.1080/19409041003611143.
http://dx.doi.org/10.1080/19409041003611...
). A partir dessa constatação, coloca-se como problema de pesquisa: Como medir e avaliar o desempenho das operações de Perícia Criminal com base no valor que o serviço deve entregar?

Assim, o objetivo deste artigo foi desenvolver um método para medir e avaliar o desempenho do serviço público de Perícia Criminal com base no valor a ser entregue a seus clientes para uso de gestores e praticantes de órgãos periciais. Os objetivos específicos foram: (i) identificar indicadores que medissem o desempenho da operação; (ii) desenvolver um método que medisse o valor que o serviço está entregando a seus clientes; (iii) desenvolver indicadores que auxiliassem os dirigentes periciais na gestão de suas operações e na promoção do necessário alinhamento estratégico, bem como aos agentes políticos na tomada de decisão sobre alocação de recursos e formulação de políticas públicas para o serviço.

Para atingir o objetivo proposto utilizou-se a metodologia Design Science Research, que é adequada para desenvolver métodos prescritivos para gestão (Dresch et al., 2015Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman.; Lacerda et al., 2013Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014.
http://dx.doi.org/10.1590/S0104-530X2013...
; Van Aken & Romme, 2009Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1.
http://dx.doi.org/10.1057/omj.2009.1...
; Van Aken, 2004Van Aken, J. E. (2004). Management research based on the paradigm of the Design Sciences: the quest for field-teste and grounded technological rules. Journal of Management Studies, 41(2), 219-246. http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x.
http://dx.doi.org/10.1111/j.1467-6486.20...
, 2005Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x.
http://dx.doi.org/10.1111/j.1467-8551.20...
) e compatível com o escopo de atuação acadêmica e prática da engenharia de produção e da gestão de operações (Dresch et al., 2015Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman.; Lacerda et al., 2013Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014.
http://dx.doi.org/10.1590/S0104-530X2013...
; Dresch, 2013Dresch, A. (2013). Design Science e Design Science Research como artefatos metodológicos para Engenharia de Produção (Dissertação de mestrado). Programa de Pós-Graduação em Engenharia e Sistemas, Universidade do Vale do Rio dos Sinos, São Leopoldo.).

A pesquisa se justifica porque existem 28 órgãos pericias no Brasil (26 estaduais, um no Distrito Federal e um da união), sendo que 16 são órgãos autônomos, e outros ainda estão dentro da estrutura das polícias judiciárias. O serviço apresenta complexidade gerencial e fragilidade na gestão de suas atividades (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.; Koppl, 2005Koppl, R. (2005). How to improve forensic science. European Journal of Law and Economics, 20(3), 255-286. http://dx.doi.org/10.1007/s10657-005-4196-6.
http://dx.doi.org/10.1007/s10657-005-419...
; Brasil, 2003Brasil. Ministério de Justiça e Segurança Pública. (2003). Plano Nacional de Segurança Pública. Brasília: SENASP. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/biblioteca/Bibliota_pnsp.htm
http://www.mj.gov.br/Senasp/biblioteca/B...
). Uma dessas fragilidades é a inexistência de dados e indicadores sistematizados e consistentes (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.). King & Maguire (2009)King, W., & Maguire, E. (2009). Assessing the performance of systems designed to process criminal forensic evidence. Forensic Science Policy & Management, 1(3), 159-170. http://dx.doi.org/10.1080/19409041003611143.
http://dx.doi.org/10.1080/19409041003611...
destacam que os órgãos periciais desempenham um papel vital e nobre na sociedade e que se deveria medir a efetividade dessas organizações.

O artigo apresenta, além desta introdução, revisão de literatura, método de pesquisa, desenvolvimento do artefato, avaliação, discussão e conclusão, conforme estrutura proposta por Gregor & Hevner (2013)Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for maximum impact. Management Information Systems Quarterly, 37(2), 337-355. para artigos científicos cujo método de pesquisa é a DSR.

2 Revisão da literatura

As operações produtivas precisam de algum tipo de medição de desempenho, a fim serem melhor geridas (Bourne et al., 2002Bourne, M., Neely, A., Platts, K., & Mills, J. (2002). The success and failure of performance measurement initiatives: perceptions of participating managers. International Journal of Operations & Production Management, 22(11), 1288-1310. http://dx.doi.org/10.1108/01443570210450329.
http://dx.doi.org/10.1108/01443570210450...
; Pidd, 2007Pidd, M. (2007). Perversity in public service performance measurement. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 408-429). Cambridge: Cambridge Univerrsity Press.) e de que seja avaliado o valor que está sendo entregue para os clientes (Neely, 1999Neely, A. (1999). The performance measurement revolution: why now and what next? International Journal of Operations & Production Management, 19(2), 205-228. http://dx.doi.org/10.1108/01443579910247437.
http://dx.doi.org/10.1108/01443579910247...
). Mesmo as organizações públicas, cuja missão e jurisdição já são definidas na legislação que as cria, devem ter seu desempenho medido e avaliado (Behn, 2003Behn, R. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(5), 586-606. http://dx.doi.org/10.1111/1540-6210.00322.
http://dx.doi.org/10.1111/1540-6210.0032...
). Porém a medição de desempenho no setor público é complexa em função dos interesses políticos envolvidos e do número de stakeholders das operações (Pidd, 2012Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press.), às vezes com interesses conflitantes (Johnston & Clark, 2005Johnston, R., & Clark, G. (2005). Service operations management: improving service delivery (2 ed.). London: Prentice Hall.).

As principais razões para medir o desempenho nas organizações públicas são: (i) planejamento e melhoria; (ii) monitoramento e controle; (iii) benchmarking; (iv) comunicação e responsabilização; (v) orçamentação; e (vi) gestão do desempenho individual (Pidd, 2012Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press.).

Um sistema de medição de desempenho (SMD) é “[...] um conjunto articulado de indicadores de desempenho que permite realizar a gestão a partir do seu acompanhamento e tomada de ações gerenciais [...]” (Paim et al., 2009Paim, R., Cardoso, V., Caulliraux, H., & Clemente, R. (2009). Gestão de processos: pensar, agir e aprender. Porto Alegre: Bookman., p. 72). A expressão “indicador de desempenho” significa “[...] o menor elemento de um sistema de medição de desempenho [...]” (Toledo et al., 2013Toledo, J. C., Borrás, M. Á., Mergulhão, R. C., & Mendes, G. S. (2013). Qualidade: gestão e métodos. Rio de Janeiro: LTC., p. 351), que pode ser objetivo ou subjetivo. Assim, busca-se definir os indicadores de desempenho-chave (Key Performance Indicators – KPI) que sejam importantes para a organização e sua missão (Pidd, 2012Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press.). Os KPI podem ser definidos desdobrando-se os fatores críticos para a qualidade – Critical to Quality (CTQ) – da operação (Lokkerbol et al., 2012Lokkerbol, J., Does, R., Mast, J., & Schoonhoven, M. (2012). Improving processes in financial service organizations: where to begin? International Journal of Quality & Reliability Management, 29(9), 981-999. http://dx.doi.org/10.1108/02656711211272881.
http://dx.doi.org/10.1108/02656711211272...
) e/ou com base na modelagem dos processos da operação (Paim et al., 2009Paim, R., Cardoso, V., Caulliraux, H., & Clemente, R. (2009). Gestão de processos: pensar, agir e aprender. Porto Alegre: Bookman.).

É relevante distinguir entre outputs, que são os produtos e/ou serviços produzidos, quantificáveis no curto prazo (Behn, 2003Behn, R. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(5), 586-606. http://dx.doi.org/10.1111/1540-6210.00322.
http://dx.doi.org/10.1111/1540-6210.0032...
), e outcomes, que são os “impactos finais sobre o usuário” (Caulliraux & Yamashita, 2004Caulliraux, H. M., & Yamashita, E. C. (2004). Gestão pública no Brasil. In H. M. Caulliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna., p. 56), ou “[...] as consequências sobre as atividades do destinatário do serviço [...]” (Zarifian, 2001Zarifian, P. (2001). Valor, organização e competência na produção de serviço: esboço de um modelo de produção de serviço. In M. S. Salerno. Relação de serviço: produção e avaliação (pp. 95-149). São Paulo: SENAC., p. 119). Poister (2003)Poister, T. H. (2003). Measuring performance in public and nonprofit organizations. São Francisco: Jossey-Bass. recomenda o uso de ambas as medidas, as quais, segundo Pidd (2012)Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press., devem estar interligadas.

Neely et al. (1997Neely, A., Richards, H., Mills, J., Platts, K., & Bourne, M. (1997). Designing performance measures: a structured approach. International Journal of Operations & Production Management, 17(11), 1131-1152. http://dx.doi.org/10.1108/01443579710177888.
http://dx.doi.org/10.1108/01443579710177...
, 2002Neely, A., Bourne, M., Mills, J., Platts, K., & Richards, H. (2002). Getting the measure of your business: strategy and performance. Cambridge: Cambridge University Press.) desenvolveram uma folha de registro (Quadro 1) para auxiliar os gestores no projeto de desenvolvimento das medidas de desempenho. Assim, para cada métrica há: um título autoexplicativo; um propósito, justificando a medida; a que a medida se refere em relação ao objetivo da operação; a definição da meta; a fórmula de cálculo da métrica; a frequência da medição e da revisão; quem mede; as fontes de dados; quem é o responsável pela gestão do processo do qual a métrica deriva e quem age nos respectivos dados; o que a métrica possibilita; eventuais comentários; e a data do registro.

Quadro 1
Quadro de referência para definição de medidas de desempenho.

Neely et al. (2000)Neely, A., Mills, J., Platts, K., Richards, H., Gregory, M., Bourne, M., & Kennerley, M. (2000). Performance measurement system design: developing and testing a process-based approach. International Journal of Operations & Production Management, 20(10), 1119-1145. http://dx.doi.org/10.1108/01443570010343708.
http://dx.doi.org/10.1108/01443570010343...
ressaltam a necessidade de debates com os gestores e praticantes, para obtenção de novos insights, que aperfeiçoem o método de medição. Os indicadores devem fazer sentido para os praticantes, gestores, clientes e agentes políticos (Poister, 2003Poister, T. H. (2003). Measuring performance in public and nonprofit organizations. São Francisco: Jossey-Bass.) e um sistema de recompensas deve acompanhar sua implementação (Austin & Gittel, 2007Austin, R., & Gittel, J. H. (2007). Anomalies of measurement: when it works but should not. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 449-476). Cambridge: Cambridge University Press.).

Uma vez realizadas as medições, é possível aplicar a técnica do benchmarking interno e externo e analisar o valor do serviço da organização ou de partes dela, de pessoal e também monitorar o progresso das iniciativas de gestão (Pike & Roos, 2007Pike, S., & Roos, G. (2007). The validity of measurement frameworks: measurement theory. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 218-235). Cambridge: Cambridge University Press.).

Segundo Slack et al. (2009)Slack, N., Chambers, S., & Johnston, R. (2009). Administração da produção (3 ed.). São Paulo: Atlas., haverá dois tipos de medidas de desempenho nas organizações: medidas agregadas, tais como o nível de satisfação do consumidor ou nível de serviço geral, que dão uma visão mais geral da operação e são mais úteis no nível estratégico; e medidas detalhadas, que permitem um monitoramento mais próximo das operações.

Em medição de desempenho é importante definir eficiência, eficácia e efetividade. Eficiência é a otimização dos recursos utilizados em relação aos resultados alcançados, medido pela produtividade e custo do serviço produzido; enquanto eficácia consiste em uma organização

[...] ofertar adequadamente os bens e serviços esperados, previamente definidos em seus objetivos e metas [...] a efetividade é a soma da eficiência e da eficácia. Assim, a efetividade ocorre quando os bens e serviços resultantes de determinada ação alcançam os resultados mais benéficos para a sociedade (Matias-Pereira, 2010Matias-Pereira, J. (2010). Manual de gestão pública contemporânea (3 ed.). São Paulo: Atlas., p. 223).

Em organizações públicas, deve-se usar indicadores compostos, dada a complexidade da gestão. O indicador composto é “[...] um índice agregado abrangendo alguns indicadores individuais de desempenho [...]” (Jacobs et al., 2007Jacobs, R., Smith, P., & Goddard, M. (2007). The development of composite indicators to measure health care performance. In A. Neely. Business performance measurement: unifying theory and integrating practice (pp. 383-407). Cambridge: Cambridge University Press., p. 383), ou seja, é um “[...] índice composto formado de algumas dimensões em uma tentativa de resumir um conjunto de fatores [...]” (Pidd, 2012Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press., p. 248). O indicador composto facilita as análises e comunicação com os stakeholders.

Jacobs et al. (2007)Jacobs, R., Smith, P., & Goddard, M. (2007). The development of composite indicators to measure health care performance. In A. Neely. Business performance measurement: unifying theory and integrating practice (pp. 383-407). Cambridge: Cambridge University Press. recomendam alguns passos para o desenvolvimento de indicadores compostos, entre eles: (a) escolher os objetivos organizacionais a serem medidos pelo indicador composto; b) escolher os indicadores a serem incluídos no índice composto; c) padronizar os indicadores em uma escala comum, como em variáveis categóricas, para que possam ser comparados interna e externamente; e d) examinar a eficiência, para os agentes políticos e gestores compararem os resultados obtidos com os recursos utilizados.

Um modelo estruturado para medição de desempenho é o Balanced Scored Card (BSC). O BSC consiste na medição de desempenho sob quatro dimensões: (1) financeira, tais como retorno sobre o investimento, fluxo de caixa, valor para o acionista etc.; (2) clientes, como a satisfação dos clientes etc.; (3) processos internos, tais como retrabalho, índice de segurança etc.; e (4) inovação e aprendizagem, tais como o número de sugestões por funcionário, índice de melhoria, entre outros. Os indicadores dessas quatro dimensões devem estar alinhados com a estratégia da organização (Kaplan & Norton, 1996aKaplan, R. S., & Norton, D. P. (1996a). The balanced scorecard: translating strategy into action. Boston: Harvard Business Review Press., bKaplan, R. S., & Norton, D. P. (1996b). Using balanced scored card as a strategic management system. Harvard Business Review, 74(1), 75-85.).

Félix et al. (2011)Félix, R., Félix, P. D., & Timóteo, R. (2011). Balanced ScoreCard: adequação para a gestão estratégica nas organizações públicas. Revista do Serviço Público, 62(1), 51-74. desenvolveram o “BSC.Gov” para as organizações públicas. Esse BSC mantém as perspectivas de processos internos, de aprendizado e crescimento, porém agrega outras perspectivas mais apropriadas ao setor público, tais como relações governamentais, orçamentária, da administração pública e do cidadão/sociedade.

O BSC foi utilizado também na polícia inglesa, porém com seis dimensões: foco no cidadão, redução da criminalidade, investigação de crimes, promoção da segurança pública, prestação de assistência e uso dos recursos. Essa polícia é constituída por 43 unidades relativamente autônomas com um dirigente local cada, subordinados a um ministro nacional. Foram definidos 36 indicadores, sendo que 23 eram medidas de produtos finais (prisões, detenções etc.) ou consequências para stakeholders do serviço. Promoveu-se um benchmarking de desempenho entre as unidades. Há ainda recompensas e punições, que podem chegar à intervenção, em caso de desempenho fraco, pois a medição de desempenho, além de ser conhecimento sobre desempenho, é um instrumento de gestão e política, principalmente para demonstrar o desempenho ao eleitorado (Collier, 2007Collier, P. (2007). Police performance: sovereignty, discipline and governmentality. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 363-382). Cambridge: Cambridge University Press., p. 379).

Chattergoon et al. (2014)Chattergoon, S., Darling, S., Devitt, R., & Klassen, W. (2014). Creating and sustaining value: building a culture of continuous improvement. Health Management Forum, 27(1), 5-9. PMid:25109131. http://dx.doi.org/10.1016/j.hcmf.2013.12.002.
http://dx.doi.org/10.1016/j.hcmf.2013.12...
relatam a experiência de criação e entrega de valor com base na construção de uma cultura de melhoria contínua em um hospital canadense. Todas as iniciativas começaram com a discussão sobre a criação das métricas e processos corretos para reportar os dados no tempo apropriado. Utilizou-se também a gestão à vista para dar publicidade às informações e promover uma forte cultura de medição de desempenho.

2.1 As operações de Perícia Criminal

A Perícia Criminal integra uma cadeia de produção de serviços de segurança pública e justiça criminal. O exame pericial é obrigatório em toda infração penal que deixa vestígios, sob pena de nulidade do processo criminal, não podendo ser substituído nem pela confissão do acusado (Brasil, 1941Brasil. (1941, 24 outubro). Decreto-lei nº 3.689, de 3 de outubro de 1941. Código de Processo Penal. Brasília, DF: Diário Oficial da República Federativa do Brasil. Recuperado em 1 julho de 2012, de http://www.planalto.gov.br/ccivil_03/decreto-lei/del3689.htm
http://www.planalto.gov.br/ccivil_03/dec...
, arts. 158-159). O serviço é complexo, pois tem interfaces com as esferas técnico-científica, policial e jurídica (Misse, 2006Misse, M. (2006). Avaliação da formação e da capacitação profissional dos peritos criminais no Brasil (Relatório final). Brasília: SENASP, Ministério da Justiça. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/pesquisas_aplicadas/anpocs/proj_aprov/aval_form_capacit_michel.pdf
http://www.mj.gov.br/Senasp/pesquisas_ap...
).

O processo começa com a Polícia Militar ou Rodoviária, que ao tomar conhecimento de um delito se dirige ao local, isola-o e aciona a Polícia Judiciária, que assume o caso. Se houver vestígios no local do crime, o delegado de polícia requisitará a perícia e preservará o local para que não se altere o estado das coisas até a chegada dos peritos, e iniciará a investigação. Quando o local do crime é externo (homicídio, desabamento, latrocínio etc.), o perito se desloca e transporta para o local do evento todo o material necessário, do qual desenha croquis, tira fotografias, no qual realiza medições, documenta e recolhe vestígios para exames complementares. Findo os exames do local, retorna-se à unidade pericial e, se necessário, requisita exames laboratoriais e/ou especializados aos peritos da retaguarda, tais como DNA, microcomparação balística, toxicológicos etc. Posteriormente, o perito criminal elabora o laudo pericial, que contém o relato dos exames, as análises e as conclusões periciais, e o encaminha aos clientes. Na fase judicial, os peritos criminais podem ser intimados pelo juiz a responder questões por escrito ou comparecer pessoalmente a audiência para prestar esclarecimentos sobre o laudo. Os principais clientes do serviço são: juízes de direito, promotores públicos, advogados de defesa e delegados de polícia, porque é a eles que se destina o produto final da Perícia Criminal – o laudo pericial (Rodrigues et al., 2010Rodrigues, C. V., Silva, M. T., & Truzzi, O. M. S. (2010). Perícia criminal: uma abordagem de serviços. Gestão & Produção, 17(4), 843-857. http://dx.doi.org/10.1590/S0104-530X2010000400016.
http://dx.doi.org/10.1590/S0104-530X2010...
; Rodrigues, 2010Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos.). A Figura 1 resume os macroprocessos do serviço.

Figura 1
Macroprocessos, fluxos, papel e posição de cada organização na cadeia de produção de serviços de segurança pública e justiça criminal. Fonte: Rodrigues et al. (2010Rodrigues, C. V., Silva, M. T., & Truzzi, O. M. S. (2010). Perícia criminal: uma abordagem de serviços. Gestão & Produção, 17(4), 843-857. http://dx.doi.org/10.1590/S0104-530X2010000400016.
http://dx.doi.org/10.1590/S0104-530X2010...
, p. 847).

2.2 O valor do serviço de Perícia Criminal

As operações devem ser medidas a partir do valor a ser entregue a seus clientes, para, então, se organizá-las e gerenciá-las. O valor do serviço de Perícia Criminal deverá ser medido a partir das consequências nas atividades de seus principais clientes a partir de quatro dimensões – utilidade, justiça, solidariedade e estética – e dos recursos utilizados para produzi-las (Rodrigues, 2010Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos.).

Assim, o serviço deve entregar um valor de utilidade, que consiste em vincular o autor ao local do crime (ou inocentar alguém erroneamente acusado) e/ou elucidar um evento, utilizando-se o conhecimento científico e as inovações tecnológicas aplicadas, a fim de não submeter os envolvidos em uma investigação a constrangimentos (Rodrigues, 2010Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos.).

E, ainda, para ser útil, esse serviço deve ser disponibilizado tempestivamente (dentro do prazo) para auxiliar os clientes em sua respectiva atividade (Belluco & Pimenta, 2013Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV.; Gonçalves, 2013Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.; Lima & Goldszmidt, 2013Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV.; Belluco, 2012Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro.).

A outra dimensão de valor é a da justiça. Consiste na universalização do acesso ao serviço, independentemente de condições preexistentes, tais como etnia, nível socioeconômico, religião, ideologia, gênero, opção sexual e partido político (Rodrigues, 2010Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos.).

A terceira dimensão é a solidariedade, que busca a inclusão social. Para a perícia, significa isenção na produção da prova e, consequentemente, no tratamento isonômico dado a acusação e defesa e na apuração das violações de direitos humanos e outros delitos praticados por agentes do Estado contra os cidadãos, como a tortura (Jesus, 2009Jesus, M. M. (2009). O crime de tortura e a justiça criminal: um estudo dos processos de tortura na cidade de São Paulo (Dissertação de mestrado). Universidade de São Paulo, São Paulo.; Rogêdo, 2005Rogêdo, J. C. (2005). O crime de tortura policial em Belo Horizonte após a lei de tortura, nº 9455 de 7 de abril de 1997 (Dissertação de mestrado). Fundação João Pinheiro, Belo Horizonte.).

Essa dimensão – a necessidade de isenção – é um dos principais argumentos a favor da desvinculação da Perícia Criminal das estruturas policiais e sua constituição como órgão autônomo (National Research Council, 2009National Research Council. (2009). Strengthening forensic science in the United States: a path forward. Washington: National Academies Press. http://dx.doi.org/10.17226/12589.
http://dx.doi.org/10.17226/12589...
; Giannelli, 2007Giannelli, P. (2007). Confirmation bias. Criminal Justice, 22(3), 60-61.; Koppl, 2005Koppl, R. (2005). How to improve forensic science. European Journal of Law and Economics, 20(3), 255-286. http://dx.doi.org/10.1007/s10657-005-4196-6.
http://dx.doi.org/10.1007/s10657-005-419...
), fato que já acontece em 16 estados brasileiros (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.). Essas duas dimensões – acesso e isenção – estão relacionadas com a promoção dos direitos humanos.

A dimensão estética consiste na beleza do serviço, buscando-se uma nova forma de desvendar os crimes utilizando o conhecimento científico e as inovações tecnológicas.

A definição dos recursos é condicionada pelas consequências a serem geradas nas atividades dos clientes do serviço. Os principais recursos utilizados na produção do serviço são as competências dos peritos criminais (engenheiros, físicos, químicos, farmacêuticos, contadores, biólogos, dentistas etc.), enquanto os artefatos tecnológicos são os recursos auxiliares. As competências são duas: a técnica e a comunicativa. A primeira consiste em competência para encontrar vestígios em locais de crime e transformá-los em provas, bem como incorporar novas tecnologias aplicadas ao serviço; enquanto a segunda consiste em estabelecer uma relação dialógica direta com cada um dos clientes. Há várias tecnologias aplicadas pela Perícia Criminal, tais como exames de DNA, pós químicos, cromatógrafos, etc.

Portanto, o valor do serviço está em sua capabilidade de auxiliar a Polícia e a Justiça a elucidarem crimes complexos, utilizando a ciência, respeitando-se os direitos humanos.

2.3 A medição de desempenho em operações de Perícia Criminal

Houck et al. (2012)Houck, M., Speaker, P. J., Fleming, A. S., & Riley, R. A., Jr. (2012). The balanced scoredcard: sustainable performance assessment for forensic laboratories. Science & Justice, 52(4), 209-2016. PMid:23068771. http://dx.doi.org/10.1016/j.scijus.2012.05.006.
http://dx.doi.org/10.1016/j.scijus.2012....
sugerem medir a eficiência através do custo médio por caso, resultado da soma dos custos totais incorridos dividido pelo número de casos. Quanto aos processos internos ou cadeia interna de valor, sugerem a medição das entradas, tais como número de casos, amostras, itens, testes requisitados, e das saídas, como os itens examinados, testes completados e comparecimentos em juízo. Assim, devem ser medidos: a média em número de dias para atendimento das requisições; o percentual de requisições atendidas dentro de “X” dias; a satisfação dos clientes com base em surveys; e o backlog como um percentual do número de casos; o número de erros; e o número de reclamações dos clientes.

Kobus et al. (2011)Kobus, H., Houck, M., Speaker, P., Riley, R., & Witt, T. (2011). Managing performance in the forensic sciences: expectations in light of limited budgets. Forensic Science Policy & Management, 2(1), 36-43. http://dx.doi.org/10.1080/19409044.2011.564271.
http://dx.doi.org/10.1080/19409044.2011....
propõem uma matriz de custo/tempo de produção por valor dos exames (peso da prova produzida) (Figura 2). Por exemplo, os exames de resíduo de pólvora em mãos de suspeitos eram intensivos de mão de obra e imprecisos, logo, o exame se localizava no quadrante inferior direito da matriz (alto custo, baixo valor). Atualmente, utilizando microscópios que analisam a energia dispersa por raios-X, reduzem-se os custos por exame, além de serem precisos, logo, agora estão no quadrante superior esquerdo. Estão no quadrante inferior esquerdo da matriz (baixo custo e baixo valor) os exames que dependem apenas de aplicação de reagentes químicos, cuja coloração adquirida em contato com substância entorpecente, por exemplo, indica presunção de positivo ou negativo. No quadrante superior direito (alto valor e alto custo, porque dependem de análises manuais) está o levantamento do local de crime realizado pelo perito criminal e a produção dos laudos periciais, que são operações críticas, de alto valor e difíceis de automatizar.

Figura 2
Relações percebidas entre valor comprobatório e tempo ou custo das análises. Fonte: Kobus et al. (2011)Kobus, H., Houck, M., Speaker, P., Riley, R., & Witt, T. (2011). Managing performance in the forensic sciences: expectations in light of limited budgets. Forensic Science Policy & Management, 2(1), 36-43. http://dx.doi.org/10.1080/19409044.2011.564271.
http://dx.doi.org/10.1080/19409044.2011....
.

Speaker (2009)Speaker, P. J. (2009). Key performance indicators and managerial analysis for forensic laboratories. Forensic Science Policy & Management, 1(1), 32-42. http://dx.doi.org/10.1080/19409040802624075.
http://dx.doi.org/10.1080/19409040802624...
propõe métricas para o serviço pericial com ênfase financeira. As métricas são distribuídas em cinco categorias: eficiência, qualidade e gestão do risco, processo analítico, contratação de pessoal qualificado e retorno sobre investimento.

Newman et al. (2011)Newman, J., Dawley, D., & Speaker, P. J. (2011). Strategic management of forensic laboratory resources: from project foresight metrics to the development of action plans. Forensic Science Policy & Management, 2(4), 164-174. http://dx.doi.org/10.1080/19409044.2012.693571.
http://dx.doi.org/10.1080/19409044.2012....
sugerem outro indicador de custo médio por caso (Equação 1), no qual a “compensação média” é a média da remuneração e benefícios dos servidores; a “intensidade do teste” é o rateio dos testes realizados entre os casos processados; a “produtividade do trabalho” é medida pelas saídas por unidade pericial por perito criminal; e o “rateio do custo do trabalho” mede o percentual do total das despesas com pessoal.

C u s t o M é d i o / C a s o = ( C o m p e n s a ç ã o m é d i a × int e n s i d a d e d o t e s t e ) ( p r o d u t i v i d a d e d o t r a b a l h o × r a t e i o d e g a s t o c o m t r a b a l h o ) (1)

King & Maguire (2009)King, W., & Maguire, E. (2009). Assessing the performance of systems designed to process criminal forensic evidence. Forensic Science Policy & Management, 1(3), 159-170. http://dx.doi.org/10.1080/19409041003611143.
http://dx.doi.org/10.1080/19409041003611...
propõem que se siga o processo produtivo da cena do crime até o tribunal (Quadro 2), inclusive na cadeia de custódia, que é a rastreabilidade da prova.

Quadro 2
Potenciais indicadores de desempenho para o serviço de Perícia Criminal.

Burrows & Tarling (2004)Burrows, J., & Tarling, R. (2004). Measuring the impact of forensic science in detecting burglary and autocrime offenses. Science & Justice, 44(4), 217-222. PMid:15527184. http://dx.doi.org/10.1016/S1355-0306(04)71721-9.
http://dx.doi.org/10.1016/S1355-0306(04)...
mediram a contribuição do serviço pericial inglês na identificação e detenção de autores de crimes contra o patrimônio, principalmente assaltos em casas e furto de veículos. Concluíram que a Perícia Criminal contribuiu em 40% do total de detenções realizadas pela Polícia.

No Brasil há estudos recentes sobre medição de desempenho na perícia criminal (Belluco & Pimenta, 2013Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV.; Gonçalves, 2013Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.; Martinez, 2013Martinez, S. C. (2013). A efetividade do laudo pericial: um estudo sobre a influência do laudo pericial de informática na decisão judicial (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.; Lima & Goldszmidt, 2013Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV.; Belluco, 2012Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro.). Belluco (2012)Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro. e Belluco & Pimenta (2013)Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV. desenvolveram uma fórmula (Equação 2) para medir a produtividade do serviço pericial, com ênfase no prazo. O índice esperado é 1, indicando que a unidade conseguiu produzir, com o seu efetivo de peritos, o valor referente a um dia de trabalho em média, com base no tempo médio de cada tipo de laudo e número de dias apurado. Se o índice der acima de 1, a unidade pode ser mais eficiente ou estar sobrecarregada; se der abaixo, há baixa produtividade ou ociosidade. O modelo foi aplicado em 53 unidades da Perícia Criminal Federal em 2011. O IPA medido variou de 0,52 a 2,67 (Belluco & Pimenta, 2013Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV.; Belluco, 2012Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro.).

I P A = [ ( l . t ) / ( ( P C F A f ) ) / n ] / 365 (2)

em que: IPA = índice de produtividade anual; l = quantidade de laudos e outros documentos técnicos emitidos pela unidade; t = tempo médio em dias corridos, definido para cada tipo de laudo; PCF = quantidade de peritos lotados na unidade medida diariamente; Af = quantidade de peritos afastados da sede da unidade em virtude de férias, licenças, missões, cursos etc., medidos diariamente; n = número de dias relativo ao somatório dos efetivos.

Lima & Goldszmidt (2013)Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV. propõem três indicadores, através de um conjunto de três fórmulas: celeridade do laudo (Equação 3), efetividade da unidade pericial (Equação 3.1), e efetividade do perito (Equação 3.2), todas com ênfase no prazo e produtividade.

I c e l e r i d a d e = T p r e v i s t o / T r e a l (3)

em que: Iceleridade = índice de celeridade do laudo; Tprevisto = tempo médio previsto pelo modelo para conclusão; Treal = tempo em que o laudo foi efetivamente concluído.

I e f e t i v i d a d e _ u n i d a d e = Q p r a z o / Q t o t a l (3.1)

em que: Iefetividade_unidade = índice de efetividade da unidade; Qprazo = quantidade de laudos concluídos dentro do prazo médio previsto; Qtotal = quantidade total de laudos requisitados no período.

I e f e t i v i d a d e p e r i t o = ln [ ( i = 1 n I c e l e r i d a d e / n ) . i = 1 n T p r e v i s t o . Q p r a z o / Q t o t a l ] (3.2)

em que: ln = logaritmo neperiano.

Martinez (2013)Martinez, S. C. (2013). A efetividade do laudo pericial: um estudo sobre a influência do laudo pericial de informática na decisão judicial (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro. avaliou a efetividade de laudos periciais de informática emitidos em 2007 pelo setor pericial da Polícia Federal no Distrito Federal e pelo Serviço de Perícias de Informática do Instituto Nacional de Criminalística, nas decisões da Procuradoria Geral da República e sentenças dos juízes do Tribunal Regional Federal da 1ª Região. Analisaram-se amostras de 38 processos, totalizando 139 laudos periciais (um processo pode ter mais de um laudo pericial), sendo que 26 processos, contendo 94 laudos periciais, foram sentenciados; enquanto 12 desses processos, contendo 45 laudos, foram arquivados. Fez-se análise de conteúdo, para verificar se as decisões dos procuradores e juízes utilizaram o laudo pericial, pois a menção aos laudos nem sempre é explicita. Concluiu-se que naqueles procedimentos arquivados, os laudos tiveram influência em 100% dos casos; enquanto que, nos processos sentenciados, os laudos foram relevantes em 52% dos casos analisados, em 10% não tiveram influência e em 38% não foi possível estabelecer uma vinculação entre laudo e sentença.

Gonçalves (2013)Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro. avaliou o impacto dos laudos periciais criminais de homicídio e latrocínio no Distrito Federal, junto a juízes de direito, promotores públicos, defensores públicos e delegados de polícia, que trabalhavam com esses crimes, entre 2008 e 2012. O autor aplicou um survey junto aos clientes do serviço, para avaliar a sua percepção sobre os laudos periciais desses tipos penais. Obteve 15 retornos: 8 delegados de polícia, 4 promotores e 3 juízes de direito. As principais conclusões foram: (i) 40% alegaram que os laudos eram intempestivos e o mesmo percentual, que eram tempestivos, os 20% restantes vivenciaram as duas situações; (ii) 47% aguardavam os laudos, 33% ocasionalmente aguardavam e 20%, raramente; (iii) 100% atribuíram notas de 7 a 10 aos laudos periciais. O autor analisou 105 processos de homicídio e 15 de latrocínio. O maior problema encontrado pela pesquisa foi quanto à tempestividade do laudo, cujo prazo médio de conclusão foi de 99,5 dias.

Portanto, há oportunidade para desenvolver um método que meça o valor que o serviço deve entregar a seus clientes, de forma prática e rápida em termos gerenciais.

3 Método de pesquisa

Nesta pesquisa, optou-se pela Design Science Research (DSR), um método comum nas denominadas Ciências do Projeto (Design Science), tais como Medicina e Engenharia, e que também pode ser aplicada à pesquisa organizacional (Van Aken & Romme, 2009Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1.
http://dx.doi.org/10.1057/omj.2009.1...
; Van Aken, 2004Van Aken, J. E. (2004). Management research based on the paradigm of the Design Sciences: the quest for field-teste and grounded technological rules. Journal of Management Studies, 41(2), 219-246. http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x.
http://dx.doi.org/10.1111/j.1467-6486.20...
, 2005Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x.
http://dx.doi.org/10.1111/j.1467-8551.20...
). O objetivo da pesquisa determina o melhor método de pesquisa (Dresch et al., 2015Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman.) e, por essa razão, a DSR foi escolhida.

A DSR é a “[...] pesquisa baseada na abordagem das ciências do projeto, ou seja, pesquisa que desenvolve conhecimento geral válido para resolver problemas de campo [...]” (Van Aken & Romme, 2009Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1.
http://dx.doi.org/10.1057/omj.2009.1...
). As principais características da DSR são: (i) as questões de pesquisa surgem de problemas de campo; (ii) enfatiza o conhecimento orientado à solução, vinculando as intervenções aos resultados como a chave para resolver problemas de campo, ou seja, tem natureza prescritiva; (iii) a validação pragmática dos produtos da pesquisa: as ações baseadas nesse conhecimento produziram os resultados esperados (Van Aken & Romme, 2009Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1.
http://dx.doi.org/10.1057/omj.2009.1...
)? Assim, a DSR facilita a aplicação da prescrição pelos praticantes organizacionais, aumentando a relevância da pesquisa em gestão (Van Aken, 2005Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x.
http://dx.doi.org/10.1111/j.1467-8551.20...
).

A DSR é uma abordagem adequada para desenvolver soluções novas ou melhorar o desempenho daquelas já existentes. Essa solução pode ser uma intervenção ou artefato, para resolver um problema prático e que possa ser generalizada para uma classe de problemas (Dresch et al., 2015Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman.; Van Aken & Romme, 2009Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1.
http://dx.doi.org/10.1057/omj.2009.1...
; Winter, 2008Winter, R. (2008). Design science research in Europe. European Journal of Information Systems, 17(5), 470-475. http://dx.doi.org/10.1057/ejis.2008.44.
http://dx.doi.org/10.1057/ejis.2008.44...
; Peffers et al., 2007Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45-77. http://dx.doi.org/10.2753/MIS0742-1222240302.
http://dx.doi.org/10.2753/MIS0742-122224...
; Van Aken, 2004Van Aken, J. E. (2004). Management research based on the paradigm of the Design Sciences: the quest for field-teste and grounded technological rules. Journal of Management Studies, 41(2), 219-246. http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x.
http://dx.doi.org/10.1111/j.1467-6486.20...
, 2005Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x.
http://dx.doi.org/10.1111/j.1467-8551.20...
, 2004), fato comum em Engenharia de Produção (Lacerda et al., 2013Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014.
http://dx.doi.org/10.1590/S0104-530X2013...
; Dresch, 2013Dresch, A. (2013). Design Science e Design Science Research como artefatos metodológicos para Engenharia de Produção (Dissertação de mestrado). Programa de Pós-Graduação em Engenharia e Sistemas, Universidade do Vale do Rio dos Sinos, São Leopoldo.).

Classe de problemas é “[...] a organização de um conjunto de problemas, práticos ou teóricos, que contenham artefatos avaliados, ou não, úteis para a ação nas organizações [...]” (Lacerda et al., 2013Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014.
http://dx.doi.org/10.1590/S0104-530X2013...
, p. 747). Nesta pesquisa, a classe de problemas considerada foi a medição e avaliação de desempenho para o serviço de Perícia Criminal.

Artefato é algo artificial, concebido pelo ser humano. Podem ser: (i) constructos, que são os conceitos utilizados para descrever os problemas e as soluções naquele domínio; (ii) modelos, que representam as situações como problema e solução e expressam as relações entre os constructos; (iii) um método, que é um conjunto de passos a serem seguidos para que se atinja um resultado em um ambiente externo; ou (iv) instanciações, que são conjuntos de regras que orientam a utilização dos artefatos no ambiente real (Lacerda et al., 2013Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014.
http://dx.doi.org/10.1590/S0104-530X2013...
; Dresch, 2013Dresch, A. (2013). Design Science e Design Science Research como artefatos metodológicos para Engenharia de Produção (Dissertação de mestrado). Programa de Pós-Graduação em Engenharia e Sistemas, Universidade do Vale do Rio dos Sinos, São Leopoldo.). Nesta pesquisa, desenvolveu-se, como artefato, um método para medir o desempenho dos órgãos periciais e de seus profissionais com base no valor do serviço.

No desenvolvimento do artefato, seguiram-se as etapas da condução da DSR proposta por Peffers et al. (2007)Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45-77. http://dx.doi.org/10.2753/MIS0742-1222240302.
http://dx.doi.org/10.2753/MIS0742-122224...
, corroboradas por Gregor & Hevner (2013)Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for maximum impact. Management Information Systems Quarterly, 37(2), 337-355., conforme mostra o Quadro 3.

Quadro 3
Etapas da DSR de acordo com Peffers et al. (2007)Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45-77. http://dx.doi.org/10.2753/MIS0742-1222240302.
http://dx.doi.org/10.2753/MIS0742-122224...
.

O método desenvolvido contém questões na forma de variáveis categóricas, em cujas respostas foram utilizadas escalas de classificação do tipo Likert, atribuindo-se nota de 0 a 10 à resposta, em razão da facilidade de uso e tratamento estatístico (Malhotra, 2001Malhotra, N. K. (2001). Pesquisa de marketing: uma orientação aplicada (N. Montingelli Jr., & A. A. Farias, Trads., 3 ed.). Porto Alegre: Bookman.; Corrêa & Caon, 2002Corrêa, H. L., & Caon, M. (2002). Gestão de serviços: lucratividade por meio de operações e de satisfação dos clientes. São Paulo: Atlas.).

4 Projeto e desenvolvimento do artefato

4.1 Da unidade e órgão pesquisados e artefatos existentes

A pesquisa foi conduzida em uma unidade de Perícia Criminal localizada no interior do Estado de Minas Gerais. A unidade integra a estrutura da Superintendência de Polícia Técnico-Científica (SPTC) da Polícia Civil/MG (PCMG). A SPTC é o órgão responsável pela gestão, planejamento, direção, controle e supervisão da perícia oficial de natureza criminal no estado. Compõem sua estrutura os Institutos Médico-Legal e de Criminalística da capital e as 63 unidades de Perícia Criminal e Medicina Legal do interior. Em 2014, 557 peritos atenderam 218.647 requisições de perícias criminais em todo o estado. O serviço lida com grande variedade de exames (103 espécies) e variabilidade nas próprias espécies de exames.

A unidade pesquisada contava no início da pesquisa com 6 peritos criminais, 3 médicos-legistas e 5 servidores de apoio e, ao final, com 8 peritos criminais, 5 médicos-legistas e 7 servidores de apoio. A unidade possui um imóvel de 600 m2 cedido pela prefeitura municipal local, destinado exclusivamente à Perícia Criminal e Medicina Legal.

No órgão pesquisado, os peritos são avaliados pelo modelo geral da Polícia Civil através da Avaliação de Desempenho Individual (ADI). A ADI é o principal componente da nota do sistema de promoção e compõe a remuneração dos que ingressaram no serviço público do estado a partir de 2003, substituindo o quinquênio de 10% a cada 5 anos de serviço. As notas são lançadas em um sistema informatizado, o formulário é impresso para dar ciência ao servidor e, então, arquivado. As avaliações são realizadas pela chefia imediata (ou uma comissão), com no mínimo dois acompanhamentos por ano, cabendo recurso a instância superior.

As Tabelas 1 e 2 mostram, respectivamente, os formulários para avaliação dos peritos criminais e dos peritos que exercem cargo de gestão (direção e chefia). Ambos estão preenchidos com avaliações reais de 2015, porém preservando-se a identidade dos avaliados.

Tabela 1
Formulário de avaliação de desempenho individual do perito criminal vigente no estado.
Tabela 2
Formulário de avaliação de desempenho para ocupantes de cargos de gestão (direção e chefia).

Esses instrumentos, embora representem avanços, apresentam oportunidades de melhoria, principalmente no sentido de avaliar as dimensões de valor entregue pelo serviço.

4.2 Projeto e desenvolvimento dos indicadores

Para definir os KPI do serviço de Perícia Criminal, utilizou-se a folha de registro de Neely et al. (1997Neely, A., Richards, H., Mills, J., Platts, K., & Bourne, M. (1997). Designing performance measures: a structured approach. International Journal of Operations & Production Management, 17(11), 1131-1152. http://dx.doi.org/10.1108/01443579710177888.
http://dx.doi.org/10.1108/01443579710177...
, 2002Neely, A., Bourne, M., Mills, J., Platts, K., & Richards, H. (2002). Getting the measure of your business: strategy and performance. Cambridge: Cambridge University Press.) e também dimensões do BSC. Porém, por questão de espaço, o seu uso foi demonstrado neste artigo apenas para uma métrica: Utilidade – Indicador 2: Vincular o autor à cena do crime (ou inocentar alguém erroneamente acusado) (Quadro 4).

Quadro 4
Utilidade – Indicador 2: Vincular o autor à cena do crime (ou inocentar aquele erroneamente acusado).

A primeira dimensão de valor é a utilidade do serviço, cujos fatores críticos para a qualidade são: (1) o isolamento e preservação do local de crime; (2) dispor de profissionais treinados e das tecnologias necessárias; (3) comprovar a materialidade do delito (a prova de que o delito ocorreu); (4) buscar, encontrar, documentar, recolher e examinar vestígios que auxiliem vincular o suspeito à cena do crime (ou inocentar alguém erroneamente acusado) ou elucidar o evento, como, por exemplo, a causa de um desabamento ou a queda de um avião; (5) seguir os procedimentos metodológicos recomendados em todas as etapas do processo; (6) estabelecer a dinâmica sobre como os fatos teriam se passado na realidade, ou seja, descrever condutas a partir de vestígios materiais, para que os clientes possam analisá-las e, se for o caso, tipificá-las criminalmente; e (7) entregar o laudo tempestivamente para os clientes. Assim, para medir a utilidade, seria necessário desdobrá-la em no mínimo 7 indicadores, mas esses processos críticos foram transformados em 1 indicador simples e 2 compostos.

O primeiro indicador composto a ser medido consistiu em verificar junto aos produtores e clientes do serviço se o laudo pericial contribuiu para a elucidação do evento, ou seja, medir o quanto o serviço pericial contribui para a comprovação de que o delito de fato existiu (materialidade), suas causas e/ou sobre como os fatos se passaram na realidade (dinâmica), ou outra informação relacionada, comprovada materialmente, que permita elucidar o evento, para que os clientes do serviço possam tipificar (enquadrar legalmente) eventuais condutas delituosas. O ideal é que 100% dos laudos atendessem a esse indicador.

O segundo indicador composto (Quadro 4) consiste em verificar junto aos clientes e produtores do serviço se o laudo pericial permite vincular o autor à cena do crime (ou inocentar alguém erroneamente acusado), ou seja, se o laudo pericial forneceu elementos materiais suficientes que possibilitem definir a autoria. Por exemplo, em caso de homicídio, pode ser o levantamento de uma impressão digital que permita a confrontação com a de um suspeito, ou material fisiológico que permita obter um perfil por meio do exame de DNA.

Ambos indicadores da utilidade (1 e 2) do serviço pericial são o resultado final dos 7 principais processos do serviço listados anteriormente. Assim, as respostas dos produtores do serviço podem ser comparadas com aquelas de cada cliente e os resultados, analisados, buscando-se identificar eventuais lacunas entre as avaliações desses indicadores.

O terceiro indicador de utilidade consiste em medir se o laudo pericial foi produzido tempestivamente para auxiliar a investigação criminal, a instrução processual penal e a sentença judicial. O prazo legal para a conclusão do laudo pericial é de até 10 dias, porém em razão da complexidade da perícia, necessidade de exames complementares e déficit de capacidade, dificilmente se cumpre o prazo legal. Na prática, o órgão pericial deverá estabelecer um prazo para cada tipo de laudo, conforme preconizado por Belluco & Pimenta (2013)Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV. e Lima & Goldszmidt (2013)Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV.. Esses prazos podem variar de um órgão pericial para outro, em função das particularidades. Além disso, cada cliente tem a necessidade do laudo em um determinado tempo. Por exemplo, o delegado de polícia precisa do laudo em tempo hábil para auxiliar na investigação, enquanto o promotor, quando da denúncia ou arquivamento. Assim, perguntar-se-á a cada cliente se o laudo foi recebido tempestivamente para o exercício de sua respectiva atividade. O tempo é medido em dias, contados da data da requisição do exame pericial até a data da disponibilização do respectivo laudo. Deve-se medir o percentual de laudos periciais em atraso em relação ao prazo definido (backlog), por perito, por unidade e no órgão pericial.

Outra dimensão de valor é a de justiça, que é a universalização do serviço, ou seja, a acessibilidade de qualquer pessoa ao serviço. São fatores críticos para essa dimensão: a cobertura geográfica, o número de peritos criminais e a padronização do serviço, para que todos os casos recebam o mesmo tratamento, independentemente de quaisquer condições preexistentes, tais como etnia, nível socioeconômico, crença religiosa, entre outras.

A padronização consiste em adotar procedimentos operacionais padrão (POP) para cada exame pericial, tais como aqueles publicados pela SENASP/MG dentro do Programa Brasil Mais Seguro (Brasil, 2013Brasil. Ministério de Justiça e Segurança Pública. (2013). Procedimento operacional padrão. Brasília: SENASP. Recuperado em 1 março de 2014, de http://portal.mj.gov.br/
http://portal.mj.gov.br/...
), ou outros adotados pelo órgão pericial. Essa avaliação deverá ser realizada pelos gestores do serviço e por clientes que conheçam os POP.

A medição da dimensão da isenção do serviço pericial é difícil de ser obtida a partir de um questionamento aos próprios peritos criminais e aos clientes, porque depende do desenho institucional do órgão pericial. Então, para medi-la, buscou-se avaliar o nível de independência do órgão pericial, cujos fatores críticos são: a quem o dirigente máximo do órgão se subordina, como é realizada sua escolha e nomeação, se ele tem mandato de duração fixa, se o órgão tem corregedoria, escola de formação e orçamento próprios, entre outras variáveis que permitam estabelecer o nível de independência do órgão.

No Brasil há três formas institucionais (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.): (i) A Perícia Criminal integra a estrutura da Polícia Judiciária, caso da união, de 10 estados e do Distrito Federal; (ii) o órgão pericial é vinculado diretamente às Secretarias de Segurança Pública, ou similares, caso de 15 estados; (iii) o órgão pericial é vinculado diretamente ao governador do Estado, cujo único caso é o Amapá. Essa avaliação deve ser feita junto aos gestores do órgão, analisando-se os documentos oficiais que definem a missão, desenho institucional e jurisdição do órgão, em uma escala de 0 (subordinação à Polícia, sem nenhuma autonomia) a 10 (independência financeira, orçamentária, funcional e administrativa, como o Ministério Público).

A dimensão estética é muito subjetiva e não será incluída nesta proposta.

Quanto ao valor sob a perspectiva dos recursos necessários para produzir as consequências nas atividades dos clientes do serviço, há os peritos criminais (e eventuais auxiliares) e as tecnologias para a produção do serviço. Quanto aos profissionais, os resultados da primeira dimensão (utilidade) é que apontarão eventuais deficiências técnicas e/ou comunicativas, visando futuras ações corretivas.

Quanto aos recursos é imperativo medir se há recursos tecnológicos suficientes, atualizados e distribuídos geograficamente para atender tanto a dimensão de utilidade, quanto a universalização do serviço. No Brasil, observa-se que, principalmente nas unidades do interior dos estados, nem todos os recursos necessários estão disponíveis (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.). Esse indicador mediria o percentual de disponibilidade e distribuição dos recursos tecnológicos diante de uma lista contendo os recursos mínimos indispensáveis à prestação do serviço.

Buscou-se ainda uma medida de custo (Equação 4) para a produção do serviço, para uso dos agentes políticos e gestores. O indicador deve medir a eficiência das unidades periciais e do órgão pericial como um todo, através do cálculo do custo médio por laudo (cml), cuja fórmula é:

c m l = c u s t o ( $ ) d o s i n p u t s ( i n s t a l a ç õ e s + p e s s o a l ) / d o s l a u d o s e m i t i d o s (4)

Outro indicador de eficiência de interesse dos agentes políticos e gestores do serviço é a produtividade. Esse indicador é medido em termos de percentual de laudos periciais emitidos em relação ao número de exames requisitados (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.). É dado pela Equação 5:

Pr o d u t i v i d a d e = ( d e l a u d o s e m i t i d o s / e x a m e s r e q u i s i t a d o s ) × 100 % (5)

Por fim, define-se como indicador o ”número de reclamações por ano” dos clientes, por perito criminal, por unidade e para o órgão. Toda vez que houver uma reclamação, buscar-se-á sua causa raiz. São consideradas reclamações (falhas do serviço) a reiteração do pedido de laudo por um cliente, demora ou não comparecimento a um local, entre outras.

Após definidos os KPI para o serviço entregar valor, elaborou-se o método de medição de desempenho. Inicialmente foram elaborados três questionários distintos, para levantamento dos dados. O primeiro questionário (Quadro 5) deve ser respondido pelo perito criminal responsável pelo caso sob avaliação. Parte do questionário será respondida antes de o perito ir para o local do crime, quando for o caso, outra, durante a realização dos exames e a terceira, após o fechamento do laudo. Se o laudo exigir exames complementares, os peritos responsáveis pelos respectivos exames e laudos também o responderão. O objetivo é garantir a observância dos processos internos, avaliando-se cada um dos macroprocessos críticos para o sucesso dos exames periciais. É um guia para os gestores e os peritos se orientarem e identificarem oportunidades de melhoria nos processos do serviço.

Quadro 5
Questionário 1 – Destinado ao perito criminal responsável pelo laudo pericial.

O questionário 2 (Quadro 6) deve acompanhar cada laudo pericial submetido à avaliação, na forma de uma folha suplementar para cada cliente, e também para o próprio perito criminal responsável pelo caso. Esse questionário pode ser aplicado em todos os laudos ou apenas naqueles que a administração pública julgar prioritários. Mede a efetividade do laudo pericial.

Quadro 6
Questionário 2 – Medição de valor: Destinado aos clientes e perito criminal responsável pelo laudo.

O terceiro questionário (Quadro 7) é destinado aos gestores do órgão pericial e deverá ser assinado por seu dirigente máximo. O questionário levanta dados institucionais e de disponibilidade de recursos. Deve ser consolidado anualmente ou sempre que houver atualizações, tais como nomeações, aposentadorias, aquisições de equipamentos etc.

Quadro 7
Questionário 3 – Destinado aos gestores do serviço de Perícia Criminal.

4.3 Descrição do método de medição de desempenho

Após coletadas as informações necessárias, o gestor avaliará os peritos criminais e/ou gestores de unidades que lhe são subordinadas, conforme os formulários das Tabelas 3 e 4, respectivamente, lançando em sistema próprio. Ambos são iguais, sendo que o perito criminal é avaliado por seu desempenho individual, enquanto o gestor, pelo desempenho de sua(s) respectiva(s) unidade(s) ou órgão. Simulou-se uma avaliação para demonstrar o método, utilizando dados reais e estimados do perito e do gestor avaliados nas Tabelas 1 e 2.

Tabela 3
Formulário destinado à avaliação do desempenho individual do Perito Criminal.
Tabela 4
Formulário para avaliação do desempenho do gestor da unidade ou órgão.

O terceiro formulário (Tabela 5) é destinado ao órgão pericial e avalia outras dimensões, tais como acesso, isenção e recursos. Deverá ser respondido pelo dirigente máximo.

Tabela 5
Formulário para avaliação do órgão.

O método deverá ser acompanhado de gestão à vista, que é um fator indutor do desempenho, e outras medidas gerenciais, para sinalizar aos peritos os laudos a serem priorizados, como um sistema kanban, ou algum sistema informatizado, por exemplo.

Para cada KPI deverá ser definida uma meta exequível e progressiva no tempo.

5 Avaliação e resultados do método de medição de desempenho desenvolvido

Os indicadores foram discutidos com 18 gestores do órgão pesquisado em uma reunião presencial, entre eles, o Diretor do Instituto de Criminalística, o Assessor Técnico da SPTC e os chefes das Divisões de Perícia do Interior, de Laboratório e de Perícias Especializadas. Discutiu-se a proposta e se obteve sinergia, confrontando-se as diferentes visões levantadas. Novos insights foram obtidos e ações corretivas foram realizadas nos indicadores desenvolvidos, até se chegar a consenso entre os presentes, atendendo critérios de validade, qualidade e eficácia.

Ainda como forma de avaliação, testou-se na unidade pesquisada parte do artefato (produtividade, percentual de laudos em atraso e número de reclamações por ano) no ambiente para o qual foi projetado. A intervenção foi precedida, ao longo de 2012, de reuniões preparatórias, introdução dos 5S e a um sistema kanban de gaveta, para sinalizar os laudos prioritários. E em 1º de janeiro de 2013 a medição do desempenho dos peritos criminais e do gestor dessa unidade começou, acompanhada de um sistema de gestão à vista, no qual dados e ranqueamento dos peritos criminais foram monitorados e atualizados diariamente, com consolidação anual, nos moldes da Tabela 6, que mostra os resultados de 2015.

Tabela 6
Resultados da medição de desempenho implementada na unidade pericial em 2015.

A Tabela 7 mostra os resultados globais consolidados da unidade pesquisada (e do gestor) em 2013, 2014 e 2015. Embora ainda não houvesse medição de desempenho em 2012, esses dados foram recuperados e colocados na forma da medição implementada a partir de 2013, para demonstrar a melhoria dos indicadores da unidade pesquisada no período.

Tabela 7
Resultados globais da medição implementada em uma unidade pericial em 2012-2015.

A produtividade aumentou em: 36,53% de 2012 para 2013; 6,31% de 2013 para 2014; e 5,22% de 2014 para 2015. E no acumulado 2012-2015 aumentou 53,39%.

A redução do percentual de laudos em atraso foi 51,53% de 2013 em relação a 2012; de 23,81% de 2014 em relação a 2013; e de 35,97% de 2015 em relação a 2014. Em suma, houve uma redução de 76,36% dos laudos em atraso no período acumulado de 2012 a 2015.

E o número de reclamações por ano diminuiu de 62, em 2013, para 19, em 2015, uma redução de 69,35%.

Mediu-se na unidade pesquisada a eficiência em custo, sem aplicar o rigor contábil legal. O custo médio por laudo pericial emitido em 2014 na unidade pesquisada foi estimado em aproximadamente R$ 795,61 (R$ 1.469.075,32/1.778 laudos).

A parte do método implementada foi bem recebida pelos membros da unidade pesquisada, quando foi reconhecido como um instrumento útil, válido e prático de medição de desempenho e gestão do serviço. Os resultados positivos podem ser explicados pela participação e comprometimento dos membros da unidade com a medição.

Foram apontados pelos membros da unidade como pontos positivos a objetividade do sistema e por servir de norte na produção do serviço. Enquanto que, como oportunidades de melhorias, foram sugeridas a revisão do sistema de gestão à vista aberta ao público, devendo permanecer apenas para conhecimento interno, bem como a implementação da avaliação junto aos clientes de forma sistemática.

Na parte relativa aos clientes (eficácia e efetividade do laudo), dois laudos periciais foram submetidos para avaliação a um juiz, um promotor público, um advogado e um delegado de polícia, que afirmaram compreender perfeitamente as questões avaliativas (Quadro 6 – questionário 2) e consideraram o método útil e válido para gerar melhorias.

6 Discussão sobre o método de medição de desempenho desenvolvido

O trabalho gerou aprendizado sobre as dimensões e peculiaridades do serviço para todos os que participaram do processo, principalmente em termos do que o laudo pericial deve entregar aos clientes. A DSR se mostrou uma metodologia adequada ao desenvolvimento do artefato.

Observa-se que o método final (Tabelas 3, 4 e 5) apresenta avanços entre as tentativas para medir e avaliar o desempenho do serviço. Primeiro, porque promove o alinhamento entre os níveis operacional, tático e estratégico, permitindo medir e avaliar o perito criminal e os gestores pelos mesmos critérios. Segundo, porque o método foi além daquelas propostas que mediam apenas a tempestividade (o prazo) dos laudos periciais, haja vista que mede outras dimensões importantes, tais como o valor gerado para os clientes, a implementação de POP para fins de padronização e a observância da cadeia de custódia, fatores críticos para garantir uma qualidade mínima ao serviço prestado. Mede ainda a universalização (acesso) e a isenção, dimensões que sequer foram consideradas em outras propostas. Em suma, mede a eficiência, eficácia e efetividade do serviço, possibilitando ações gerenciais de melhoria.

A medição da efetividade através da análise de inquéritos policiais e processos criminais (Martinez, 2013Martinez, S. C. (2013). A efetividade do laudo pericial: um estudo sobre a influência do laudo pericial de informática na decisão judicial (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.; Gonçalves, 2013Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.), embora apropriada, demanda tempo e pessoal devido ao elevado número de procedimentos existentes, o que a dificulta na prática.

No Brasil, apurou-se uma média geral de produtividade de 73,93% entre os 17 órgãos periciais capazes de fornecer dados sobre demanda e produção (Figueiredo & Pareschi, 2012Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública., p. 87), mas não se mediu o backlog nem o número de reclamações.

Quanto à eficiência, apenas o indicador de custos se mostrou inapropriado para estabelecer um benchmarking entre as unidades, porque há diferenças entre elas em termos de custo com instalações, pessoal, veículos, artefatos tecnológicos, entre outros, provocando grandes distorções na métrica de uma unidade para outra. Deve ser aperfeiçoado.

Durante o período da pesquisa, a unidade pesquisada obteve reconhecimento da SPTC, da PCMG, de agentes políticos e outras autoridades. São exemplos desse reconhecimento a alocação de mais 2 peritos criminais, 2 médicos-legistas, 1 laboratório com instalação de cromatógrafo e promoções a 3 profissionais, entre outros investimentos na unidade.

7 Conclusão

Este artigo mostrou o desenvolvimento de um método para medir e avaliar o desempenho das operações de Perícia Criminal com base no valor que o serviço deve entregar a seus clientes, desde a sua concepção até a sua implementação final, ainda que parcial. E demonstra de forma objetiva uma possibilidade de contribuição da Engenharia de Produção para a melhoria na prestação dos serviços públicos, uma demanda da sociedade brasileira.

A grande vantagem do método desenvolvido foi possibilitar a promoção do alinhamento estratégico em todo órgão, direcionando os indicadores, a medição e avaliação do desempenho para a entrega de valor aos clientes do serviço, conforme proposto. O método avalia pelas mesmas dimensões e indicadores peritos criminais e respectivos gestores, incluindo o dirigente máximo do órgão pericial, de forma prática e objetiva. Avalia também a entrega de valor do órgão como um todo em termos de utilidade, universalização e isenção.

O método possibilita a análise estratificada dos resultados por clientes (Quadro 6 – questionário 2), o que auxilia os gestores na identificação de eventuais lacunas na produção do serviço e a tomada de ações corretivas no sentido de o serviço entregar valor. E o método pode ainda auxiliar os agentes políticos no desenvolvimento de políticas públicas de segurança pública, justiça criminal e promoção dos direitos humanos.

Por fim, o método desenvolvido atingiu o objetivo proposto e é generalizável para qualquer órgão pericial no país, incluindo a medicina legal, haja vista a semelhança dessas operações, até por força da legislação processual penal. A adoção do método em caráter nacional permitiria o estabelecimento de um benchmarking entre os órgãos periciais do país.

Como continuidade a este trabalho, sugere-se a implementação do método em outras unidades de Perícia Criminal e, também, de Medicinal Legal para, assim, ampliar a sua avaliação e difundir os resultados para novas aplicações, buscando-se aperfeiçoá-lo e, ao mesmo tempo, contribuir para a melhoria do desempenho e da gestão dos serviços de Perícia Criminal.

Agradecimentos

Os autores agradecem ao editor e avaliadores deste artigo pelos relevantes comentários que contribuíram para melhorar seu conteúdo e apresentação.

  • Suporte financeiro: Nenhum.

Referências

  • Austin, R., & Gittel, J. H. (2007). Anomalies of measurement: when it works but should not. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 449-476). Cambridge: Cambridge University Press.
  • Behn, R. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(5), 586-606. http://dx.doi.org/10.1111/1540-6210.00322
    » http://dx.doi.org/10.1111/1540-6210.00322
  • Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro.
  • Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV.
  • Bourne, M., Neely, A., Platts, K., & Mills, J. (2002). The success and failure of performance measurement initiatives: perceptions of participating managers. International Journal of Operations & Production Management, 22(11), 1288-1310. http://dx.doi.org/10.1108/01443570210450329
    » http://dx.doi.org/10.1108/01443570210450329
  • Brasil. (1941, 24 outubro). Decreto-lei nº 3.689, de 3 de outubro de 1941. Código de Processo Penal Brasília, DF: Diário Oficial da República Federativa do Brasil. Recuperado em 1 julho de 2012, de http://www.planalto.gov.br/ccivil_03/decreto-lei/del3689.htm
    » http://www.planalto.gov.br/ccivil_03/decreto-lei/del3689.htm
  • Brasil. Ministério de Justiça e Segurança Pública. (2003). Plano Nacional de Segurança Pública. Brasília: SENASP. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/biblioteca/Bibliota_pnsp.htm
    » http://www.mj.gov.br/Senasp/biblioteca/Bibliota_pnsp.htm
  • Brasil. Ministério da Justiça e Segurança Pública. Secretaria Nacional de Segurança Pública. Programa das Nações Unidas para o Desenvolvimento – PNUD. (2004). Eixo:“Modelo de gestão organizacional (Produto 05: Relatório Preliminar dos Trabalhos, 72 p.). Brasília: SENASP. Recuperado em 1 de outubro de 2008, de http://www.dhnet.org.br/redebrasil/executivo/nacional/anexos/gestao_org_caulliraux.pdf
    » http://www.dhnet.org.br/redebrasil/executivo/nacional/anexos/gestao_org_caulliraux.pdf
  • Brasil. Ministério de Justiça e Segurança Pública. (2013). Procedimento operacional padrão. Brasília: SENASP. Recuperado em 1 março de 2014, de http://portal.mj.gov.br/
    » http://portal.mj.gov.br/
  • Burrows, J., & Tarling, R. (2004). Measuring the impact of forensic science in detecting burglary and autocrime offenses. Science & Justice, 44(4), 217-222. PMid:15527184. http://dx.doi.org/10.1016/S1355-0306(04)71721-9
    » http://dx.doi.org/10.1016/S1355-0306(04)71721-9
  • Cauliraux, H. M., & Yuki, M. (Eds.) (2004). Gestão pública e reforma administrativa Rio de Janeiro: Lucerna.
  • Cauliraux, H. M., Proença, A., & Silva, B. L. (2004). Gestão pública no Brasil. In H. M. Cauliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna.
  • Caulliraux, H. M., & Yamashita, E. C. (2004). Gestão pública no Brasil. In H. M. Caulliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna.
  • Chattergoon, S., Darling, S., Devitt, R., & Klassen, W. (2014). Creating and sustaining value: building a culture of continuous improvement. Health Management Forum, 27(1), 5-9. PMid:25109131. http://dx.doi.org/10.1016/j.hcmf.2013.12.002
    » http://dx.doi.org/10.1016/j.hcmf.2013.12.002
  • Collier, P. (2007). Police performance: sovereignty, discipline and governmentality. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 363-382). Cambridge: Cambridge University Press.
  • Corrêa, H. L., & Caon, M. (2002). Gestão de serviços: lucratividade por meio de operações e de satisfação dos clientes. São Paulo: Atlas.
  • Dresch, A. (2013). Design Science e Design Science Research como artefatos metodológicos para Engenharia de Produção (Dissertação de mestrado). Programa de Pós-Graduação em Engenharia e Sistemas, Universidade do Vale do Rio dos Sinos, São Leopoldo.
  • Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman.
  • Félix, R., Félix, P. D., & Timóteo, R. (2011). Balanced ScoreCard: adequação para a gestão estratégica nas organizações públicas. Revista do Serviço Público, 62(1), 51-74.
  • Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública.
  • Giannelli, P. (2007). Confirmation bias. Criminal Justice, 22(3), 60-61.
  • Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.
  • Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for maximum impact. Management Information Systems Quarterly, 37(2), 337-355.
  • Houck, M., Speaker, P. J., Fleming, A. S., & Riley, R. A., Jr. (2012). The balanced scoredcard: sustainable performance assessment for forensic laboratories. Science & Justice, 52(4), 209-2016. PMid:23068771. http://dx.doi.org/10.1016/j.scijus.2012.05.006
    » http://dx.doi.org/10.1016/j.scijus.2012.05.006
  • Jacobs, R., Smith, P., & Goddard, M. (2007). The development of composite indicators to measure health care performance. In A. Neely. Business performance measurement: unifying theory and integrating practice (pp. 383-407). Cambridge: Cambridge University Press.
  • Jesus, I. R., & Costa, H. G. (2014). A nova gestão pública como indutora das atividades de Engenharia de Produção nos órgãos públicos. Production, 24(4), 887-897.
  • Jesus, M. M. (2009). O crime de tortura e a justiça criminal: um estudo dos processos de tortura na cidade de São Paulo (Dissertação de mestrado). Universidade de São Paulo, São Paulo.
  • Johnston, R., & Clark, G. (2005). Service operations management: improving service delivery (2 ed.). London: Prentice Hall.
  • Kaplan, R. S., & Norton, D. P. (1996a). The balanced scorecard: translating strategy into action. Boston: Harvard Business Review Press.
  • Kaplan, R. S., & Norton, D. P. (1996b). Using balanced scored card as a strategic management system. Harvard Business Review, 74(1), 75-85.
  • King, W., & Maguire, E. (2009). Assessing the performance of systems designed to process criminal forensic evidence. Forensic Science Policy & Management, 1(3), 159-170. http://dx.doi.org/10.1080/19409041003611143
    » http://dx.doi.org/10.1080/19409041003611143
  • Kobus, H., Houck, M., Speaker, P., Riley, R., & Witt, T. (2011). Managing performance in the forensic sciences: expectations in light of limited budgets. Forensic Science Policy & Management, 2(1), 36-43. http://dx.doi.org/10.1080/19409044.2011.564271
    » http://dx.doi.org/10.1080/19409044.2011.564271
  • Koppl, R. (2005). How to improve forensic science. European Journal of Law and Economics, 20(3), 255-286. http://dx.doi.org/10.1007/s10657-005-4196-6
    » http://dx.doi.org/10.1007/s10657-005-4196-6
  • Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014
    » http://dx.doi.org/10.1590/S0104-530X2013005000014
  • Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV.
  • Lokkerbol, J., Does, R., Mast, J., & Schoonhoven, M. (2012). Improving processes in financial service organizations: where to begin? International Journal of Quality & Reliability Management, 29(9), 981-999. http://dx.doi.org/10.1108/02656711211272881
    » http://dx.doi.org/10.1108/02656711211272881
  • Malhotra, N. K. (2001). Pesquisa de marketing: uma orientação aplicada (N. Montingelli Jr., & A. A. Farias, Trads., 3 ed.). Porto Alegre: Bookman.
  • Martinez, S. C. (2013). A efetividade do laudo pericial: um estudo sobre a influência do laudo pericial de informática na decisão judicial (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro.
  • Matias-Pereira, J. (2010). Manual de gestão pública contemporânea (3 ed.). São Paulo: Atlas.
  • Misse, M. (2006). Avaliação da formação e da capacitação profissional dos peritos criminais no Brasil (Relatório final). Brasília: SENASP, Ministério da Justiça. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/pesquisas_aplicadas/anpocs/proj_aprov/aval_form_capacit_michel.pdf
    » http://www.mj.gov.br/Senasp/pesquisas_aplicadas/anpocs/proj_aprov/aval_form_capacit_michel.pdf
  • National Research Council. (2009). Strengthening forensic science in the United States: a path forward. Washington: National Academies Press. http://dx.doi.org/10.17226/12589
    » http://dx.doi.org/10.17226/12589
  • Neely, A. (1999). The performance measurement revolution: why now and what next? International Journal of Operations & Production Management, 19(2), 205-228. http://dx.doi.org/10.1108/01443579910247437
    » http://dx.doi.org/10.1108/01443579910247437
  • Neely, A., Bourne, M., Mills, J., Platts, K., & Richards, H. (2002). Getting the measure of your business: strategy and performance. Cambridge: Cambridge University Press.
  • Neely, A., Mills, J., Platts, K., Richards, H., Gregory, M., Bourne, M., & Kennerley, M. (2000). Performance measurement system design: developing and testing a process-based approach. International Journal of Operations & Production Management, 20(10), 1119-1145. http://dx.doi.org/10.1108/01443570010343708
    » http://dx.doi.org/10.1108/01443570010343708
  • Neely, A., Richards, H., Mills, J., Platts, K., & Bourne, M. (1997). Designing performance measures: a structured approach. International Journal of Operations & Production Management, 17(11), 1131-1152. http://dx.doi.org/10.1108/01443579710177888
    » http://dx.doi.org/10.1108/01443579710177888
  • Newman, J., Dawley, D., & Speaker, P. J. (2011). Strategic management of forensic laboratory resources: from project foresight metrics to the development of action plans. Forensic Science Policy & Management, 2(4), 164-174. http://dx.doi.org/10.1080/19409044.2012.693571
    » http://dx.doi.org/10.1080/19409044.2012.693571
  • Paim, R., Cardoso, V., Caulliraux, H., & Clemente, R. (2009). Gestão de processos: pensar, agir e aprender. Porto Alegre: Bookman.
  • Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45-77. http://dx.doi.org/10.2753/MIS0742-1222240302
    » http://dx.doi.org/10.2753/MIS0742-1222240302
  • Pidd, M. (2007). Perversity in public service performance measurement. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 408-429). Cambridge: Cambridge Univerrsity Press.
  • Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press.
  • Pike, S., & Roos, G. (2007). The validity of measurement frameworks: measurement theory. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 218-235). Cambridge: Cambridge University Press.
  • Poister, T. H. (2003). Measuring performance in public and nonprofit organizations. São Francisco: Jossey-Bass.
  • Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos.
  • Rodrigues, C. V., Silva, M. T., & Truzzi, O. M. S. (2010). Perícia criminal: uma abordagem de serviços. Gestão & Produção, 17(4), 843-857. http://dx.doi.org/10.1590/S0104-530X2010000400016
    » http://dx.doi.org/10.1590/S0104-530X2010000400016
  • Rogêdo, J. C. (2005). O crime de tortura policial em Belo Horizonte após a lei de tortura, nº 9455 de 7 de abril de 1997 (Dissertação de mestrado). Fundação João Pinheiro, Belo Horizonte.
  • Slack, N. (2005). Operations estrategy: will it ever realize its potential? Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300004
    » http://dx.doi.org/10.1590/S0104-530X2005000300004
  • Slack, N., Chambers, S., & Johnston, R. (2009). Administração da produção (3 ed.). São Paulo: Atlas.
  • Speaker, P. J. (2009). Key performance indicators and managerial analysis for forensic laboratories. Forensic Science Policy & Management, 1(1), 32-42. http://dx.doi.org/10.1080/19409040802624075
    » http://dx.doi.org/10.1080/19409040802624075
  • Starr, M. K. (2005). Changing agendas for operations management. Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300003
    » http://dx.doi.org/10.1590/S0104-530X2005000300003
  • Toledo, J. C., Borrás, M. Á., Mergulhão, R. C., & Mendes, G. S. (2013). Qualidade: gestão e métodos. Rio de Janeiro: LTC.
  • Van Aken, J. E. (2004). Management research based on the paradigm of the Design Sciences: the quest for field-teste and grounded technological rules. Journal of Management Studies, 41(2), 219-246. http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x
    » http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x
  • Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x
    » http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x
  • Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1
    » http://dx.doi.org/10.1057/omj.2009.1
  • Winter, R. (2008). Design science research in Europe. European Journal of Information Systems, 17(5), 470-475. http://dx.doi.org/10.1057/ejis.2008.44
    » http://dx.doi.org/10.1057/ejis.2008.44
  • Zarifian, P. (2001). Valor, organização e competência na produção de serviço: esboço de um modelo de produção de serviço. In M. S. Salerno. Relação de serviço: produção e avaliação (pp. 95-149). São Paulo: SENAC.

Datas de Publicação

  • Publicação nesta coleção
    21 Set 2017
  • Data do Fascículo
    Jul-Sep 2017

Histórico

  • Recebido
    04 Dez 2015
  • Aceito
    09 Abr 2016
Universidade Federal de São Carlos Departamento de Engenharia de Produção , Caixa Postal 676 , 13.565-905 São Carlos SP Brazil, Tel.: +55 16 3351 8471 - São Carlos - SP - Brazil
E-mail: gp@dep.ufscar.br