SciELO - Scientific Electronic Library Online

 
vol.24 issue3Integrating environmental sustainability and project portfolio management: case study in an energy firmEvaluation of innovation networks based on standardized management system author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Gestão & Produção

Print version ISSN 0104-530XOn-line version ISSN 1806-9649

Gest. Prod. vol.24 no.3 São Carlos July/Sept. 2017  Epub Sep 21, 2017

http://dx.doi.org/10.1590/0104-530x2137-16 

Artigo Original

Um método para medição de desempenho do serviço público de Perícia Criminal com base no valor

Claudio Vilela Rodrigues1  2 

José Carlos de Toledo3 

1Posto de Perícia Integrada – SPTC, Polícia Civil de Minas Gerais – PCMG, Av. Deputado Renato Azeredo, 1342, CEP 37410-000, Três Corações, MG, Brasil, e-mail: claudiovilela@hotmail.com

2Faculdade Cenecista de Varginha, Rua Professor Felipe Tiago Gomes, 173, Vila Bueno, CEP 37006-020, Varginha, MG, Brasil

3Departamento de Engenharia de Produção, Universidade Federal de São Carlos – UFSCar, Rod. Washington Luiz, Km 235, SP-310, CEP 13565-905, São Carlos, SP, Brasil, e-mail: toledo@dep.ufscar.br

Resumo:

Este artigo apresenta um método para medição de desempenho com base no valor que o serviço público de Perícia Criminal deve entregar, visando gerenciar e melhorar a operação do serviço. Esse serviço é o órgão do sistema de segurança pública e justiça criminal responsável no Brasil pela produção da prova material. Utiliza conhecimento científico e tecnologia e está intimamente ligado à promoção dos direitos humanos. O método foi desenvolvido e avaliado utilizando-se a metodologia Design Science Research, mostrando-se viável, haja vista que retorna respostas sobre o desempenho de forma simples e rápida para os gestores do serviço. O método proposto pode ser utilizado pelos gestores, para avaliar se a operação está entregando valor aos clientes e para direcionar ações de melhoria, e por agentes políticos, para formulação de políticas públicas de segurança, justiça e direitos humanos.

Palavras-chave: Medição de valor; Medição de desempenho; Perícia Criminal

1 Introdução

Entre os desafios do setor público brasileiro está o de melhorar a sua eficiência e, ao mesmo tempo, a qualidade dos serviços prestados à sociedade. Como financiadores dos serviços públicos, os cidadãos aspiram a bons serviços como retorno dos tributos recolhidos.

Entre os serviços que afligem o cotidiano dos cidadãos e têm desafiado vários governos estão os de segurança pública e justiça criminal. Nesse contexto, os órgãos que integram esses sistemas precisam se adaptar às mudanças impostas no plano institucional do país no sentido de melhorar a qualidade dos serviços prestados à sociedade sem aumentar os custos.

Ao mesmo tempo, a engenharia de produção também deve ampliar seu escopo para as operações de serviços, incluindo serviços públicos, sob pena de ficar restrita a um “gueto”, a manufatura (Jesus & Costa, 2014; Slack, 2005; Starr, 2005; Cauliraux & Yuki, 2004). No Brasil, há exemplos de publicações que demonstram a aplicação do conhecimento da engenharia de produção em segurança pública (Brasil, 2004; Cauliraux et al., 2004), haja vista a preocupação com a eficiência, eficácia e efetividade das operações.

Na cadeia de produção de serviços de segurança pública e justiça criminal, um dos serviços que tem papel relevante a desempenhar na investigação criminal e julgamento dos delitos é o de Perícia Criminal. Esse serviço é responsável pela produção da prova material, desempenhando papel decisivo na resolução de crimes e na promoção dos direitos humanos.

Porém, apesar da relevância do serviço, uma das lacunas das operações de Perícia Criminal é a medição do desempenho (Figueiredo & Pareschi, 2012; King & Maguire, 2009). A partir dessa constatação, coloca-se como problema de pesquisa: Como medir e avaliar o desempenho das operações de Perícia Criminal com base no valor que o serviço deve entregar?

Assim, o objetivo deste artigo foi desenvolver um método para medir e avaliar o desempenho do serviço público de Perícia Criminal com base no valor a ser entregue a seus clientes para uso de gestores e praticantes de órgãos periciais. Os objetivos específicos foram: (i) identificar indicadores que medissem o desempenho da operação; (ii) desenvolver um método que medisse o valor que o serviço está entregando a seus clientes; (iii) desenvolver indicadores que auxiliassem os dirigentes periciais na gestão de suas operações e na promoção do necessário alinhamento estratégico, bem como aos agentes políticos na tomada de decisão sobre alocação de recursos e formulação de políticas públicas para o serviço.

Para atingir o objetivo proposto utilizou-se a metodologia Design Science Research, que é adequada para desenvolver métodos prescritivos para gestão (Dresch et al., 2015; Lacerda et al., 2013; Van Aken & Romme, 2009; Van Aken, 2004, 2005) e compatível com o escopo de atuação acadêmica e prática da engenharia de produção e da gestão de operações (Dresch et al., 2015; Lacerda et al., 2013; Dresch, 2013).

A pesquisa se justifica porque existem 28 órgãos pericias no Brasil (26 estaduais, um no Distrito Federal e um da união), sendo que 16 são órgãos autônomos, e outros ainda estão dentro da estrutura das polícias judiciárias. O serviço apresenta complexidade gerencial e fragilidade na gestão de suas atividades (Figueiredo & Pareschi, 2012; Koppl, 2005; Brasil, 2003). Uma dessas fragilidades é a inexistência de dados e indicadores sistematizados e consistentes (Figueiredo & Pareschi, 2012). King & Maguire (2009) destacam que os órgãos periciais desempenham um papel vital e nobre na sociedade e que se deveria medir a efetividade dessas organizações.

O artigo apresenta, além desta introdução, revisão de literatura, método de pesquisa, desenvolvimento do artefato, avaliação, discussão e conclusão, conforme estrutura proposta por Gregor & Hevner (2013) para artigos científicos cujo método de pesquisa é a DSR.

2 Revisão da literatura

As operações produtivas precisam de algum tipo de medição de desempenho, a fim serem melhor geridas (Bourne et al., 2002; Pidd, 2007) e de que seja avaliado o valor que está sendo entregue para os clientes (Neely, 1999). Mesmo as organizações públicas, cuja missão e jurisdição já são definidas na legislação que as cria, devem ter seu desempenho medido e avaliado (Behn, 2003). Porém a medição de desempenho no setor público é complexa em função dos interesses políticos envolvidos e do número de stakeholders das operações (Pidd, 2012), às vezes com interesses conflitantes (Johnston & Clark, 2005).

As principais razões para medir o desempenho nas organizações públicas são: (i) planejamento e melhoria; (ii) monitoramento e controle; (iii) benchmarking; (iv) comunicação e responsabilização; (v) orçamentação; e (vi) gestão do desempenho individual (Pidd, 2012).

Um sistema de medição de desempenho (SMD) é “[...] um conjunto articulado de indicadores de desempenho que permite realizar a gestão a partir do seu acompanhamento e tomada de ações gerenciais [...]” (Paim et al., 2009, p. 72). A expressão “indicador de desempenho” significa “[...] o menor elemento de um sistema de medição de desempenho [...]” (Toledo et al., 2013, p. 351), que pode ser objetivo ou subjetivo. Assim, busca-se definir os indicadores de desempenho-chave (Key Performance Indicators – KPI) que sejam importantes para a organização e sua missão (Pidd, 2012). Os KPI podem ser definidos desdobrando-se os fatores críticos para a qualidade – Critical to Quality (CTQ) – da operação (Lokkerbol et al., 2012) e/ou com base na modelagem dos processos da operação (Paim et al., 2009).

É relevante distinguir entre outputs, que são os produtos e/ou serviços produzidos, quantificáveis no curto prazo (Behn, 2003), e outcomes, que são os “impactos finais sobre o usuário” (Caulliraux & Yamashita, 2004, p. 56), ou “[...] as consequências sobre as atividades do destinatário do serviço [...]” (Zarifian, 2001, p. 119). Poister (2003) recomenda o uso de ambas as medidas, as quais, segundo Pidd (2012), devem estar interligadas.

Neely et al. (1997, 2002) desenvolveram uma folha de registro (Quadro 1) para auxiliar os gestores no projeto de desenvolvimento das medidas de desempenho. Assim, para cada métrica há: um título autoexplicativo; um propósito, justificando a medida; a que a medida se refere em relação ao objetivo da operação; a definição da meta; a fórmula de cálculo da métrica; a frequência da medição e da revisão; quem mede; as fontes de dados; quem é o responsável pela gestão do processo do qual a métrica deriva e quem age nos respectivos dados; o que a métrica possibilita; eventuais comentários; e a data do registro.

Quadro 1 Quadro de referência para definição de medidas de desempenho. 

Detalhes
Título
Propósito
Refere-se a
Meta
Fórmula
Frequência de medição
Frequência de revisão
Quem mede?
O que elas fazem?
Fontes de dados
Quem age nos dados?
O que eles fazem?
Quais ações possíveis?
Notas e comentários
Data/Documento nº

Fonte: Neely et al. (1997, 2002).

Neely et al. (2000) ressaltam a necessidade de debates com os gestores e praticantes, para obtenção de novos insights, que aperfeiçoem o método de medição. Os indicadores devem fazer sentido para os praticantes, gestores, clientes e agentes políticos (Poister, 2003) e um sistema de recompensas deve acompanhar sua implementação (Austin & Gittel, 2007).

Uma vez realizadas as medições, é possível aplicar a técnica do benchmarking interno e externo e analisar o valor do serviço da organização ou de partes dela, de pessoal e também monitorar o progresso das iniciativas de gestão (Pike & Roos, 2007).

Segundo Slack et al. (2009), haverá dois tipos de medidas de desempenho nas organizações: medidas agregadas, tais como o nível de satisfação do consumidor ou nível de serviço geral, que dão uma visão mais geral da operação e são mais úteis no nível estratégico; e medidas detalhadas, que permitem um monitoramento mais próximo das operações.

Em medição de desempenho é importante definir eficiência, eficácia e efetividade. Eficiência é a otimização dos recursos utilizados em relação aos resultados alcançados, medido pela produtividade e custo do serviço produzido; enquanto eficácia consiste em uma organização

[...] ofertar adequadamente os bens e serviços esperados, previamente definidos em seus objetivos e metas [...] a efetividade é a soma da eficiência e da eficácia. Assim, a efetividade ocorre quando os bens e serviços resultantes de determinada ação alcançam os resultados mais benéficos para a sociedade (Matias-Pereira, 2010, p. 223).

Em organizações públicas, deve-se usar indicadores compostos, dada a complexidade da gestão. O indicador composto é “[...] um índice agregado abrangendo alguns indicadores individuais de desempenho [...]” (Jacobs et al., 2007, p. 383), ou seja, é um “[...] índice composto formado de algumas dimensões em uma tentativa de resumir um conjunto de fatores [...]” (Pidd, 2012, p. 248). O indicador composto facilita as análises e comunicação com os stakeholders.

Jacobs et al. (2007) recomendam alguns passos para o desenvolvimento de indicadores compostos, entre eles: (a) escolher os objetivos organizacionais a serem medidos pelo indicador composto; b) escolher os indicadores a serem incluídos no índice composto; c) padronizar os indicadores em uma escala comum, como em variáveis categóricas, para que possam ser comparados interna e externamente; e d) examinar a eficiência, para os agentes políticos e gestores compararem os resultados obtidos com os recursos utilizados.

Um modelo estruturado para medição de desempenho é o Balanced Scored Card (BSC). O BSC consiste na medição de desempenho sob quatro dimensões: (1) financeira, tais como retorno sobre o investimento, fluxo de caixa, valor para o acionista etc.; (2) clientes, como a satisfação dos clientes etc.; (3) processos internos, tais como retrabalho, índice de segurança etc.; e (4) inovação e aprendizagem, tais como o número de sugestões por funcionário, índice de melhoria, entre outros. Os indicadores dessas quatro dimensões devem estar alinhados com a estratégia da organização (Kaplan & Norton, 1996a, b).

Félix et al. (2011) desenvolveram o “BSC.Gov” para as organizações públicas. Esse BSC mantém as perspectivas de processos internos, de aprendizado e crescimento, porém agrega outras perspectivas mais apropriadas ao setor público, tais como relações governamentais, orçamentária, da administração pública e do cidadão/sociedade.

O BSC foi utilizado também na polícia inglesa, porém com seis dimensões: foco no cidadão, redução da criminalidade, investigação de crimes, promoção da segurança pública, prestação de assistência e uso dos recursos. Essa polícia é constituída por 43 unidades relativamente autônomas com um dirigente local cada, subordinados a um ministro nacional. Foram definidos 36 indicadores, sendo que 23 eram medidas de produtos finais (prisões, detenções etc.) ou consequências para stakeholders do serviço. Promoveu-se um benchmarking de desempenho entre as unidades. Há ainda recompensas e punições, que podem chegar à intervenção, em caso de desempenho fraco, pois a medição de desempenho, além de ser conhecimento sobre desempenho, é um instrumento de gestão e política, principalmente para demonstrar o desempenho ao eleitorado (Collier, 2007, p. 379).

Chattergoon et al. (2014) relatam a experiência de criação e entrega de valor com base na construção de uma cultura de melhoria contínua em um hospital canadense. Todas as iniciativas começaram com a discussão sobre a criação das métricas e processos corretos para reportar os dados no tempo apropriado. Utilizou-se também a gestão à vista para dar publicidade às informações e promover uma forte cultura de medição de desempenho.

2.1 As operações de Perícia Criminal

A Perícia Criminal integra uma cadeia de produção de serviços de segurança pública e justiça criminal. O exame pericial é obrigatório em toda infração penal que deixa vestígios, sob pena de nulidade do processo criminal, não podendo ser substituído nem pela confissão do acusado (Brasil, 1941, arts. 158-159). O serviço é complexo, pois tem interfaces com as esferas técnico-científica, policial e jurídica (Misse, 2006).

O processo começa com a Polícia Militar ou Rodoviária, que ao tomar conhecimento de um delito se dirige ao local, isola-o e aciona a Polícia Judiciária, que assume o caso. Se houver vestígios no local do crime, o delegado de polícia requisitará a perícia e preservará o local para que não se altere o estado das coisas até a chegada dos peritos, e iniciará a investigação. Quando o local do crime é externo (homicídio, desabamento, latrocínio etc.), o perito se desloca e transporta para o local do evento todo o material necessário, do qual desenha croquis, tira fotografias, no qual realiza medições, documenta e recolhe vestígios para exames complementares. Findo os exames do local, retorna-se à unidade pericial e, se necessário, requisita exames laboratoriais e/ou especializados aos peritos da retaguarda, tais como DNA, microcomparação balística, toxicológicos etc. Posteriormente, o perito criminal elabora o laudo pericial, que contém o relato dos exames, as análises e as conclusões periciais, e o encaminha aos clientes. Na fase judicial, os peritos criminais podem ser intimados pelo juiz a responder questões por escrito ou comparecer pessoalmente a audiência para prestar esclarecimentos sobre o laudo. Os principais clientes do serviço são: juízes de direito, promotores públicos, advogados de defesa e delegados de polícia, porque é a eles que se destina o produto final da Perícia Criminal – o laudo pericial (Rodrigues et al., 2010; Rodrigues, 2010). A Figura 1 resume os macroprocessos do serviço.

Figura 1 Macroprocessos, fluxos, papel e posição de cada organização na cadeia de produção de serviços de segurança pública e justiça criminal. Fonte: Rodrigues et al. (2010, p. 847). 

2.2 O valor do serviço de Perícia Criminal

As operações devem ser medidas a partir do valor a ser entregue a seus clientes, para, então, se organizá-las e gerenciá-las. O valor do serviço de Perícia Criminal deverá ser medido a partir das consequências nas atividades de seus principais clientes a partir de quatro dimensões – utilidade, justiça, solidariedade e estética – e dos recursos utilizados para produzi-las (Rodrigues, 2010).

Assim, o serviço deve entregar um valor de utilidade, que consiste em vincular o autor ao local do crime (ou inocentar alguém erroneamente acusado) e/ou elucidar um evento, utilizando-se o conhecimento científico e as inovações tecnológicas aplicadas, a fim de não submeter os envolvidos em uma investigação a constrangimentos (Rodrigues, 2010).

E, ainda, para ser útil, esse serviço deve ser disponibilizado tempestivamente (dentro do prazo) para auxiliar os clientes em sua respectiva atividade (Belluco & Pimenta, 2013; Gonçalves, 2013; Lima & Goldszmidt, 2013; Belluco, 2012).

A outra dimensão de valor é a da justiça. Consiste na universalização do acesso ao serviço, independentemente de condições preexistentes, tais como etnia, nível socioeconômico, religião, ideologia, gênero, opção sexual e partido político (Rodrigues, 2010).

A terceira dimensão é a solidariedade, que busca a inclusão social. Para a perícia, significa isenção na produção da prova e, consequentemente, no tratamento isonômico dado a acusação e defesa e na apuração das violações de direitos humanos e outros delitos praticados por agentes do Estado contra os cidadãos, como a tortura (Jesus, 2009; Rogêdo, 2005).

Essa dimensão – a necessidade de isenção – é um dos principais argumentos a favor da desvinculação da Perícia Criminal das estruturas policiais e sua constituição como órgão autônomo (National Research Council, 2009; Giannelli, 2007; Koppl, 2005), fato que já acontece em 16 estados brasileiros (Figueiredo & Pareschi, 2012). Essas duas dimensões – acesso e isenção – estão relacionadas com a promoção dos direitos humanos.

A dimensão estética consiste na beleza do serviço, buscando-se uma nova forma de desvendar os crimes utilizando o conhecimento científico e as inovações tecnológicas.

A definição dos recursos é condicionada pelas consequências a serem geradas nas atividades dos clientes do serviço. Os principais recursos utilizados na produção do serviço são as competências dos peritos criminais (engenheiros, físicos, químicos, farmacêuticos, contadores, biólogos, dentistas etc.), enquanto os artefatos tecnológicos são os recursos auxiliares. As competências são duas: a técnica e a comunicativa. A primeira consiste em competência para encontrar vestígios em locais de crime e transformá-los em provas, bem como incorporar novas tecnologias aplicadas ao serviço; enquanto a segunda consiste em estabelecer uma relação dialógica direta com cada um dos clientes. Há várias tecnologias aplicadas pela Perícia Criminal, tais como exames de DNA, pós químicos, cromatógrafos, etc.

Portanto, o valor do serviço está em sua capabilidade de auxiliar a Polícia e a Justiça a elucidarem crimes complexos, utilizando a ciência, respeitando-se os direitos humanos.

2.3 A medição de desempenho em operações de Perícia Criminal

Houck et al. (2012) sugerem medir a eficiência através do custo médio por caso, resultado da soma dos custos totais incorridos dividido pelo número de casos. Quanto aos processos internos ou cadeia interna de valor, sugerem a medição das entradas, tais como número de casos, amostras, itens, testes requisitados, e das saídas, como os itens examinados, testes completados e comparecimentos em juízo. Assim, devem ser medidos: a média em número de dias para atendimento das requisições; o percentual de requisições atendidas dentro de “X” dias; a satisfação dos clientes com base em surveys; e o backlog como um percentual do número de casos; o número de erros; e o número de reclamações dos clientes.

Kobus et al. (2011) propõem uma matriz de custo/tempo de produção por valor dos exames (peso da prova produzida) (Figura 2). Por exemplo, os exames de resíduo de pólvora em mãos de suspeitos eram intensivos de mão de obra e imprecisos, logo, o exame se localizava no quadrante inferior direito da matriz (alto custo, baixo valor). Atualmente, utilizando microscópios que analisam a energia dispersa por raios-X, reduzem-se os custos por exame, além de serem precisos, logo, agora estão no quadrante superior esquerdo. Estão no quadrante inferior esquerdo da matriz (baixo custo e baixo valor) os exames que dependem apenas de aplicação de reagentes químicos, cuja coloração adquirida em contato com substância entorpecente, por exemplo, indica presunção de positivo ou negativo. No quadrante superior direito (alto valor e alto custo, porque dependem de análises manuais) está o levantamento do local de crime realizado pelo perito criminal e a produção dos laudos periciais, que são operações críticas, de alto valor e difíceis de automatizar.

Figura 2 Relações percebidas entre valor comprobatório e tempo ou custo das análises. Fonte: Kobus et al. (2011)

Speaker (2009) propõe métricas para o serviço pericial com ênfase financeira. As métricas são distribuídas em cinco categorias: eficiência, qualidade e gestão do risco, processo analítico, contratação de pessoal qualificado e retorno sobre investimento.

Newman et al. (2011) sugerem outro indicador de custo médio por caso (Equação 1), no qual a “compensação média” é a média da remuneração e benefícios dos servidores; a “intensidade do teste” é o rateio dos testes realizados entre os casos processados; a “produtividade do trabalho” é medida pelas saídas por unidade pericial por perito criminal; e o “rateio do custo do trabalho” mede o percentual do total das despesas com pessoal.

Custo Médio/Caso=(Compensação média × intensidade do teste)(produtividade do trabalho × rateio de gasto com trabalho) (1)

King & Maguire (2009) propõem que se siga o processo produtivo da cena do crime até o tribunal (Quadro 2), inclusive na cadeia de custódia, que é a rastreabilidade da prova.

Quadro 2 Potenciais indicadores de desempenho para o serviço de Perícia Criminal. 

1. Indicadores de desempenho para o processamento do local de crime e estocagem da evidência Habilidade para encontrar, proteger e processar a cena do crime
Habilidade para localizar e acondicionar a evidência física
Habilidade para documentar a cena do crime (esquemas, notas, fotografias etc.)
Habilidade para submeter apropriadamente a evidência física a análise ou guarda
Habilidade para guardar adequadamente e proteger a evidência
Habilidade para dispor ou destruir evidência física quando apropriado
Uso correto dos processadores (artefatos tecnológicos) periciais
2. Indicadores de desempenho para análise da evidência Rapidez das análises
Tamanho dos backlogs
Acurácia das análises
Sistema de triagem de casos e análises
Habilidade para guardar e proteger a evidência de alterações, destruição e furto
Habilidade para dispor ou destruir a evidência física quando for adequado
3. Indicadores de desempenho para disseminação, uso e utilidade da informação no laudo Disseminação da informação das análises periciais para investigadores e promotores
Compreensão das informações por investigadores e promotores
Utilidade das informações periciais para os casos, denúncias e absolvições
Disponibilidade das informações periciais para investigadores e promotores
Satisfação geral dos clientes (juízes, investigadores e promotores) com as informações periciais recebidas

Fonte: King & Maguire (2009, p. 165).

Burrows & Tarling (2004) mediram a contribuição do serviço pericial inglês na identificação e detenção de autores de crimes contra o patrimônio, principalmente assaltos em casas e furto de veículos. Concluíram que a Perícia Criminal contribuiu em 40% do total de detenções realizadas pela Polícia.

No Brasil há estudos recentes sobre medição de desempenho na perícia criminal (Belluco & Pimenta, 2013; Gonçalves, 2013; Martinez, 2013; Lima & Goldszmidt, 2013; Belluco, 2012). Belluco (2012) e Belluco & Pimenta (2013) desenvolveram uma fórmula (Equação 2) para medir a produtividade do serviço pericial, com ênfase no prazo. O índice esperado é 1, indicando que a unidade conseguiu produzir, com o seu efetivo de peritos, o valor referente a um dia de trabalho em média, com base no tempo médio de cada tipo de laudo e número de dias apurado. Se o índice der acima de 1, a unidade pode ser mais eficiente ou estar sobrecarregada; se der abaixo, há baixa produtividade ou ociosidade. O modelo foi aplicado em 53 unidades da Perícia Criminal Federal em 2011. O IPA medido variou de 0,52 a 2,67 (Belluco & Pimenta, 2013; Belluco, 2012).

IPA = [(l.t)/((PCF Af))/n]/365 (2)

em que: IPA = índice de produtividade anual; l = quantidade de laudos e outros documentos técnicos emitidos pela unidade; t = tempo médio em dias corridos, definido para cada tipo de laudo; PCF = quantidade de peritos lotados na unidade medida diariamente; Af = quantidade de peritos afastados da sede da unidade em virtude de férias, licenças, missões, cursos etc., medidos diariamente; n = número de dias relativo ao somatório dos efetivos.

Lima & Goldszmidt (2013) propõem três indicadores, através de um conjunto de três fórmulas: celeridade do laudo (Equação 3), efetividade da unidade pericial (Equação 3.1), e efetividade do perito (Equação 3.2), todas com ênfase no prazo e produtividade.

Iceleridade= Tprevisto/Treal (3)

em que: Iceleridade = índice de celeridade do laudo; Tprevisto = tempo médio previsto pelo modelo para conclusão; Treal = tempo em que o laudo foi efetivamente concluído.

Iefetividade_unidade= Qprazo/Qtotal (3.1)

em que: Iefetividade_unidade = índice de efetividade da unidade; Qprazo = quantidade de laudos concluídos dentro do prazo médio previsto; Qtotal = quantidade total de laudos requisitados no período.

Iefetividadeperito= ln [(i=1nIceleridade/n). i=1nTprevisto.Qprazo/Qtotal] (3.2)

em que: ln = logaritmo neperiano.

Martinez (2013) avaliou a efetividade de laudos periciais de informática emitidos em 2007 pelo setor pericial da Polícia Federal no Distrito Federal e pelo Serviço de Perícias de Informática do Instituto Nacional de Criminalística, nas decisões da Procuradoria Geral da República e sentenças dos juízes do Tribunal Regional Federal da 1ª Região. Analisaram-se amostras de 38 processos, totalizando 139 laudos periciais (um processo pode ter mais de um laudo pericial), sendo que 26 processos, contendo 94 laudos periciais, foram sentenciados; enquanto 12 desses processos, contendo 45 laudos, foram arquivados. Fez-se análise de conteúdo, para verificar se as decisões dos procuradores e juízes utilizaram o laudo pericial, pois a menção aos laudos nem sempre é explicita. Concluiu-se que naqueles procedimentos arquivados, os laudos tiveram influência em 100% dos casos; enquanto que, nos processos sentenciados, os laudos foram relevantes em 52% dos casos analisados, em 10% não tiveram influência e em 38% não foi possível estabelecer uma vinculação entre laudo e sentença.

Gonçalves (2013) avaliou o impacto dos laudos periciais criminais de homicídio e latrocínio no Distrito Federal, junto a juízes de direito, promotores públicos, defensores públicos e delegados de polícia, que trabalhavam com esses crimes, entre 2008 e 2012. O autor aplicou um survey junto aos clientes do serviço, para avaliar a sua percepção sobre os laudos periciais desses tipos penais. Obteve 15 retornos: 8 delegados de polícia, 4 promotores e 3 juízes de direito. As principais conclusões foram: (i) 40% alegaram que os laudos eram intempestivos e o mesmo percentual, que eram tempestivos, os 20% restantes vivenciaram as duas situações; (ii) 47% aguardavam os laudos, 33% ocasionalmente aguardavam e 20%, raramente; (iii) 100% atribuíram notas de 7 a 10 aos laudos periciais. O autor analisou 105 processos de homicídio e 15 de latrocínio. O maior problema encontrado pela pesquisa foi quanto à tempestividade do laudo, cujo prazo médio de conclusão foi de 99,5 dias.

Portanto, há oportunidade para desenvolver um método que meça o valor que o serviço deve entregar a seus clientes, de forma prática e rápida em termos gerenciais.

3 Método de pesquisa

Nesta pesquisa, optou-se pela Design Science Research (DSR), um método comum nas denominadas Ciências do Projeto (Design Science), tais como Medicina e Engenharia, e que também pode ser aplicada à pesquisa organizacional (Van Aken & Romme, 2009; Van Aken, 2004, 2005). O objetivo da pesquisa determina o melhor método de pesquisa (Dresch et al., 2015) e, por essa razão, a DSR foi escolhida.

A DSR é a “[...] pesquisa baseada na abordagem das ciências do projeto, ou seja, pesquisa que desenvolve conhecimento geral válido para resolver problemas de campo [...]” (Van Aken & Romme, 2009). As principais características da DSR são: (i) as questões de pesquisa surgem de problemas de campo; (ii) enfatiza o conhecimento orientado à solução, vinculando as intervenções aos resultados como a chave para resolver problemas de campo, ou seja, tem natureza prescritiva; (iii) a validação pragmática dos produtos da pesquisa: as ações baseadas nesse conhecimento produziram os resultados esperados (Van Aken & Romme, 2009)? Assim, a DSR facilita a aplicação da prescrição pelos praticantes organizacionais, aumentando a relevância da pesquisa em gestão (Van Aken, 2005).

A DSR é uma abordagem adequada para desenvolver soluções novas ou melhorar o desempenho daquelas já existentes. Essa solução pode ser uma intervenção ou artefato, para resolver um problema prático e que possa ser generalizada para uma classe de problemas (Dresch et al., 2015; Van Aken & Romme, 2009; Winter, 2008; Peffers et al., 2007; Van Aken, 2004, 2005, 2004), fato comum em Engenharia de Produção (Lacerda et al., 2013; Dresch, 2013).

Classe de problemas é “[...] a organização de um conjunto de problemas, práticos ou teóricos, que contenham artefatos avaliados, ou não, úteis para a ação nas organizações [...]” (Lacerda et al., 2013, p. 747). Nesta pesquisa, a classe de problemas considerada foi a medição e avaliação de desempenho para o serviço de Perícia Criminal.

Artefato é algo artificial, concebido pelo ser humano. Podem ser: (i) constructos, que são os conceitos utilizados para descrever os problemas e as soluções naquele domínio; (ii) modelos, que representam as situações como problema e solução e expressam as relações entre os constructos; (iii) um método, que é um conjunto de passos a serem seguidos para que se atinja um resultado em um ambiente externo; ou (iv) instanciações, que são conjuntos de regras que orientam a utilização dos artefatos no ambiente real (Lacerda et al., 2013; Dresch, 2013). Nesta pesquisa, desenvolveu-se, como artefato, um método para medir o desempenho dos órgãos periciais e de seus profissionais com base no valor do serviço.

No desenvolvimento do artefato, seguiram-se as etapas da condução da DSR proposta por Peffers et al. (2007), corroboradas por Gregor & Hevner (2013), conforme mostra o Quadro 3.

Quadro 3 Etapas da DSR de acordo com Peffers et al. (2007)

Etapa Descrição Procedimentos adotados nesta pesquisa
1) Identificação do problema É especificado o problema e o valor da solução, principalmente em função da importância do problema O problema foi identificado tanto com base em lacuna na literatura quanto em reuniões com os membros da unidade pesquisada
2) Definição dos objetivos da solução Busca de uma solução que seja possível e viável para o problema O objetivo definido foi projetar uma solução customizada para medir e avaliar o desempenho do serviço de Perícia Criminal e de seus profissionais e promover o alinhamento estratégico organizacional, com base no valor do serviço
3) Projeto e desenvolvimento Criação do artefato (construtos, modelos, métodos e instanciações) A partir do problema, da revisão da literatura, da busca pelos artefatos existentes, das dimensões de valor que o serviço deve entregar e de reuniões com membros da unidade e gestores do órgão pesquisados um método para medir o desempenho foi projetado e desenvolvido como solução
4) Demonstração Consiste na demonstração do uso do artefato, pode ser por experimentação, simulação ou outra atividade apropriada O método foi demonstrado mediante experimentação na unidade pericial pesquisada, onde foi parcialmente implementado
5) Avaliação Consiste em qualquer evidência empírica ou prova lógica que informem se o artefato contribuiu para a solução do problema, o que pode ser feito de várias maneiras, como avaliação dos praticantes e demonstração O método foi avaliado pelos membros da unidade pesquisada e, posteriormente, pelos gestores do órgão pericial, segundo critérios de utilidade, validade, qualidade e eficácia, conforme sugerido por Gregor & Hevner (2013)
6) Comunicação Comunicar a importância do problema e a utilidade do artefato e sua relevância para a academia e os praticantes, através de um artigo científico, por exemplo A comunicação está sendo realizada por meio deste artigo, seguindo a estrutura para artigos científicos cujo método de pesquisa é a DSR, conforme proposto por Gregor & Hevner (2013)

O método desenvolvido contém questões na forma de variáveis categóricas, em cujas respostas foram utilizadas escalas de classificação do tipo Likert, atribuindo-se nota de 0 a 10 à resposta, em razão da facilidade de uso e tratamento estatístico (Malhotra, 2001; Corrêa & Caon, 2002).

4 Projeto e desenvolvimento do artefato

4.1 Da unidade e órgão pesquisados e artefatos existentes

A pesquisa foi conduzida em uma unidade de Perícia Criminal localizada no interior do Estado de Minas Gerais. A unidade integra a estrutura da Superintendência de Polícia Técnico-Científica (SPTC) da Polícia Civil/MG (PCMG). A SPTC é o órgão responsável pela gestão, planejamento, direção, controle e supervisão da perícia oficial de natureza criminal no estado. Compõem sua estrutura os Institutos Médico-Legal e de Criminalística da capital e as 63 unidades de Perícia Criminal e Medicina Legal do interior. Em 2014, 557 peritos atenderam 218.647 requisições de perícias criminais em todo o estado. O serviço lida com grande variedade de exames (103 espécies) e variabilidade nas próprias espécies de exames.

A unidade pesquisada contava no início da pesquisa com 6 peritos criminais, 3 médicos-legistas e 5 servidores de apoio e, ao final, com 8 peritos criminais, 5 médicos-legistas e 7 servidores de apoio. A unidade possui um imóvel de 600 m2 cedido pela prefeitura municipal local, destinado exclusivamente à Perícia Criminal e Medicina Legal.

No órgão pesquisado, os peritos são avaliados pelo modelo geral da Polícia Civil através da Avaliação de Desempenho Individual (ADI). A ADI é o principal componente da nota do sistema de promoção e compõe a remuneração dos que ingressaram no serviço público do estado a partir de 2003, substituindo o quinquênio de 10% a cada 5 anos de serviço. As notas são lançadas em um sistema informatizado, o formulário é impresso para dar ciência ao servidor e, então, arquivado. As avaliações são realizadas pela chefia imediata (ou uma comissão), com no mínimo dois acompanhamentos por ano, cabendo recurso a instância superior.

As Tabelas 1 e 2 mostram, respectivamente, os formulários para avaliação dos peritos criminais e dos peritos que exercem cargo de gestão (direção e chefia). Ambos estão preenchidos com avaliações reais de 2015, porém preservando-se a identidade dos avaliados.

Tabela 1 Formulário de avaliação de desempenho individual do perito criminal vigente no estado. 

Critério Nota (0 a 10) Peso Pontos (Nota × Peso)
1 – Hierarquia 10 0,6 6,00
2 – Disciplina 10 0,6 6,00
3 – Qualidade do trabalho 10 1,2 12,00
4 – Produtividade no trabalho 10 0,8 8,00
5 – Iniciativa 9 0,7 6,30
6 – Presteza 10 0,4 4,00
7 – Interesse em participar de programa de capacitação 10 0,3 3,00
8 – Aproveitamento em programa de capacitação* - 0,0 -
9 – Assiduidade 9 0,2 1,80
10 – Pontualidade 9 0,2 1,80
11 – Administração do tempo e tempestividade 10 0,4 4,00
12 – Racionalidade 10 0,4 4,00
13 – Comunicação 8 0,5 4,00
14 – Ética profissional 10 1,6 16,00
15 – Adaptabilidade 9 1,3 11,70
16 – Capacidade de trabalhar em equipe 9 0,8 7,20
Total de pontos 95,80

*Não é avaliado em todos os casos. Fonte: dados da pesquisa.

Tabela 2 Formulário de avaliação de desempenho para ocupantes de cargos de gestão (direção e chefia). 

CRITÉRIO Dimensões Nota
(0 a 10)
Peso Pontos
(Nota × Peso)
1 - Competência gerencial Delegação de funções 10,00 0,8 48,00
Desenvolvimento de pessoas 10,00
Flexibilidade 10,00
Gerência participativa 10,00
Planejamento 10,00
Tomada de decisão 10,00
2 - Competência técnica Conhecimento do trabalho 10,00 0,6 28,80
Eficácia 8,00
Eficiência 10,00
Qualidade e produtividade 10,00
Qualificação profissional 10,00
3 - Competência interpessoal Comunicação 10,00 0,5 10,00
Iniciativa 10,00
4 - Disciplina Assiduidade 10,00 0,4 12,00
Ética profissional 10,00
Uso adequado de equipamentos e instalações 10,00
Total de pontos da avaliação de desempenho individual 98,80

Fonte: Dados da pesquisa.

Esses instrumentos, embora representem avanços, apresentam oportunidades de melhoria, principalmente no sentido de avaliar as dimensões de valor entregue pelo serviço.

4.2 Projeto e desenvolvimento dos indicadores

Para definir os KPI do serviço de Perícia Criminal, utilizou-se a folha de registro de Neely et al. (1997, 2002) e também dimensões do BSC. Porém, por questão de espaço, o seu uso foi demonstrado neste artigo apenas para uma métrica: Utilidade – Indicador 2: Vincular o autor à cena do crime (ou inocentar alguém erroneamente acusado) (Quadro 4).

Quadro 4 Utilidade – Indicador 2: Vincular o autor à cena do crime (ou inocentar aquele erroneamente acusado). 

Detalhes
Título Contribuição para definição de autoria
Propósito Medir o quanto o laudo pericial contribuiu para vincular o suspeito à cena do crime (ou para inocentar alguém erroneamente acusado) ou definir a autoria de um delito
Refere-se a Utilidade crítica do serviço de Perícia Criminal
Meta 100% dos laudos periciais devem conter algum vestígio que permita identificar o verdadeiro autor de um delito ou inocentar alguém erroneamente acusado
Fórmula O laudo pericial permite vincular o suspeito à cena do crime (ou inocentar alguém erroneamente acusado) ou definir a autoria? Resposta em escala nominal do tipo Likert
Frequência de medição Cada laudo, ou aqueles tidos como prioritários pelo governo e/ou gestão do órgão
Frequência de revisão Anual
Quem mede? Clientes (juizes de direito, promotores, delegados de polícia e defesa) e perito criminal
O que elas fazem? Medir o quanto a Perícia Criminal contribui para identificação do autor do delito (ou para inocentar alguém erroneamente acusado) utilizando o conhecimento científico e as tecnologias aplicadas à Perícia Criminal
Fontes de dados Laudo pericial
Quem age nos dados? Perito criminal responsável pelo laudo pericial
O que eles fazem? Levantam os vestígios, realizam exames complementares e laboratoriais e elaboram o laudo pericial
Quais ações possíveis? Treinamento constante de pessoal e investimento em inovações tecnológicas
Notas e comentários Trata-se de um KPI crítico para a Perícia Criminal

Fonte: inspirado em Neely et al. (1997).

A primeira dimensão de valor é a utilidade do serviço, cujos fatores críticos para a qualidade são: (1) o isolamento e preservação do local de crime; (2) dispor de profissionais treinados e das tecnologias necessárias; (3) comprovar a materialidade do delito (a prova de que o delito ocorreu); (4) buscar, encontrar, documentar, recolher e examinar vestígios que auxiliem vincular o suspeito à cena do crime (ou inocentar alguém erroneamente acusado) ou elucidar o evento, como, por exemplo, a causa de um desabamento ou a queda de um avião; (5) seguir os procedimentos metodológicos recomendados em todas as etapas do processo; (6) estabelecer a dinâmica sobre como os fatos teriam se passado na realidade, ou seja, descrever condutas a partir de vestígios materiais, para que os clientes possam analisá-las e, se for o caso, tipificá-las criminalmente; e (7) entregar o laudo tempestivamente para os clientes. Assim, para medir a utilidade, seria necessário desdobrá-la em no mínimo 7 indicadores, mas esses processos críticos foram transformados em 1 indicador simples e 2 compostos.

O primeiro indicador composto a ser medido consistiu em verificar junto aos produtores e clientes do serviço se o laudo pericial contribuiu para a elucidação do evento, ou seja, medir o quanto o serviço pericial contribui para a comprovação de que o delito de fato existiu (materialidade), suas causas e/ou sobre como os fatos se passaram na realidade (dinâmica), ou outra informação relacionada, comprovada materialmente, que permita elucidar o evento, para que os clientes do serviço possam tipificar (enquadrar legalmente) eventuais condutas delituosas. O ideal é que 100% dos laudos atendessem a esse indicador.

O segundo indicador composto (Quadro 4) consiste em verificar junto aos clientes e produtores do serviço se o laudo pericial permite vincular o autor à cena do crime (ou inocentar alguém erroneamente acusado), ou seja, se o laudo pericial forneceu elementos materiais suficientes que possibilitem definir a autoria. Por exemplo, em caso de homicídio, pode ser o levantamento de uma impressão digital que permita a confrontação com a de um suspeito, ou material fisiológico que permita obter um perfil por meio do exame de DNA.

Ambos indicadores da utilidade (1 e 2) do serviço pericial são o resultado final dos 7 principais processos do serviço listados anteriormente. Assim, as respostas dos produtores do serviço podem ser comparadas com aquelas de cada cliente e os resultados, analisados, buscando-se identificar eventuais lacunas entre as avaliações desses indicadores.

O terceiro indicador de utilidade consiste em medir se o laudo pericial foi produzido tempestivamente para auxiliar a investigação criminal, a instrução processual penal e a sentença judicial. O prazo legal para a conclusão do laudo pericial é de até 10 dias, porém em razão da complexidade da perícia, necessidade de exames complementares e déficit de capacidade, dificilmente se cumpre o prazo legal. Na prática, o órgão pericial deverá estabelecer um prazo para cada tipo de laudo, conforme preconizado por Belluco & Pimenta (2013) e Lima & Goldszmidt (2013). Esses prazos podem variar de um órgão pericial para outro, em função das particularidades. Além disso, cada cliente tem a necessidade do laudo em um determinado tempo. Por exemplo, o delegado de polícia precisa do laudo em tempo hábil para auxiliar na investigação, enquanto o promotor, quando da denúncia ou arquivamento. Assim, perguntar-se-á a cada cliente se o laudo foi recebido tempestivamente para o exercício de sua respectiva atividade. O tempo é medido em dias, contados da data da requisição do exame pericial até a data da disponibilização do respectivo laudo. Deve-se medir o percentual de laudos periciais em atraso em relação ao prazo definido (backlog), por perito, por unidade e no órgão pericial.

Outra dimensão de valor é a de justiça, que é a universalização do serviço, ou seja, a acessibilidade de qualquer pessoa ao serviço. São fatores críticos para essa dimensão: a cobertura geográfica, o número de peritos criminais e a padronização do serviço, para que todos os casos recebam o mesmo tratamento, independentemente de quaisquer condições preexistentes, tais como etnia, nível socioeconômico, crença religiosa, entre outras.

A padronização consiste em adotar procedimentos operacionais padrão (POP) para cada exame pericial, tais como aqueles publicados pela SENASP/MG dentro do Programa Brasil Mais Seguro (Brasil, 2013), ou outros adotados pelo órgão pericial. Essa avaliação deverá ser realizada pelos gestores do serviço e por clientes que conheçam os POP.

A medição da dimensão da isenção do serviço pericial é difícil de ser obtida a partir de um questionamento aos próprios peritos criminais e aos clientes, porque depende do desenho institucional do órgão pericial. Então, para medi-la, buscou-se avaliar o nível de independência do órgão pericial, cujos fatores críticos são: a quem o dirigente máximo do órgão se subordina, como é realizada sua escolha e nomeação, se ele tem mandato de duração fixa, se o órgão tem corregedoria, escola de formação e orçamento próprios, entre outras variáveis que permitam estabelecer o nível de independência do órgão.

No Brasil há três formas institucionais (Figueiredo & Pareschi, 2012): (i) A Perícia Criminal integra a estrutura da Polícia Judiciária, caso da união, de 10 estados e do Distrito Federal; (ii) o órgão pericial é vinculado diretamente às Secretarias de Segurança Pública, ou similares, caso de 15 estados; (iii) o órgão pericial é vinculado diretamente ao governador do Estado, cujo único caso é o Amapá. Essa avaliação deve ser feita junto aos gestores do órgão, analisando-se os documentos oficiais que definem a missão, desenho institucional e jurisdição do órgão, em uma escala de 0 (subordinação à Polícia, sem nenhuma autonomia) a 10 (independência financeira, orçamentária, funcional e administrativa, como o Ministério Público).

A dimensão estética é muito subjetiva e não será incluída nesta proposta.

Quanto ao valor sob a perspectiva dos recursos necessários para produzir as consequências nas atividades dos clientes do serviço, há os peritos criminais (e eventuais auxiliares) e as tecnologias para a produção do serviço. Quanto aos profissionais, os resultados da primeira dimensão (utilidade) é que apontarão eventuais deficiências técnicas e/ou comunicativas, visando futuras ações corretivas.

Quanto aos recursos é imperativo medir se há recursos tecnológicos suficientes, atualizados e distribuídos geograficamente para atender tanto a dimensão de utilidade, quanto a universalização do serviço. No Brasil, observa-se que, principalmente nas unidades do interior dos estados, nem todos os recursos necessários estão disponíveis (Figueiredo & Pareschi, 2012). Esse indicador mediria o percentual de disponibilidade e distribuição dos recursos tecnológicos diante de uma lista contendo os recursos mínimos indispensáveis à prestação do serviço.

Buscou-se ainda uma medida de custo (Equação 4) para a produção do serviço, para uso dos agentes políticos e gestores. O indicador deve medir a eficiência das unidades periciais e do órgão pericial como um todo, através do cálculo do custo médio por laudo (cml), cuja fórmula é:

cml=custo ($) dos inputs (instalações + pessoal)/dos laudos emitidos (4)

Outro indicador de eficiência de interesse dos agentes políticos e gestores do serviço é a produtividade. Esse indicador é medido em termos de percentual de laudos periciais emitidos em relação ao número de exames requisitados (Figueiredo & Pareschi, 2012). É dado pela Equação 5:

Produtividade=(de laudos emitidos/exames requisitados)×100% (5)

Por fim, define-se como indicador o ”número de reclamações por ano” dos clientes, por perito criminal, por unidade e para o órgão. Toda vez que houver uma reclamação, buscar-se-á sua causa raiz. São consideradas reclamações (falhas do serviço) a reiteração do pedido de laudo por um cliente, demora ou não comparecimento a um local, entre outras.

Após definidos os KPI para o serviço entregar valor, elaborou-se o método de medição de desempenho. Inicialmente foram elaborados três questionários distintos, para levantamento dos dados. O primeiro questionário (Quadro 5) deve ser respondido pelo perito criminal responsável pelo caso sob avaliação. Parte do questionário será respondida antes de o perito ir para o local do crime, quando for o caso, outra, durante a realização dos exames e a terceira, após o fechamento do laudo. Se o laudo exigir exames complementares, os peritos responsáveis pelos respectivos exames e laudos também o responderão. O objetivo é garantir a observância dos processos internos, avaliando-se cada um dos macroprocessos críticos para o sucesso dos exames periciais. É um guia para os gestores e os peritos se orientarem e identificarem oportunidades de melhoria nos processos do serviço.

Quadro 5 Questionário 1 – Destinado ao perito criminal responsável pelo laudo pericial. 

Quem acionou a Perícia?
(___) CIAD* (__) delegado de polícia (__) outro Policial Civil (___) Polícia Militar (___) Outro: __________
1) As informações constantes da requisição e/ou acionamento foram suficientes.
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente
2) Em quanto tempo após o acionamento o perito chegou ao local e qual a distância percorrida?
_______horas/minutos e a distância total percorrida foi de ________km (___) Não se aplica
3) Quem estava presente no local do crime? Pode-se assinalar mais de um
(__) Polícia Militar (__) Polícia Civil (__) Polícia Rodoviária (__) Bombeiro Militar (__) GM (___) Não se aplica
4) O local estava perfeitamente isolado
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente (___) Não se aplica
5) O local estava perfeitamente preservado
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente (___) Não se aplica
6) O material estava acondicionado adequadamente (para exames internos complementares e/ou especializados)
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente (__) Não se aplica
7) O perito dispunha de todos os recursos necessários à realização de uma perícia de excelência
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente Se não dispunha de todos, quais recursos faltaram?
8) O serviço pericial seguiu os POP da SENASP ou POP próprios documentados
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente ( ) Não existe POP para esta perícia ( ) Existe o POP, porém não está implementado
9) Foi observada a cadeia de custódia (rastreabilidade da prova do local de crime até sua guarda)
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente
10) O laudo permite vincular o autor à cena do crime (ou inocentar alguém erroneamente acusado) ou elucidá-lo
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente
11) O laudo foi produzido em ___________dias
12) Inserir comentário que considere relevante____________________________________________________

*CIAD = Central Integrada de Atendimento e Despacho ou similar. Fonte: Elaborado pelos autores.

O questionário 2 (Quadro 6) deve acompanhar cada laudo pericial submetido à avaliação, na forma de uma folha suplementar para cada cliente, e também para o próprio perito criminal responsável pelo caso. Esse questionário pode ser aplicado em todos os laudos ou apenas naqueles que a administração pública julgar prioritários. Mede a efetividade do laudo pericial.

Quadro 6 Questionário 2 – Medição de valor: Destinado aos clientes e perito criminal responsável pelo laudo. 

Laudo Pericial nº Unidade Pericial:
Respondente: () Juiz de Direito () Promotor Público () Defensor () Delegado de Polícia () Perito Criminal
1. O laudo pericial contribuiu de alguma forma para a elucidação do fato
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente
2. O laudo pericial vinculou o autor à cena do crime (ou inocentou alguém erroneamente acusado) ou forneceu indícios suficientes para definir a autoria do delito
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente () Não se aplica
3. O laudo pericial foi disponibilizado no tempo necessário para o exercício da sua atividade
(0) Discordo totalmente (4) Discordo (6) Concordo parcialmente (8) Concordo (10) Concordo totalmente
4. Se quiser, insira aqui qualquer comentário que considere relevante para melhorar a prestação do serviço:___________________________________________________________________________________

Fonte: Elaborado pelos autores.

O terceiro questionário (Quadro 7) é destinado aos gestores do órgão pericial e deverá ser assinado por seu dirigente máximo. O questionário levanta dados institucionais e de disponibilidade de recursos. Deve ser consolidado anualmente ou sempre que houver atualizações, tais como nomeações, aposentadorias, aquisições de equipamentos etc.

Quadro 7 Questionário 3 – Destinado aos gestores do serviço de Perícia Criminal. 

1) O órgão pericial implementou os POP da SENASP/MJ (ou próprios) em que % do número de unidades?
(0) 0% (1) 1 a 10% () 11 a 20% (3) 21 a 30% ... (10) 90 a 100%
2) Nível de autonomia do órgão pericial: Estrutura organizacional – a quem o órgão pericial está subordinado?
(0) À Polícia Judiciária (4) À Polícia Judiciária com autonomia de gestão (6) Subordinado à Secretaria de Segurança Pública (8) À Secretaria de Segurança Pública, com autonomia orçamentária e de gestão (9) Ao governador do estado (10) Tem independência financeira, administrativa, orçamentária e funcional
3) Percentual de institucionalização da gestão da cadeia de custódia
(0) 0% (1) 1 a 10% (2) 11 a 20% (3) 21 a 30% ... (10) 91 a 100%
4) Percentual de unidades com o número mínimo de peritos criminais para funcionar 24 horas/dia 7 dias/semana
(0) 0% (1) 1 a 10% (2) 11 a 20% (3) 21 a 30% ... (10) 90 a 100%
5) Percentual de servidores de apoio em relação ao número de peritos criminais:
(0) 0% (1) 1 a 10% (2) 11 a 20% (3) 21 a 30% ... (10) 90 a 100%
6) Percentual de tecnologias disponíveis por unidade pericial ou do órgão
(0) 0% (1) 1 a 10% (2) 11 a 20% (3) 21 a 30% ... (10) 90 a 100%
7) Eficiência do serviço: Custo médio por laudo da unidade e do órgão pericial
e = Ʃ custo ($) dos inputs (instalações + pessoal)/∑dos laudos emitidos => e = Custo médio ($)/laudo=___
8) Produtividade por perito criminal, por unidade e do órgão pericial
Produtividade = (Ʃ de laudos emitidos/Ʃ exames requisitados) x 100%
9) Percentual de laudos periciais em atraso (backlog) por perito criminal, por unidade e do órgão pericial_____
10) Número de reclamações por ano por unidade pericial e órgão ___________________________________.

Fonte: Elaborado pelos autores.

4.3 Descrição do método de medição de desempenho

Após coletadas as informações necessárias, o gestor avaliará os peritos criminais e/ou gestores de unidades que lhe são subordinadas, conforme os formulários das Tabelas 3 e 4, respectivamente, lançando em sistema próprio. Ambos são iguais, sendo que o perito criminal é avaliado por seu desempenho individual, enquanto o gestor, pelo desempenho de sua(s) respectiva(s) unidade(s) ou órgão. Simulou-se uma avaliação para demonstrar o método, utilizando dados reais e estimados do perito e do gestor avaliados nas Tabelas 1 e 2.

Tabela 3 Formulário destinado à avaliação do desempenho individual do Perito Criminal. 

Dimensão Indicadores Nota
(0 a 10)
Peso Pontos
(Nota × Peso)
Processos internos % de laudos que utilizaram os POPs (para os casos existentes) 4 1,25
(25%)
5,00
Observância da cadeia de custódia (rastreabilidade da prova) 2 2,50
Clientes Nº de reclamações/ano (meta: máximo de 3 reclamações/ano) 10 1,25
(50%)
12,5
Contribuição para elucidação do evento 9 11,25
Contribuição para definir a autoria (ou inocentar alguém erroneamente acusado) 8 10,00
Disponibilização dos laudos periciais tempestivamente 9 11,25
Eficiência Produtividade anual
[(Ʃ de laudos emitidos/Ʃ exames requisitados) x 100%]
8,88 1,25
(25%)
11,10
% de laudos emitidos fora do prazo/ano 9,28 12,50
TOTAL 76,10

Fonte: Elaborado pelos autores.

Tabela 4 Formulário para avaliação do desempenho do gestor da unidade ou órgão. 

Dimensão Indicadores Nota
(0 a 10)
Peso Pontos
(Nota × Peso)
Processos internos Percentual de implementação dos POP 4 1,25
(25%)
5,00
Observância da cadeia de custódia (rastreabilidade da prova) 4 5,00
Clientes Nº de reclamações/ano/unidade ou órgão (meta: máximo de 24/ano) 10 1,25
(50%)
12,50
Contribuição para elucidação do evento 8 10,00
Contribuição para definir a autoria (ou inocentar alguém erroneamente acusado) 8 10,00
Disponibilização dos laudos tempestivamente 9 11,25
Eficiência Produtividade anual
[(Ʃ de laudos emitidos/Ʃ exames requisitados) x 100%]
8,72 1,25
(25%)
10,90
% de laudos em atraso/ano 8,98 11,23
TOTAL 75,88

Fonte: Elaborado pelos autores.

O terceiro formulário (Tabela 5) é destinado ao órgão pericial e avalia outras dimensões, tais como acesso, isenção e recursos. Deverá ser respondido pelo dirigente máximo.

Tabela 5 Formulário para avaliação do órgão. 

Dimensão Indicadores *Nota
(0 a 10)
Peso Pontos
(Nota × Peso)
Processos internos Porcentagem de implementação dos POP 2 0,75
(15%)
1,50
Porcentagem de implementação da cadeia de custódia 3 2,25
Clientes Nº de reclamações/ano/órgão 8 1,0
(40%)
8,00
Contribuição para elucidação do evento 8 8,00
Contribuição para definir a autoria (ou inocentar alguém erroneamente acusado) 7 7,00
Disponibilização de laudos tempestivamente 7 7,00
Eficiência Produtividade anual/órgão
[(Ʃ de laudos emitidos/Ʃ exames requisitados) x 100%]
7,5 0,75
(15%)
5,63
Percentual de laudos em atraso/ano/órgão 6 4,50
Isenção Estrutura organizacional: subordinação e orçamento 4 1,5
(15%)
6,00
Universalização Percentual de unidades com o número mínimo de peritos criminais 10 0,75
(15%)
7,50
Percentual de equipamentos mínimos necessários (com base em uma lista obtida por consenso para o órgão) 2 1,50
TOTAL 58,88

*As notas atribuídas são uma simulação, para demonstrar o uso do método. Fonte: elaborado pelos autores.

O método deverá ser acompanhado de gestão à vista, que é um fator indutor do desempenho, e outras medidas gerenciais, para sinalizar aos peritos os laudos a serem priorizados, como um sistema kanban, ou algum sistema informatizado, por exemplo.

Para cada KPI deverá ser definida uma meta exequível e progressiva no tempo.

5 Avaliação e resultados do método de medição de desempenho desenvolvido

Os indicadores foram discutidos com 18 gestores do órgão pesquisado em uma reunião presencial, entre eles, o Diretor do Instituto de Criminalística, o Assessor Técnico da SPTC e os chefes das Divisões de Perícia do Interior, de Laboratório e de Perícias Especializadas. Discutiu-se a proposta e se obteve sinergia, confrontando-se as diferentes visões levantadas. Novos insights foram obtidos e ações corretivas foram realizadas nos indicadores desenvolvidos, até se chegar a consenso entre os presentes, atendendo critérios de validade, qualidade e eficácia.

Ainda como forma de avaliação, testou-se na unidade pesquisada parte do artefato (produtividade, percentual de laudos em atraso e número de reclamações por ano) no ambiente para o qual foi projetado. A intervenção foi precedida, ao longo de 2012, de reuniões preparatórias, introdução dos 5S e a um sistema kanban de gaveta, para sinalizar os laudos prioritários. E em 1º de janeiro de 2013 a medição do desempenho dos peritos criminais e do gestor dessa unidade começou, acompanhada de um sistema de gestão à vista, no qual dados e ranqueamento dos peritos criminais foram monitorados e atualizados diariamente, com consolidação anual, nos moldes da Tabela 6, que mostra os resultados de 2015.

Tabela 6 Resultados da medição de desempenho implementada na unidade pericial em 2015. 

Ranking Perito criminal Total de perícias Laudos concluídos % de laudos concluídos % de laudos em atraso Nº reclamações/ano
Perito H 815 797 97,79 0,00 0
Perito A 304 270 88,82 7,24 2
Perito B 393 349 88,80 7,89 1
Perito C 305 276 90,49 5,90 4
Perito G 372 329 88,44 11,29 0
Perito D 333 239 71,77 26,73 4
Perito E 302 203 67,22 28,48 8
Perito F* 8 7 87,50 12,50 0
TOTAIS/GESTÃO 2832 2470 87,22 10,20 19

*F é o gestor; a unidade recebeu dois peritos criminais (G e H) em 2014. Fonte: dados da pesquisa.

A Tabela 7 mostra os resultados globais consolidados da unidade pesquisada (e do gestor) em 2013, 2014 e 2015. Embora ainda não houvesse medição de desempenho em 2012, esses dados foram recuperados e colocados na forma da medição implementada a partir de 2013, para demonstrar a melhoria dos indicadores da unidade pesquisada no período.

Tabela 7 Resultados globais da medição implementada em uma unidade pericial em 2012-2015. 

Ano Avaliado Total de perícias Laudos concluídos % de laudos concluídos % de laudos em atraso Nº reclamações/ano
2012* Gestor/Unidade 2100 1194 56,86 43,14 Não disponíveis
2013 Gestor/Unidade 2123 1648 77,63 20,91 62
2014 Gestor/Unidade 2184 1803 82,55 15,93 46
2015 Gestor/Unidade 2832 2470 87,22 10,20 19

*Os dados referentes a 2012 foram recuperados para fins de comparação. Fonte: Dados da pesquisa.

A produtividade aumentou em: 36,53% de 2012 para 2013; 6,31% de 2013 para 2014; e 5,22% de 2014 para 2015. E no acumulado 2012-2015 aumentou 53,39%.

A redução do percentual de laudos em atraso foi 51,53% de 2013 em relação a 2012; de 23,81% de 2014 em relação a 2013; e de 35,97% de 2015 em relação a 2014. Em suma, houve uma redução de 76,36% dos laudos em atraso no período acumulado de 2012 a 2015.

E o número de reclamações por ano diminuiu de 62, em 2013, para 19, em 2015, uma redução de 69,35%.

Mediu-se na unidade pesquisada a eficiência em custo, sem aplicar o rigor contábil legal. O custo médio por laudo pericial emitido em 2014 na unidade pesquisada foi estimado em aproximadamente R$ 795,61 (R$ 1.469.075,32/1.778 laudos).

A parte do método implementada foi bem recebida pelos membros da unidade pesquisada, quando foi reconhecido como um instrumento útil, válido e prático de medição de desempenho e gestão do serviço. Os resultados positivos podem ser explicados pela participação e comprometimento dos membros da unidade com a medição.

Foram apontados pelos membros da unidade como pontos positivos a objetividade do sistema e por servir de norte na produção do serviço. Enquanto que, como oportunidades de melhorias, foram sugeridas a revisão do sistema de gestão à vista aberta ao público, devendo permanecer apenas para conhecimento interno, bem como a implementação da avaliação junto aos clientes de forma sistemática.

Na parte relativa aos clientes (eficácia e efetividade do laudo), dois laudos periciais foram submetidos para avaliação a um juiz, um promotor público, um advogado e um delegado de polícia, que afirmaram compreender perfeitamente as questões avaliativas (Quadro 6 – questionário 2) e consideraram o método útil e válido para gerar melhorias.

6 Discussão sobre o método de medição de desempenho desenvolvido

O trabalho gerou aprendizado sobre as dimensões e peculiaridades do serviço para todos os que participaram do processo, principalmente em termos do que o laudo pericial deve entregar aos clientes. A DSR se mostrou uma metodologia adequada ao desenvolvimento do artefato.

Observa-se que o método final (Tabelas 3, 4 e 5) apresenta avanços entre as tentativas para medir e avaliar o desempenho do serviço. Primeiro, porque promove o alinhamento entre os níveis operacional, tático e estratégico, permitindo medir e avaliar o perito criminal e os gestores pelos mesmos critérios. Segundo, porque o método foi além daquelas propostas que mediam apenas a tempestividade (o prazo) dos laudos periciais, haja vista que mede outras dimensões importantes, tais como o valor gerado para os clientes, a implementação de POP para fins de padronização e a observância da cadeia de custódia, fatores críticos para garantir uma qualidade mínima ao serviço prestado. Mede ainda a universalização (acesso) e a isenção, dimensões que sequer foram consideradas em outras propostas. Em suma, mede a eficiência, eficácia e efetividade do serviço, possibilitando ações gerenciais de melhoria.

A medição da efetividade através da análise de inquéritos policiais e processos criminais (Martinez, 2013; Gonçalves, 2013), embora apropriada, demanda tempo e pessoal devido ao elevado número de procedimentos existentes, o que a dificulta na prática.

No Brasil, apurou-se uma média geral de produtividade de 73,93% entre os 17 órgãos periciais capazes de fornecer dados sobre demanda e produção (Figueiredo & Pareschi, 2012, p. 87), mas não se mediu o backlog nem o número de reclamações.

Quanto à eficiência, apenas o indicador de custos se mostrou inapropriado para estabelecer um benchmarking entre as unidades, porque há diferenças entre elas em termos de custo com instalações, pessoal, veículos, artefatos tecnológicos, entre outros, provocando grandes distorções na métrica de uma unidade para outra. Deve ser aperfeiçoado.

Durante o período da pesquisa, a unidade pesquisada obteve reconhecimento da SPTC, da PCMG, de agentes políticos e outras autoridades. São exemplos desse reconhecimento a alocação de mais 2 peritos criminais, 2 médicos-legistas, 1 laboratório com instalação de cromatógrafo e promoções a 3 profissionais, entre outros investimentos na unidade.

7 Conclusão

Este artigo mostrou o desenvolvimento de um método para medir e avaliar o desempenho das operações de Perícia Criminal com base no valor que o serviço deve entregar a seus clientes, desde a sua concepção até a sua implementação final, ainda que parcial. E demonstra de forma objetiva uma possibilidade de contribuição da Engenharia de Produção para a melhoria na prestação dos serviços públicos, uma demanda da sociedade brasileira.

A grande vantagem do método desenvolvido foi possibilitar a promoção do alinhamento estratégico em todo órgão, direcionando os indicadores, a medição e avaliação do desempenho para a entrega de valor aos clientes do serviço, conforme proposto. O método avalia pelas mesmas dimensões e indicadores peritos criminais e respectivos gestores, incluindo o dirigente máximo do órgão pericial, de forma prática e objetiva. Avalia também a entrega de valor do órgão como um todo em termos de utilidade, universalização e isenção.

O método possibilita a análise estratificada dos resultados por clientes (Quadro 6 – questionário 2), o que auxilia os gestores na identificação de eventuais lacunas na produção do serviço e a tomada de ações corretivas no sentido de o serviço entregar valor. E o método pode ainda auxiliar os agentes políticos no desenvolvimento de políticas públicas de segurança pública, justiça criminal e promoção dos direitos humanos.

Por fim, o método desenvolvido atingiu o objetivo proposto e é generalizável para qualquer órgão pericial no país, incluindo a medicina legal, haja vista a semelhança dessas operações, até por força da legislação processual penal. A adoção do método em caráter nacional permitiria o estabelecimento de um benchmarking entre os órgãos periciais do país.

Como continuidade a este trabalho, sugere-se a implementação do método em outras unidades de Perícia Criminal e, também, de Medicinal Legal para, assim, ampliar a sua avaliação e difundir os resultados para novas aplicações, buscando-se aperfeiçoá-lo e, ao mesmo tempo, contribuir para a melhoria do desempenho e da gestão dos serviços de Perícia Criminal.

Agradecimentos

Os autores agradecem ao editor e avaliadores deste artigo pelos relevantes comentários que contribuíram para melhorar seu conteúdo e apresentação.

Suporte financeiro: Nenhum.

Referências

Austin, R., & Gittel, J. H. (2007). Anomalies of measurement: when it works but should not. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 449-476). Cambridge: Cambridge University Press. [ Links ]

Behn, R. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(5), 586-606. http://dx.doi.org/10.1111/1540-6210.00322. [ Links ]

Belluco, C. G. (2012). Indicadores de produtividade (Dissertação de mestrado), Escola de Administração Pública e de Empresas, Fundação Getulio Vargas, Rio de Janeiro. [ Links ]

Belluco, C. G., & Pimenta, R. C. (2013). Indicadores de produtividade aplicados à criminalística da Polícia Federal. In F. C. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão Pública: a perícia criminal em foco (pp. 412). Rio de Janeiro: Editora FGV. [ Links ]

Bourne, M., Neely, A., Platts, K., & Mills, J. (2002). The success and failure of performance measurement initiatives: perceptions of participating managers. International Journal of Operations & Production Management, 22(11), 1288-1310. http://dx.doi.org/10.1108/01443570210450329. [ Links ]

Brasil. (1941, 24 outubro). Decreto-lei nº 3.689, de 3 de outubro de 1941. Código de Processo Penal. Brasília, DF: Diário Oficial da República Federativa do Brasil. Recuperado em 1 julho de 2012, de http://www.planalto.gov.br/ccivil_03/decreto-lei/del3689.htmLinks ]

Brasil. Ministério de Justiça e Segurança Pública. (2003). Plano Nacional de Segurança Pública. Brasília: SENASP. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/biblioteca/Bibliota_pnsp.htmLinks ]

Brasil. Ministério da Justiça e Segurança Pública. Secretaria Nacional de Segurança Pública. Programa das Nações Unidas para o Desenvolvimento – PNUD. (2004). Eixo:“Modelo de gestão organizacional (Produto 05: Relatório Preliminar dos Trabalhos, 72 p.). Brasília: SENASP. Recuperado em 1 de outubro de 2008, de http://www.dhnet.org.br/redebrasil/executivo/nacional/anexos/gestao_org_caulliraux.pdfLinks ]

Brasil. Ministério de Justiça e Segurança Pública. (2013). Procedimento operacional padrão. Brasília: SENASP. Recuperado em 1 março de 2014, de http://portal.mj.gov.br/Links ]

Burrows, J., & Tarling, R. (2004). Measuring the impact of forensic science in detecting burglary and autocrime offenses. Science & Justice, 44(4), 217-222. PMid:15527184. http://dx.doi.org/10.1016/S1355-0306(04)71721-9. [ Links ]

Cauliraux, H. M., & Yuki, M. (Eds.) (2004). Gestão pública e reforma administrativa. Rio de Janeiro: Lucerna. [ Links ]

Cauliraux, H. M., Proença, A., & Silva, B. L. (2004). Gestão pública no Brasil. In H. M. Cauliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna. [ Links ]

Caulliraux, H. M., & Yamashita, E. C. (2004). Gestão pública no Brasil. In H. M. Caulliraux & M. Yuki. Gestão pública e reforma administrativa (pp. 59-78). Rio de Janeiro: Lucerna. [ Links ]

Chattergoon, S., Darling, S., Devitt, R., & Klassen, W. (2014). Creating and sustaining value: building a culture of continuous improvement. Health Management Forum, 27(1), 5-9. PMid:25109131. http://dx.doi.org/10.1016/j.hcmf.2013.12.002. [ Links ]

Collier, P. (2007). Police performance: sovereignty, discipline and governmentality. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 363-382). Cambridge: Cambridge University Press. [ Links ]

Corrêa, H. L., & Caon, M. (2002). Gestão de serviços: lucratividade por meio de operações e de satisfação dos clientes. São Paulo: Atlas. [ Links ]

Dresch, A. (2013). Design Science e Design Science Research como artefatos metodológicos para Engenharia de Produção (Dissertação de mestrado). Programa de Pós-Graduação em Engenharia e Sistemas, Universidade do Vale do Rio dos Sinos, São Leopoldo. [ Links ]

Dresch, A., Lacerda, D. P., & Antunes , J. V., Jr. (2015). Design Science Research - Método de Pesquisa Para Avanço da Ciência e Tecnologia. Porto Alegre: Bookman. [ Links ]

Félix, R., Félix, P. D., & Timóteo, R. (2011). Balanced ScoreCard: adequação para a gestão estratégica nas organizações públicas. Revista do Serviço Público, 62(1), 51-74. [ Links ]

Figueiredo, I. S., & Pareschi, A. C. (2012). Diagnóstico da perícia criminal no Brasil. Brasília: Ministério da Justiça, Secretaria Nacional de Segurança Pública. [ Links ]

Giannelli, P. (2007). Confirmation bias. Criminal Justice, 22(3), 60-61. [ Links ]

Gonçalves, M. N. (2013). Impacto dos laudos de homicídio e de latrocínio junto aos operadores do direito e às sentenças judiciais: o caso da perícia criminal do Instituto de Criminalística no âmbito do Distrito Federal (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro. [ Links ]

Gregor, S., & Hevner, A. R. (2013). Positioning and presenting design science research for maximum impact. Management Information Systems Quarterly, 37(2), 337-355. [ Links ]

Houck, M., Speaker, P. J., Fleming, A. S., & Riley, R. A., Jr. (2012). The balanced scoredcard: sustainable performance assessment for forensic laboratories. Science & Justice, 52(4), 209-2016. PMid:23068771. http://dx.doi.org/10.1016/j.scijus.2012.05.006. [ Links ]

Jacobs, R., Smith, P., & Goddard, M. (2007). The development of composite indicators to measure health care performance. In A. Neely. Business performance measurement: unifying theory and integrating practice (pp. 383-407). Cambridge: Cambridge University Press. [ Links ]

Jesus, I. R., & Costa, H. G. (2014). A nova gestão pública como indutora das atividades de Engenharia de Produção nos órgãos públicos. Production, 24(4), 887-897. [ Links ]

Jesus, M. M. (2009). O crime de tortura e a justiça criminal: um estudo dos processos de tortura na cidade de São Paulo (Dissertação de mestrado). Universidade de São Paulo, São Paulo. [ Links ]

Johnston, R., & Clark, G. (2005). Service operations management: improving service delivery (2 ed.). London: Prentice Hall. [ Links ]

Kaplan, R. S., & Norton, D. P. (1996a). The balanced scorecard: translating strategy into action. Boston: Harvard Business Review Press. [ Links ]

Kaplan, R. S., & Norton, D. P. (1996b). Using balanced scored card as a strategic management system. Harvard Business Review, 74(1), 75-85. [ Links ]

King, W., & Maguire, E. (2009). Assessing the performance of systems designed to process criminal forensic evidence. Forensic Science Policy & Management, 1(3), 159-170. http://dx.doi.org/10.1080/19409041003611143. [ Links ]

Kobus, H., Houck, M., Speaker, P., Riley, R., & Witt, T. (2011). Managing performance in the forensic sciences: expectations in light of limited budgets. Forensic Science Policy & Management, 2(1), 36-43. http://dx.doi.org/10.1080/19409044.2011.564271. [ Links ]

Koppl, R. (2005). How to improve forensic science. European Journal of Law and Economics, 20(3), 255-286. http://dx.doi.org/10.1007/s10657-005-4196-6. [ Links ]

Lacerda, D. P., Dresch, A., Proença, A., & Antunes, J. V., Jr. (2013). Design science research: método de pesquisa para a engenharia de produção. Gestão & Produção, 20(4), 741-761. http://dx.doi.org/10.1590/S0104-530X2013005000014. [ Links ]

Lima, F. F., & Goldszmidt, R. G. (2013). Determinantes do desempenho em laudos de criminalística no Departamento de Polícia Federal: uma abordagem multinível. In F. Vasconcelos, R. Fontes Filho, & M. A. Tsunoda. Gestão pública: a perícia criminal em foco (pp. 107-130). Rio de Janeiro: FGV. [ Links ]

Lokkerbol, J., Does, R., Mast, J., & Schoonhoven, M. (2012). Improving processes in financial service organizations: where to begin? International Journal of Quality & Reliability Management, 29(9), 981-999. http://dx.doi.org/10.1108/02656711211272881. [ Links ]

Malhotra, N. K. (2001). Pesquisa de marketing: uma orientação aplicada (N. Montingelli Jr., & A. A. Farias, Trads., 3 ed.). Porto Alegre: Bookman. [ Links ]

Martinez, S. C. (2013). A efetividade do laudo pericial: um estudo sobre a influência do laudo pericial de informática na decisão judicial (Dissertação de mestrado). Escola Brasileira de Administração Pública e de Empresas, Fundação Getúlio Vargas, Rio de Janeiro. [ Links ]

Matias-Pereira, J. (2010). Manual de gestão pública contemporânea (3 ed.). São Paulo: Atlas. [ Links ]

Misse, M. (2006). Avaliação da formação e da capacitação profissional dos peritos criminais no Brasil (Relatório final). Brasília: SENASP, Ministério da Justiça. Recuperado em 1 de julho de 2012, de http://www.mj.gov.br/Senasp/pesquisas_aplicadas/anpocs/proj_aprov/aval_form_capacit_michel.pdfLinks ]

National Research Council. (2009). Strengthening forensic science in the United States: a path forward. Washington: National Academies Press. http://dx.doi.org/10.17226/12589. [ Links ]

Neely, A. (1999). The performance measurement revolution: why now and what next? International Journal of Operations & Production Management, 19(2), 205-228. http://dx.doi.org/10.1108/01443579910247437. [ Links ]

Neely, A., Bourne, M., Mills, J., Platts, K., & Richards, H. (2002). Getting the measure of your business: strategy and performance. Cambridge: Cambridge University Press. [ Links ]

Neely, A., Mills, J., Platts, K., Richards, H., Gregory, M., Bourne, M., & Kennerley, M. (2000). Performance measurement system design: developing and testing a process-based approach. International Journal of Operations & Production Management, 20(10), 1119-1145. http://dx.doi.org/10.1108/01443570010343708. [ Links ]

Neely, A., Richards, H., Mills, J., Platts, K., & Bourne, M. (1997). Designing performance measures: a structured approach. International Journal of Operations & Production Management, 17(11), 1131-1152. http://dx.doi.org/10.1108/01443579710177888. [ Links ]

Newman, J., Dawley, D., & Speaker, P. J. (2011). Strategic management of forensic laboratory resources: from project foresight metrics to the development of action plans. Forensic Science Policy & Management, 2(4), 164-174. http://dx.doi.org/10.1080/19409044.2012.693571. [ Links ]

Paim, R., Cardoso, V., Caulliraux, H., & Clemente, R. (2009). Gestão de processos: pensar, agir e aprender. Porto Alegre: Bookman. [ Links ]

Peffers, K., Tuunanen, T., Rothenberger, M. A., & Chatterjee, S. (2007). A design science research methodology for information systems research. Journal of Management Information Systems, 24(3), 45-77. http://dx.doi.org/10.2753/MIS0742-1222240302. [ Links ]

Pidd, M. (2007). Perversity in public service performance measurement. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 408-429). Cambridge: Cambridge Univerrsity Press. [ Links ]

Pidd, M.(2012). Measuring performance of public services: principles and practice. Cambridge: Cambridge University Press. [ Links ]

Pike, S., & Roos, G. (2007). The validity of measurement frameworks: measurement theory. In A. Neely. Business performance measurement: unifying theory and integrating practice (2 ed., pp. 218-235). Cambridge: Cambridge University Press. [ Links ]

Poister, T. H. (2003). Measuring performance in public and nonprofit organizations. São Francisco: Jossey-Bass. [ Links ]

Rodrigues, C. V. (2010). Perícia criminal: uma abordagem de serviços (Tese de doutorado). Departamento de Engenharia de Produção, Universidade Federal de São Carlos, São Carlos. [ Links ]

Rodrigues, C. V., Silva, M. T., & Truzzi, O. M. S. (2010). Perícia criminal: uma abordagem de serviços. Gestão & Produção, 17(4), 843-857. http://dx.doi.org/10.1590/S0104-530X2010000400016. [ Links ]

Rogêdo, J. C. (2005). O crime de tortura policial em Belo Horizonte após a lei de tortura, nº 9455 de 7 de abril de 1997 (Dissertação de mestrado). Fundação João Pinheiro, Belo Horizonte. [ Links ]

Slack, N. (2005). Operations estrategy: will it ever realize its potential? Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300004. [ Links ]

Slack, N., Chambers, S., & Johnston, R. (2009). Administração da produção (3 ed.). São Paulo: Atlas. [ Links ]

Speaker, P. J. (2009). Key performance indicators and managerial analysis for forensic laboratories. Forensic Science Policy & Management, 1(1), 32-42. http://dx.doi.org/10.1080/19409040802624075. [ Links ]

Starr, M. K. (2005). Changing agendas for operations management. Gestão & Produção, 12(3), 317-468. http://dx.doi.org/10.1590/S0104-530X2005000300003. [ Links ]

Toledo, J. C., Borrás, M. Á., Mergulhão, R. C., & Mendes, G. S. (2013). Qualidade: gestão e métodos. Rio de Janeiro: LTC. [ Links ]

Van Aken, J. E. (2004). Management research based on the paradigm of the Design Sciences: the quest for field-teste and grounded technological rules. Journal of Management Studies, 41(2), 219-246. http://dx.doi.org/10.1111/j.1467-6486.2004.00430.x. [ Links ]

Van Aken, J. E. (2005). Management research as a Design Science: articulating the research products of mode 2 Knowledge production in management. British Journal of Management, 16(1), 19-36. http://dx.doi.org/10.1111/j.1467-8551.2005.00437.x. [ Links ]

Van Aken, J. E., & Romme, G. (2009). Reinventing the future: adding design science to the repertoire of organization and management studies. Organizational Management Journal, 6(1), 5-12. http://dx.doi.org/10.1057/omj.2009.1. [ Links ]

Winter, R. (2008). Design science research in Europe. European Journal of Information Systems, 17(5), 470-475. http://dx.doi.org/10.1057/ejis.2008.44. [ Links ]

Zarifian, P. (2001). Valor, organização e competência na produção de serviço: esboço de um modelo de produção de serviço. In M. S. Salerno. Relação de serviço: produção e avaliação (pp. 95-149). São Paulo: SENAC. [ Links ]

Recebido: 04 de Dezembro de 2015; Aceito: 09 de Abril de 2016

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.