Accessibility / Report Error

Proposta de avaliação da Política Nacional de Segurança da Informação por Processo de Análise Hierárquica

Evaluation of the national information security policy by analytic hierarchy process

RESUMO

Relatórios recentes de segurança cibernética evidenciam que o Brasil é um dos países com a maior quantidade de crimes cibernéticos, afetando mais de 60 milhões de pessoas e causando prejuízos estimados em mais de 20 bilhões de dólares. No âmbito da Administração Pública Federal, a Política Nacional de Segurança da Informação (PNSI) atribuiu ao Gabinete de Segurança Institucional da Presidência da República (GSI/PR) a tarefa de monitorar e avaliar a sua execução, estimulando a ampla participação da sociedade e dos órgãos e das entidades do Poder Público na construção do processo, o que inclui a academia. A fim de contribuir com esse contexto, esta pesquisa analisou diferentes modelos de referência, cuja estrutura melhor se ajustasse à necessidade de avaliar instituições e um método quantitativo capaz de indicar objetivamente o peso das diversas variáveis envolvidas. O modelo de maturidade escolhido foi o CSF-NIST e o método selecionado foi o Processo de Análise Hierárquica (AHP), para a ponderação dos critérios e subcritérios. Um estudo de caso foi explorado para ilustrar a aplicação do modelo e do método selecionados, indicando o “como” implementá-los, considerando as especificidades da instituição avaliada.

Palavras-chave:
Segurança da Informação; Modelos de Maturidade; Processo de Análise Hierárquica

ABSTRACT

Recent cybersecurity reports show that Brazil is one of the countries with the highest number of cybercrimes, affecting more than 60 million people and causing losses estimated at more than 20 billion dollars. Within the scope of the Public Administration, the National Information Security Policy (PNSI) assigned to the Institutional Security Office of the Presidency (GSI/PR) the task of monitoring and evaluating its execution, stimulating the broad participation of society and agencies and public authorities in the construction of the process, which includes the academic effort. To contribute to this context, this research analyzed different reference models, whose structure best suited the needs of the institutions evaluated and a quantitative method capable of objectively indicating the weight of the various variables in the model. The maturity model chosen was the CSF-NIST and the method selected was the Analytic Hierarchy Process (AHP), for weighting the criteria and sub criteria. A case study illustrates the application of the selected model and method, indicating “how” to implement them, considering the specificities of the evaluated institution.

Keywords:
Information Security; Maturity Models; Analytic Hierarchy Process

1 Introdução

Na “era da informação”, caracterizada por avanços tecnológicos em sistemas informatizados e transmissão de significativo volume de dados em redes, revolucionou-se a maneira através da qual as sociedades se comunicam. A velocidade e o volume de dados informatizadas trouxeram impactos na economia, na política e para a segurança nacional e internacional (CAVELTY; BRUNNER, 2007a). Entretanto, esse desenvolvimento tecnológico foi acompanhado de novos riscos e prejuízos financeiros. De acordo com um relatório da empresa Symantec, em 2017 o Brasil passou a ser o segundo país com maior número de casos de crimes cibernéticos, afetando cerca de 62 milhões de pessoas e causando um prejuízo de US$ 22 bilhões, atrás apenas da China, que teve um prejuízo de US$ 66,3 bilhões. Um dos principais fatores deste aumento de crimes está na popularidade de smartphones, cuja quantidade de aparelhos no país supera a marca de 230 milhões de unidades, maior que a própria população do país (SYMANTEC, 2018).

Em 2018, o Grupo de Resposta a Incidentes de Segurança para a internet no Brasil, do Comitê Gestor da Internet, responsável por registrar os incidentes de segurança em computadores de redes conectadas à internet no país, recebeu o reporte de 678.514 incidentes. O Centro de Tratamento e Resposta a Incidentes Cibernéticos de Governo (CTIR-Gov) recebeu o reporte de 20.522 incidentes, sendo 9.981 incidentes confirmados em 2018, apenas no âmbito da Administração Pública Federal (BRASIL, 2020b).

Diante desses desafios, instituições públicas e privadas precisaram regular as atividades de segurança através de políticas, visando orientar os procedimentos referentes à segurança cibernética1 1 De fato, a expressão “segurança cibernética” recebe diferentes definições. Por exemplo, a União Internacional das Comunicações (órgão da ONU) define “segurança cibernética” como “a coleção de ferramentas, políticas, conceitos de segurança, salvaguardas de segurança, orientações, abordagens de gestão de risco, ações, treinamentos, melhores práticas, seguros e tecnologias que podem ser usados para proteger o ambiente cibernético, a organização e propriedades de usuários(as). A organização e as propriedades incluem dispositivos de computação conectados, funcionários(as) e colaboradores(as), infraestrutura, aplicativos, serviços, sistemas de telecomunicações e a totalidade de informação transmitida e/ou armazenada no ambiente cibernético. A segurança cibernética busca garantir a obtenção e a manutenção das propriedades de segurança da organização e das propriedades do(as) usuários(as) contra riscos de segurança relevantes no ambiente cibernético” (ITU-CIBERSEG, 2008). No Brasil, o Gabinete de Segurança Institucional da Presidência da República define “segurança cibernética” como “a arte de assegurar a existência e a continuidade da Sociedade da Informação de uma Nação, garantindo e protegendo, no Espaço Cibernético, seus ativos de informação e suas infraestruturas críticas” (BRASIL, 2015). . Diversos países têm suas políticas e estratégias relacionadas à segurança cibernética publicadas de forma ostensiva. De igual forma, o meio acadêmico também tem acompanhado as discussões nacionais e internacionais acerca do tema, tanto no aspecto da elaboração de políticas quanto na criação de medidas de natureza cibernética que ampliem a segurança das instituições e das sociedades, em última análise (CAVELTY; BRUNNER, 2007bCAVELTY, M. D.; BRUNNER, E. M. Introduction: Information, power, and security - An outline of debates and implications. In: CAVELTY, M. D.; MAUER, V.; KRISHNA-HENSEL, S. F. Power and Security in the Information Age: Investigating the Role of the State in Cyberspace. Oxon: Routledge, 2007b. p. 1-18.; GOIS, 2018FORMAN, E. H. Facts and fictions about the analytic hierarchy process. Mathematical and computer modelling, v. 17, n. 4-5, p. 19-26, 1993.; LIMA, 2018LE, N. T.; HOANG, D. B. Can maturity models support cyber security? In: INTERNATIONAL PERFORMANCE COMPUTING AND COMMUNICATIONS CONFERENCE, 2016, Anais [...] IEEE, 2018. p. 1-7.; VIANNA; DE SOUSA, 2018VARGAS, L. G. Reciprocal matrices with random coefficients. Mathematical modelling, v. 3, n. 1, p. 69-81, 1982.).

No âmbito do governo brasileiro, o problema da segurança dos dados e sistemas foi inicialmente abordado através do Gabinete de Segurança Institucional da Presidência da República (GSI/PR), em 2001, ao ser designado para a coordenação das atividades de segurança da informação. Em 2008, o Departamento de Segurança da Informação e Comunicação (DSIC), vinculado ao GSI/PR, foi criado com a tarefa de planejar e coordenar a execução de atividades de segurança da informação e comunicação na área da administração pública federal.

Recentemente, o Congresso Nacional aprovou o Decreto No 9.637, em 26 de dezembro de 2018, que instituiu a Política Nacional de Segurança da Informação (PNSI), com a finalidade de orientar a governança da segurança da informação, abrangendo: “I - a segurança cibernética; II - a defesa cibernética; III - a segurança física e a proteção de dados organizacionais; e IV - as ações destinadas a assegurar a disponibilidade, a integridade, a confidencialidade e a autenticidade da informação”. Nesse Decreto também inclui-se o incentivo à pesquisa acadêmica nos objetivos do Artigo 4º, que destaca o fomento às atividades de pesquisa científica, de desenvolvimento tecnológico e de inovação relacionadas à segurança da informação. Esses aspectos indicam que a PNSI pode ser aperfeiçoada a partir de sugestões que contribuam ao desenvolvimento da atividade de segurança da informação e, dessa forma, motivaram a realização desta pesquisa. No parágrafo único do Artigo 6º, o Decreto descreve que a “construção da Estratégia Nacional de Segurança da Informação terá a ampla participação da sociedade e dos órgãos e das entidades do Poder Público”; no item VII do Artigo 12º, o Decreto descreve que o GSI-PR deve “estabelecer critérios que permitam o monitoramento e a avaliação da execução da PNSI e de seus instrumentos”. Assim, uma proposta de uma estrutura ponderada de critérios e subcritérios para avaliar a execução da PNSI, com a participação técnica de especialistas em segurança da informação, constitui o foco desta pesquisa (BRASIL, 2018).

Uma proposta de critérios para a avaliação da PNSI é uma tarefa complexa, considerando a variedade de grupos de interesse que integram a comunidade de segurança da informação, nas mais diferentes esferas do poder público e privado. A multidisciplinaridade do CGSI, envolvendo representantes de todos os Ministérios e diversos órgãos públicos, evidencia a amplitude e capilaridade do tema na sociedade. Além disso, a atividade de segurança da informação gera diferentes experiências às instituições envolvidas, no país e no exterior.

Assim, esta pesquisa levantou e adaptou critérios utilizados em modelos de maturidade consagrados na prática de identificação e gerenciamento de riscos cibernéticos em infraestruturas críticas. A interrupção de serviços essenciais decorrentes de infraestruturas críticas é considerada de sério impacto, por suas consequências sociais, econômicas, políticas, ambientais, capazes de pôr em risco a segurança do Estado (BRASIL, 2018). Para lidar com este problema complexo, se torna fundamental a habilidade de mensurar quantitativamente as performances destes critérios nas organizações. Para tanto, o uso de metodologia de apoio à decisão multicritério favorece a compreensão dos elementos do modelo conceitual através de uma pontuação de relevância.

O Decreto No 9.637 é ainda recente para que as medidas necessárias sejam plenamente implementadas e apresentem efeito útil e prático dessa política para a sociedade. Desta forma, qualquer proposta de aprimoramento de políticas públicas relacionadas à segurança da informação traz significativa utilidade para a sociedade, em função dos prejuízos que a proposta pode evitar ao proteger dados e informações estratégicas ao país, às suas instituições e ao seu patrimônio público e privado. As instâncias de perdas e danos referentes à segurança e defesa cibernética são marcantes e justificam os esforços e recursos priorizados em suas atividades. Por efeito colateral, a “era da informação” também beneficiou invasores de sistemas, os chamados hackers, que tanto prejuízo causam a sistemas públicos e privados (BUCHANAN, 2020BUCHANAN, B. The Hacker and the State: Cyber Attacks and the New Normal of Geopolitics. Cambridge: Harvard University Press, 2020.; STERLING, 2020SAATY, T. L.; VARGAS, L. G. Models, methods, concepts & applications of the analytic hierarchy process. International Series in Operations Research & Management Science. New York: Springer Science & Business Media, v. 175, 2012.; WHITE, 2020VIANNA, E. W.; DE SOUSA, R. T. B. Ciber Proteção: a segurança dos sistemas de informação no espaço cibernético. Revista Ibero-Americana de Ciência da Informação, v. 10, p. 110-131, 2018.).

O tema ainda é atual e relevante para a defesa nacional, posto que a segurança e as respostas às ameaças em rede, em consequência dos avanços na tecnologia da informação e das comunicações, integram capacidades fundamentais para a construção de uma Defesa Nacional forte. Em 2010, a expressão “segurança cibernética” foi oficialmente publicada no Livro Verde, pela Presidência da República (BRASIL, 2010). O setor cibernético, juntamente com o nuclear e aeroespacial, foi elencado na Estratégia Nacional de Defesa (END) com relevância estratégica ao país, em função da necessidade de aperfeiçoamento dos dispositivos e procedimentos de segurança que reduzam a vulnerabilidade dos sistemas relacionados à Defesa Nacional contra ataques cibernéticos (BRASIL, 2020a; NETO, 2020NASSER, A. A.; AL-KHULAIDI, A. A.; ALJOBER, M. N. Measuring the Information Security Maturity of Enterprises under Uncertainty Using Fuzzy AHP. International Journal of Information Technology and Computer Science, v. 10, n. 4, p. 10-25, 2018.; RAMOS; GOLDONI, 2016RAHIM, N. H. A.; HAMID, S.; KIAH, M. L. M.; SHAMSHIRBAND, S.; FURNELL, S. A systematic review of approaches to assessing cybersecurity awareness. Kybernetes, v. 44, n. 4, p. 606-622, abr. 2015.).

Para a comunidade acadêmica, pretende-se incitar a discussão sobre os aspectos mais técnicos necessários para implementar políticas públicas e acompanhar a matéria de segurança cibernética, que representa uma tendência mundial. O estudo tangencia a preocupação expressa pelo Estado brasileiro na fundação de um arcabouço essencial para tratar a proteção de seus dados e a manutenção da segurança no ambiente cibernético. Verifica-se, deste modo, que esta pesquisa traz relevância ao tema, por contribuir com o governo brasileiro a obter êxito no atingimento dos objetivos da PNSI, através da identificação de uma estrutura de apoio à decisão e formas de avaliação para a implementação de uma Estratégia Nacional de Segurança da Informação (ENSI).

2 Delineamento da pesquisa

Um problema de pesquisa foi estruturado, conforme o Quadro 1, para identificar que estrutura hierárquica e ponderada de critérios e subcritérios permite auxiliar no monitoramento e a avaliação da execução da PNSI e de seus instrumentos nos diferentes campos de atuação. Esta questão se origina no próprio Decreto No 9.637, que através do Artigo 12º, item VII, determina o estabelecimento de “critérios que permitam o monitoramento e a avaliação da execução da PNSI e de seus instrumentos” (BRASIL, 2018).

A “estrutura hierárquica” aqui proposta se refere à necessidade de agrupar conjuntos de critérios e eventuais subcritérios em diferentes níveis de especificidade técnica. Esse tipo de estrutura permite que um problema seja descrito em diferentes níveis, reduzindo a sua complexidade em termos de análise e de compreensão dos seus usuários. Isto é relevante pois o Decreto No 9.637 não limita o monitoramento e avaliação a um determinado órgão da administração pública, cabendo a cada Instituição o exercício dessas atividades. Nesse contexto, a compreensão dos usuários é essencial.

A “estrutura ponderada” indica a possibilidade de propor critérios e subcritérios com importância relativa, permitindo avaliar uma política com maior peso em um conjunto de critérios e menores pesos em outros. Isto confere maior realismo à proposta, pois permite que o processo atribua maior importância aos aspectos mais relevantes ao decisor. Além disso, o domínio da metodologia aqui proposta permite que cada diferente órgão construa a sua própria estrutura de pesos, partindo dos critérios básicos da estrutura hierárquica.

A menção aos “diferentes campos de atuação” se refere à necessidade de envolver os mais diversos grupos de interesse na pesquisa, de forma que a estrutura proposta possa servir a diferentes órgãos e instituições públicas ou privadas que aplicam as diretrizes da PNSI, ou mesmo que possam utilizá-la como modelo de referência para adaptar suas estruturas de segurança da informação e cibernética.

Quadro 1
Etapas e procedimentos da pesquisa

A Etapa 1 efetuou o levantamento da literatura para a busca de modelos dos conceituais de monitoramento e avaliação de sistemas de segurança da informação e cibernética. Inicialmente foram levantados 13 modelos: CMM, CMMI, ISO/IEC 27000, COBIT5, ISA/IEC 62443 (ISA-99), CIS-CSC, ISM2, ISM3, C2M2, CSF, IAMM, CAF e NCSG. Esses modelos foram descritos e analisados, sendo delimitados a uma lista de quatro modelos de referência para uma análise mais aprofundada: CSF, CAF, NCSG e o ISO/IEC 27000. Posteriormente, na Etapa 2, o CSF do NIST foi o modelo selecionado para o prosseguimento da pesquisa.

Na Etapa 3, buscou-se na literatura científica por métodos da Pesquisa Operacional capazes de solucionar o problema. Na maioria dos casos encontrados, o AHP foi o modelo quantitativo explorado para a avaliação de políticas públicas. O AHP é um método quantitativo amplamente explorado em Pesquisa Operacional para o estabelecimento de pesos em problemas de apoio à decisão (POMEROL; BARBA-ROMERO, 2012PAULK, M. C.; CURTIS, B.; CHRISSIS, M. B.; WEBER, C. V. Capability Maturity Model, version 1.1. IEEE software, v. 10, n. 4, p. 18-27, 1993.). Dessa forma, na Etapa 4 confirmou-se o modelo, com base nos principais artigos encontrados.

A Etapa 5 consistiu na transposição da estrutura do CSF-NIST em uma hierarquia. Uma vez que o modelo está estruturado em funções objetivas, sua disposição já se encontra disposta em níveis e subníveis para a aplicação do modelo quantitativo.

As Etapas 6 a 9 reúnem procedimentos de cálculo inerentes ao método AHP. Após a seleção do modelo de maturidade e organização da estrutura hierárquica de critérios e subcritérios, a pesquisa prosseguiu com a elaboração dos questionários de avaliação, a coleta dos dados ao estudo de caso, o cálculo dos pesos dos critérios e subcritérios e o cálculo das Razões de Consistência para a validação do modelo.

Na Etapa 10, os resultados obtidos no estudo de caso foram analisados.

3 Modelos de avaliação e monitoramento de sistemas

A identificação dos modelos mais bem estruturados para avaliar essas políticas é uma tarefa complexa, em vista das diferentes abordagens e propósitos da avaliação. Por este motivo, é necessário recorrer a bases de dados e de publicações científicas para levantar os modelos de monitoramento e avaliação mais explorados, que sirvam de referência para a análise nesta pesquisa. Por vezes, os modelos são designados através de diferentes nomenclaturas, bem como podem incorporar padrões internacionais ou uma estrutura de modelo de maturidade em seu conteúdo. Assim, optou-se doravante por designá-los genericamente como modelos, para generalizar os sistemas, modelos, guias, boas práticas e frameworks.

O universo da segurança cibernética está em constante evolução, exigindo a incorporação de novas dimensões no contexto organizacional a ser avaliado. Isto impõe a elaboração de critérios e indicadores para avaliar o estágio de maturidade da instituição. Entretanto, as diferenças conceituais acerca do objeto de segurança levam a uma maior ou menor abrangência desses instrumentos de avaliação. Por exemplo, o foco da segurança da informação são os mecanismos e a informação em si, enquanto a segurança cibernética é mais ampla, estendendo-se aos aspectos técnicos, infra estruturais, humanos e estratégicos necessários para assegurar o alcance dos objetivos (LE; HOANG, 2017).

As buscas na literatura científica foram conduzidas no Google Scholar, ResearchGate, IEEE, Emerald, ScienceDirect e Academia.edu, que reúnem artigos de revistas, conferências, relatórios, entre outros. As premissas consideradas nessa busca levaram em consideração os modelos disponíveis em fontes abertas (TEICHERT, 2019SYMANTEC. Cyber Security Insights Report - Global Results. . [S.l: s.n.], 2018. Disponível em: https://www.nortonlifelock.com/content/dam/nortonlifelock/pdfs/reports/2017-ncsir-global-results-en.pdf. Acesso em: 10 nov. 2020.
https://www.nortonlifelock.com/content/d...
); as pesquisas publicadas em idioma inglês ou na língua nativa (REA-GUAMAN et al., 2017RAMOS, W. M.; GOLDONI, L. R. F. Os Projetos do Exército Brasileiro e o alinhamento com as diretrizes da Estratégia Nacional de Defesa. Revista Política Hoje, v. 25, n. 1, p. 153-175, 2016.); o alinhamento com as definições previamente levantadas nos documentos, normas e padrões internacionais (AZMI; TIBBEN; WIN, 2018AZMI, R.; TIBBEN, W.; WIN, K. T. Review of cybersecurity frameworks: context and shared concepts. Journal of Cyber Policy, v. 3, n. 2, p. 258-283, 2018.); o acesso ao documento original na íntegra e dentro do cronograma estabelecido para a pesquisa (RAHIM et al., 2015PÖPPELBUSS, J.; RÖGLINGER, M. What makes a useful maturity model? A framework of general design principles for maturity models and its demonstration in business process management. In: EUROPEAN CONFERENCE ON INFORMATION SYSTEMS, 28., 2011, Helsinki. Anais [...] 2011. p. 1-13.).

Os principais modelos levantados na literatura e pertinentes ao escopo desta pesquisa estão descritos no Quadro 2.

Quadro 2
Principais modelos

3.1 Escolha do modelo referência

Esta pesquisa adotou o modelo CSF-NIST como referência. O modelo explora uma seleção de controles da NIST, decorrente da SP 800-53, para a gestão de riscos cibernéticos em infraestruturas críticas. Em sua segunda versão em 2018, o modelo se baseou em cinco padrões internacionais: CIS CSC; COBIT 5; ISA 62443-2: 2009; ISO/IEC 27000:2013; e NIST SP 800-53 ver. 4, sendo a ISO/IEC 27000. Deste modo, suas atividades se alinham às necessidades reconhecidas no ambiente corporativo, incluindo os riscos de segurança cibernética como parte dos processos para a gestão de riscos de uma organização.

O CSF-NIST é aplicável aos setores público ou privado, devido ao seu caráter customizável, focado na melhoria da segurança e resiliência para cada organização. Além disso, o modelo apresenta aderência aos marcos regulatórios nacionais, pois atende às necessidades mencionadas no Art. 12 da PNSI, de competência do GSI, referentes ao Inciso VII. De igual forma, é possível relacionar aspectos do modelo ao Art. 17, de competência dos órgãos e entidades da APF, nos Incisos II, VII e VIII.

A estrutura do CSF-NIST consiste em três partes. A primeira diz respeito a uma estrutura básica, composta por conceitos comuns entre setores e infraestruturas críticas, em que estão um conjunto de atividades, resultados e referências informativas de segurança cibernética. Na segunda parte, quatro níveis de implementação da estrutura descrevem o grau em que a instituição se encontra, em relação ao gerenciamento de riscos cibernéticos: parcial, risco informado, reproduzível e adaptável. A terceira parte se destina à avaliação da instituição, estabelecendo um alinhamento entre funções, categorias e subcategorias, com base nos objetivos institucionais, sua tolerância aos riscos e os recursos disponíveis na organização. Esta parte também serve à identificação do seu status atual ou desejado, seja local ou global.

O CSF-NIST se estrutura em cinco funções, agrupadas por objetivos. Essas funções se subdividem em 23 categorias e 108 subcategorias. A nomenclatura de sua estrutura foi adaptada, de “objetivos” a “critérios”, de “categorias” a “subcritérios de 1º nível” e de “subcategorias” a “subcritérios de 2º nível”, para facilitar a transição do modelo à estrutura hierárquica do AHP.

É importante ressaltar que o CSF-NIST não sugere um grau de importância ou um roteiro de implementação. Sua organização é funcional e diz respeito a um conjunto de atividades. À medida em que for necessário compor as atividades para a avaliação, outras categorias, subcategorias e referências informativas podem ser adicionadas pela instituição, se necessário. O CSF-NIST também apresenta referências informativas para cada subcategoria, com base em diferentes normas internacionais, permitindo esclarecimentos adicionais ou as adaptações necessárias a cada instituição.

Em síntese, o CSF-NIST foi considerado o modelo adequado para a adaptação dos critérios e subcritérios para monitoramento e avaliação da segurança cibernética em uma instituição pública ou privada, uma vez que se destaca por aspectos relevantes a considerar:

  • Ampliação da compreensão tradicional de segurança da informação, com foco na confidencialidade, integridade e disponibilidade da informação. A segurança de seu escopo diz respeito aos aspectos técnicos, bem como aos recursos humanos evolvidos, às políticas e programas, ao core business da organização, a sua estrutura e comunicação com agentes internos e externos;

  • Desenvolvimento para o uso comunitário com o propósito de auxiliar na gerência dos riscos cibernéticos de infraestruturas críticas, em vista da essencial importância para os governos e para a sociedade que dela depende;

  • Requisitos oferecidos para um contexto plural, pautado em boas práticas, normas internacionais e diretrizes, oferecendo subsídios sobre quais matérias e requisitos devem constar nas preocupações de uma organização no enfrentamento do ambiente cibernético;

  • Estrutura fragmentada para a produção de resultados para cada delimitação, para as funções, categorias e subcategorias;

  • Constante atualização através de guias, melhores práticas e conhecimentos que compõem o fundamento de seu conteúdo, oriundos do feedback da indústria e das novas necessidades tecnológicas envolvendo ameaças, riscos e soluções;

  • Ampla aceitação acadêmica por conta da inclusão de trabalhos de pesquisa e discussão entre especialistas, mantendo o seu conteúdo atual e, principalmente, relacionável entre outras ferramentas.

4 Processo de Análise Hierárquica (AHP)

Nesta Seção é explorado o método AHP e suas aplicações em políticas públicas, conforme registra a literatura científica, através de artigos e pesquisas em geral. O AHP se destina ao apoio à decisão multicritério, sendo utilizado no auxílio a problemas complexos. Com base em preferências colhidas junto à especialistas, essas avaliações são transformadas em pesos para a tomada de decisão.

4.1 O AHP aplicado em políticas públicas

Uma parcela desta pesquisa versa sobre o aperfeiçoamento de uma política pública, através do uso de um método de Pesquisa Operacional. Esse aperfeiçoamento foi publicamente requerido, quando o Decreto No 9.637 solicitou a ampla participação da sociedade e dos órgãos e das entidades do Poder Público para contribuírem com a construção da Estratégia Nacional de Segurança da Informação. No mesmo documento, foi também formalmente descrita ao Gabinete de Segurança Institucional da Presidência da República (GSI-PR) a tarefa de estabelecer critérios que permitam o monitoramento e a avaliação da execução da PNSI e de seus instrumentos. Esta necessidade específica de criar uma estrutura de critérios para o monitoramento e avaliação de uma política pública é assunto específico da Pesquisa Operacional e, em particular, aos métodos de apoio à decisão multicritério.

As políticas públicas são instrumentos fundamentais do Estado para promover o bem-estar da sociedade, pois asseguram a prestação de serviços aos seus cidadãos. A avaliação de uma política pública é a etapa final do ciclo que se inicia com a sua criação, permitindo o controle de todo o processo que aprimora as suas atividades (BRASIL, 2013). Em 2018, o Governo Federal lançou uma cartilha para orientar gestores e técnicos na formulação e avaliação de políticas públicas (BRASIL, 2018). O conteúdo da cartilha apresentou seis passos essenciais dessa gestão: (1) diagnóstico do problema; (2) objetivos, ações e resultados; (3) desenho e estratégia de implementação; (4) impacto orçamentário e financeiro; (5) estratégia de construção de confiança e suporte; e (6) monitoramento, avaliação e controle. Conforme descrito no capítulo introdutório, esta pesquisa objetiva a avaliação da implementação da PNSI.

A governança de um programa de segurança cibernética envolve elementos complexos, que incluem a tomada de decisão em diferentes níveis. No caso brasileiro, em função do escopo governamental do PNSI, esses elementos ultrapassam os limites de uma organização, envolvendo um espectro mais amplo de pessoas e instituições. As políticas formuladas passam por um processo mais burocrático, conferindo maior complexidade à governança e, por consequência, as decisões que dela decorrem.

Nesse contexto, é preciso adotar procedimentos que levem ao auxílio do processo de tomada de decisão. Para Saaty (2002REA-GUAMAN, A. M.; SÁNCHEZ-GARCÍA, I. D.; SAN FELIU GILABERT, T.; CALVO-MANZANO VILLALÓN, J. A. Modelos de Madurez en Ciberseguridad: una revisión sistemática. In: IBERIAN CONFERENCE ON INFORMATION SYSTEMS AND TECHNOLOGIES, 28., 2017, Lisboa. Anais [...] 2017. p. 284-289.), esse processo requer conhecer o problema, as suas necessidades e propósito, bem como os seus critérios, subcritérios e possíveis alternativas que o solucione. Em decorrência disto, Saaty (1980) propôs o método AHP, que se caracteriza pela abordagem multicritério de tomada de decisão. O método fragmenta decisões complexas sob uma estrutura hierárquica, desde o objetivo principal no topo, até as alternativas, interligados por níveis de critérios e subcritérios, todos avaliados de forma pareada em relação aos seus níveis imediatamente superiores.

O AHP tem sido utilizado com sucesso para a avaliação de políticas públicas, incluindo as relacionadas à segurança da informação. Hassan e Lee (2019GOIS, A. B. Segurança Cibernética. O Comunicante, v. 8, n. 3, p. 40-47, 2018.) aplicaram o AHP para avaliar política de governança digital no setor público do Paquistão. Esse conceito de governança digital ou eletrônica (i.e. e-Governance) se refere à utilização da internet para veicular informações governamentais e prover serviços públicos aos cidadãos. Os autores selecionaram fatores críticos de sucesso (FCS) para criar uma estrutura hierárquica do problema. Diversas entrevistas com as partes interessadas foram implementadas, com base na escala de Saaty, para conhecer sua perspectiva sobre a estrutura proposta e determinar a importância relativa sobre os FCS.

Em uma organização, o estabelecimento de estratégias e políticas em segurança da informação começam, geralmente, com um diagnóstico do nível de maturidade em que se encontra. Nasser et al. (2018MOMANI, A. M.; AHMED, A. A. Material handling equipment selection using hybrid Monte Carlo simulation and analytic hierarchy process. World Academy of Science, Engineering and Technology, v. 59, p. 953-958, 2011.) utilizaram o AHP para avaliar a gestão de segurança da informação, a partir dos controles da norma ISO 27000:2018.

Katsianis et al. (2018ITU. Guide to developing a National Cybersecurity Strategy - Strategic Engagement in Cybersecurity. . Genebra: [s.n.], 2018. Disponível em: https://ccdcoe.org/uploads/2018/10/D-STR-CYB_GUIDE.01-2018-PDF-E.pdf. Acesso em: 11 jul. 2019.
https://ccdcoe.org/uploads/2018/10/D-STR...
) utilizaram o AHP fuzzy para priorizar questões tecnológicas e socioeconômicas que podem influenciar a implantação e a adoção do projeto SHIELD no âmbito governamental da União Europeia. Esse projeto visa a concepção e desenvolvimento de uma nova estrutura de segurança cibernética, com o objetivo de oferecer segurança como serviço em um ambiente de telecomunicações.

Bernieri et al. (2016BERNIERI, G.; DAMIANI, S.; DEL MORO, F.; FARAMONDI, L.; PASCUCCI, F.; TAMBONE, F. A Multiple-Criteria Decision Making method as support for critical infrastructure protection and Intrusion Detection System. In: ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY, 2016, Florença. Anais [...] 2016. p. 4871-4876.) exploraram o AHP para auxiliar a tomada de decisão de operadores de segurança de redes, em relação à melhor alternativa de recuperar o estado seguro de uma infraestrutura crítica sob ataque. Os autores simularam um ataque cibernético desferido contra sensores de níveis de água de um sistema de distribuição. Devido à sua relevância, esse tipo de sistema, juntamente com redes elétricas e gasodutos podem ser analisados sob a ótica do AHP. Sistemas de controle, algoritmos de detecção de falhas e sistemas de detecção de intrusão são considerados essenciais para a proteção de infraestrutura crítica.

Syamsuddin (2013STERLING, B. The hacker crackdown: Law and disorder on the electronic frontier. [S.l.]: Open Road Media, 2020.) usou o AHP para orientar tomadores de decisão que avaliam o desempenho da política de segurança da informação. O autor destacou que o aumento do número e no impacto de ataques cibernéticos em ativos de informação resultou na crescente conscientização entre os gerentes de que o ataque à informação é, na verdade, um ataque à própria organização. O autor propôs um modelo específico de avaliação da segurança da informação para níveis de gerenciamento. A estrutura do AHP foi desenvolvida em uma estrutura hierárquica contendo quatro critérios que representam os quatro principais aspectos da segurança da informação: gestão, tecnologia, economia e cultura organizacional. No último nível hierárquico, três alternativas foram consideradas: a confidencialidade das informações, a integridade dos sistemas, disponibilidade dos serviços, que representam uma solução estratégica para implementação dos sistemas de segurança da informação. Os resultados mostraram a preferência pela disponibilidade dos serviços, seguida de confidencialidade e da integridade. As descobertas contribuem para o desenvolvimento de estratégias para melhorar a eficácia da política de segurança da informação na organização.

Badie e Lashkari (2012BADIE, N.; LASHKARI, A. H. A new evaluation criteria for effective security awareness in computer risk management based on AHP. Journal of Basic and Applied Scientific Research, v. 2, n. 9, p. 9331-9347, 2012.) aplicaram o AHP para avaliar os riscos inerentes à segurança da informação, com foco no fator humano, de forma a orientar a elaboração de planos que ampliem a conscientização dos usuários sobre o tema. Os autores também destacam a importância em relação à confidencialidade das informações, integridade dos sistemas e disponibilidade dos serviços, nas atividades de segurança da informação. Os autores afirmam que qualquer sistema de segurança, não importa o quão bem projetado e implementado, ainda depende do fator humano para o seu adequado desempenho. Os resultados indicaram o treinamento do usuário com o principal efeito positivo para reduzir a falta de conscientização de segurança da informação.

O AHP também auxilia na tomada de decisão estratégica, tanto no âmbito governamental quanto corporativo. Bhushan e Rai (2007) utilizaram o AHP para auxílio da decisão na área de negócios, defesa e governança. Os autores aplicaram o método para a seleção de fornecedores à avaliação de sistemas de armas, para a gestão de projetos de apoio à decisão em desastres naturais e para a seleção de fatores que afetam a segurança nacional.

Outros métodos de apoio à decisão em políticas de segurança da informação também têm sido identificados na literatura científica recente. Erdoğan et al. (2019ENGLBRECHT, L.; MEIER, S.; PERNUL, G. Towards a capability maturity model for digital forensic readiness. Wireless Networks, v. 26, n. 7, p. 4895-4907, 2020.) propôs uma metodologia de tomada de decisão com múltiplos critérios, modelados por conjuntos fuzzy hesitantes, que oferece aos especialistas uma flexibilidade adicional no uso de termos linguísticos para avaliar os critérios e alternativas para determinar a melhor tecnologia de segurança cibernética. Yuen (2019WIND, Y.; SAATY, T. L. Marketing Applications of the Analytic Hierarchy Process. Management Science, v. 26, n. 7, p. 641-658, 1980.) explorou conceitos de sustentabilidade e confiabilidade de um sistema de segurança da informação através de um método multicritério denominado Processo de Rede Cognitiva Primitiva (PCNP), para a tomada de decisão sobre investimentos em segurança cibernética.

O método AHP foi adotado como a referência às avaliações de políticas públicas nesta pesquisa. A escolha por um modelo de apoio à decisão consagrado na literatura decorre de alguns fatores. Inicialmente, verificou-se o uso prévio e recente na avaliação de políticas públicas em diferentes países e em renomados periódicos. Também é possível destacar uma série de vantagens do método: sua estrutura multicritério, permitindo avaliar um problema sob múltiplos pontos de vista; sua simplicidade de cálculo e programação, a partir de equações oriundas da álgebra linear; sua simplicidade lógica que facilita a aceitação por parte de tomadores de decisão, não necessariamente familiarizados com modelos matemáticos; seu processo de autoavaliação de consistência, que permite validar ou não os resultados dos especialistas. Entre as suas limitações, cabe destacar a dependência de especialistas para a realização das avaliações paritárias dos critérios, subcritérios e alternativas do problema. Também cabe mencionar que um problema com elevada quantidade de variáveis potencializa a quantidade de avaliações paritárias, o que pode comprometer a consistência lógica e o elevado tempo de avaliação dos especialistas.

4.2 Detalhamento do método AHP

O AHP é um método de apoio à decisão multicritério, útil para a solução de problemas complexos (WIND; SAATY, 1980WHITE, G. Crime Dot Com: From Viruses to Vote Rigging, How Hacking Went Global. Chicago: Reaktion Books, 2020.). O AHP é basicamente utilizado para definir uma ordem de prioridade das alternativas capazes de solucionar o problema. O método adota a seguinte sequência de procedimentos: (1) definir o objetivo, os critérios de avaliação, eventuais subcritérios e possíveis alternativas, estabelecendo uma estrutura hierárquica ao problema; (2) comparar os elementos de decisão de forma paritária em cada nível da estrutura hierárquica, em relação ao nível superior, com base em uma escala específica; (3) calcular os pesos relativos dos elementos de decisão nos diversos níveis hierárquicos e, por fim, (4) ordenar as alternativas de decisão a partir da agregação dos pesos dos elementos de decisão.

A estrutura hierárquica do problema pode ser ilustrada pela Figura 1, que descreve um problema genérico com quatro critérios e três alternativas. Essa estrutura define níveis hierárquicos entre o objetivo no topo e as alternativas na base, que permitem solucionar o problema. Os níveis intermediários podem ser formados por critérios e subcritérios, em quantos níveis forem necessários para descrever a estrutura do problema.

Figura 1
Estrutura hierárquica genérica de um problema.

O AHP requer avaliações para os critérios, eventuais subcritérios e alternativas, efetuadas para um nível acima em sua estrutura. Essas avaliações são paritárias e compõem matrizes com valores da escala proposta por Saaty & Vargas (1980SAATY, THOMAS L. Priority Setting in Complex Problems. IEEE Transactions on Engineering Management, v. EM-30, n. 3, p. 140-155, 1982.), conforme a Figura 2.

Figura 2
Escala de avaliação paritária.

No método de comparação paritária, os critérios, eventuais subcritérios e alternativas são avaliados por especialistas ou tomadores de decisão. Essas avaliações geram uma matriz quadrada para cada nível hierárquico, tendo por referência o nível hierárquico imediatamente superior, conforme a Equação (1).

A = [ 1 a 12 a 1 n 1 / a 12 1 a 2 n 1 / a 1 n 1 / a 2 n 1 ] (1)

Na matriz A, a ij =1/a ji e quando i=j, a ij =1, por se tratar de elementos equivalentes, tornando-a uma matriz recíproca de avaliações paritárias. Definidas as matrizes, os procedimentos subsequentes seguem conceitos oriundos da álgebra linear. Na sequência são efetuados os cálculos do AHP, com a finalidade de obter os pesos relativos dos critérios e subcritérios, além dos cálculos da consistência lógica das avaliações efetuadas. Na Equação (2) são calculados os pesos w i de cada elemento da matriz. Essa variável w i corresponde ao autovetor dos elementos de uma matriz, sendo obtido de maneira simplificada através da média aritmética entre a raiz n do produto das avaliações a ij e a soma desses resultados, para cada linha. O procedimento de cálculo das Equações (2) a (6) foi proposto por Liu e Lin (2016LIMA, P. A. L. Segurança Cibernética: a necessidade de se estruturar, sistematizar e integrar a proteção cibernética das Infraestruturas Críticas Nacionais, Órgãos Estratégicos do Governo e Forças Armadas. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO BRASILEIRA DE ESTUDOS DE DEFESA, 2018, Anais [...] São Paulo: ABED, 2018. p. 1-24.).

w i = ( j = 1 n a i j ) 1 / n i = 1 n ( j = 1 n a i j ) 1 / n (2)

Em seguida, deve ser calculado o λ max , que corresponde ao autovalor máximo da matriz recíproca, sendo obtido através das Equações (3) e (4).

A s = [ 1 a 12 a 1 n 1 / a 12 1 a 2 n 1 / a 1 n 1 / a 2 n 1 ] × [ w 1 w 2 w n ] = [ w 1 w 2 w n ] (3)

λ max = ( 1 / n ) × ( w 1 / w 1 + w 2 / w 2 + w n / w n ) (4)

Essa variável λ max é necessária para os cálculos posteriores do AHP, que incluem o Índice de Consistência (IC), o Índice Randômico (IR), calculado com base na Tabela 1 de referência com a razão da matriz (quantidade de linhas/colunas da matriz recíproca) e a Razão de Consistência (RC), conforme as Equações (5) e (6).

I C = λ max n n 1 (5)

R C = I C I R (6)

Tabela 1
Índices aleatórios

A RC indica a validação interna do método AHP, sendo utilizada para verificar a consistência lógica das avaliações paritárias de cada matriz, sendo considerado o valor de 10% como aceitável. (SAATY, 1983). Para Forman (1993ERDOĞAN, M.; KARAŞAN, A.; KAYA, İ.; BUDAK, A.; ÇOLAK, M. A Fuzzy Based MCDM Methodology for Risk Evaluation of Cyber Security Technologies. In: INTERNATIONAL CONFERENCE ON INTELLIGENT AND FUZZY SYSTEMS. Cham: Springer, p. 1042-1049, 2019.), a inconsistência das avaliações decorre dos erros de julgamento humano, de parcialidade nas avaliações e de uma compreensão perfeita dos especialistas acerca do problema avaliado. Aquele autor exemplifica essa inconsistência no ambiente esportivo, em que não raro um time “A” vence um time “B” e este time “B” vence um time “C”, porém o time “A” perde para o time “C”. Em relação às escolhas ou preferências em problemas de pesquisa essa inconsistência é indesejável e, para valores de RC superiores a 10%, é recomendável uma nova rodada de avaliações com o especialista, até que seja atendida essa condição de validade. Na prática, a repetição desse procedimento pode ser inexequível, diante da indisponibilidade de tempo e de recursos. Em função disto, diversos autores propuseram técnicas com simulação de Monte Carlo e procedimentos estatísticos, capazes de mitigar essas limitações provocadas por inconsistência das avaliações, para ajustar a coleta de dados ao mundo real (ACZÉL; SAATY, 1983ACZÉL, J.; SAATY, T. L. Procedures for synthesizing ratio judgements. Journal of Mathematical Psychology, v. 27, n. 1, p. 93-102, 1983.; MOMANI; AHMED, 2011LIU, C. H.; LIN, C.-W. R. The Comparative of the AHP Topsis Analysis Was Applied for the Commercialization Military Aircraft Logistic Maintenance Establishment. International Business Management, v. 10, n. 4, p. 6428-6432, 2016.; SAATY, THOMAS L; VARGAS, 2012; VARGAS, 1982).

5 Aplicação

Esta seção apresenta a execução das Etapas 6 a 9 da pesquisa, que correspondem à elaboração dos questionários de avaliação, à coleta dos dados aos estudos de caso, ao cálculo dos pesos dos critérios e subcritérios e ao cálculo das Razões de Consistência para a validação do modelo.

Foram utilizados dois questionários. O primeiro se referiu à metodologia do AHP, para o cálculo dos pesos dos critérios e subcritérios (1º e 2º níveis), adaptados do CSF-NIST, e validação interna do processo com as Razões de Consistência. O segundo questionário foi utilizado para a coleta dos dados referentes à aplicação nas instituições escolhidas para o teste, qualificando o status de maturidade cada subcritério de 2º nível. Foram selecionadas duas instituições: um banco público brasileiro e uma empresa de auditoria. Por necessidade de concisão do artigo, o questionário foi omitido.

A estrutura do primeiro questionário segue basicamente a hierarquia do problema, segundo o AHP. Para cada nível, são efetuadas avaliações paritárias entre as variáveis, segundo a escala de Saaty. No início do questionário, foi utilizado um exemplo de avaliação para orientar o especialista no preenchimento de seus julgamentos, conforme a Figura 3. Pergunta-se ao respondente a importância de um determinado critério em relação a outro do mesmo nível hierárquico. As perguntas, neste modelo, são feitas da linha da matriz de avaliações em relação a sua coluna. Assim, o critério A (da linha), na esquerda da escala, será comparado com o critério B (da coluna), na direita da escala. Se o critério A for considerado “muito mais importante” que o critério B, então ele recebe o grau “5” da escala.

A avaliação paritária entre as variáveis resulta em uma da matriz de importância relativa entre elas, conforme ilustrado na Tabela 2. As células hachuradas em cor cinza não requerem avaliações, por corresponderem aos valores inversos, de tal forma que a ji = 1/a ij , em que “i” é a linha da matriz e “j” a coluna.

Tabela 2
Avaliações do subcritério Gerenciamento de Ativos

Após a coleta dos dados, as Equações (2) a (6) de cálculo do AHP foram efetuadas para cada matriz, indicando os pesos de cada variável e as Razões de Consistência dos seus julgamentos.

Após o processamento do primeiro questionário, foi transmitido o segundo, para a coleta do nível de maturidade da instituição, de acordo com a percepção do respondente. Foram atribuídas notas de “1” a “5” aos 108 subcritérios de 2º nível, em que “1” indicava o menor nível de maturidade e “5” o maior. Caso o item de avaliação não fosse aplicável à instituição, o respondente deveria indicar “0”. A soma ponderada de cada avaliação desse status de maturidade, com os pesos dos subcritérios de 2º nível, resultou no nível global de maturidade da instituição. Por necessidade de concisão do artigo, as matrizes de dados coletados foram omitidas.

5.1 Resultados

Este estudo de caso se refere a um banco público de relevância ao governo brasileiro. A organização dispõe de diversos produtos para a pessoa física e jurídica, bem como apoia o poder público na implantação de políticas públicas. A instituição, de abrangência nacional, possui mais de mais de 80 mil funcionários. Para uma instituição financeira, a segurança da informação e a manutenção da segurança cibernética são imperativas ao desempenho adequado e seguro de suas atividades.

O avaliador deste estudo de caso é graduado em ciência da computação e mestre em engenharia de sistemas e computação por instituições públicas de ensino superior. Possui especialização em segurança da informação em uma empresa privada e leciona sobre segurança de redes e sistemas operacionais em instituição de ensino.

A aplicação da Equação (2) do AHP, para cada matriz coletada junto ao avaliador, gerou pesos para cada variável. A Tabela 3 reúne esses pesos e os níveis de maturidade avaliados no primeiro estudo de caso.

Tabela 3
Resultados do Estudo de Caso

5.2 Análise

O gráfico da Figura 4 traduz em imagem as maturidades globais da última coluna “Resultado”, na Tabela 3. Assim, é possível verificar que a variável “PR-AC-1 Identidades e credenciais emitidas, geridas, verificadas, revogadas e auditadas para aparelhos autorizados, usuários e processos;” foi a de maior maturidade na instituição avaliada. Os níveis de maturidade global decrescem do canto superior esquerdo ao inferior direito do gráfico, sendo as dimensões dos 108 retângulos proporcionais ao resultado final. O posicionamento do cursor sobre a sigla de cada variável, no gráfico, permite verificar o nível de maturidade global da variável. Esse gráfico, dessa forma, facilita a visualização por parte da instituição, acerca dos melhores e piores indicadores de maturidade. Esses resultados, em cada instituição, precisam ser reavaliados, preferencialmente através de uma comissão de autoavaliação que efetuou essa coleta de dados, para que medidas de aperfeiçoamento desses indicadores possam ser implementadas, com vistas ao melhoramento da segurança da informação e cibernética.

Figura 4
Gráfico dos índices globais de maturidade do Estudo de Caso

As Equações (3) a (6) do AHP permitiram calcular as Razões de Consistência dos julgamentos do avaliador, conforme a Tabela 4. Os resultados indicados em cor vermelha trazem as RC iniciais com inconsistência, que requereram nova rodada de avaliação até atingir o novo RC, indicado logo abaixo. Os pesos considerados anteriormente, na Tabela 3, se referem às RC inferiores a 10%. De maneira geral, pode-se considerar que a consistência do avaliador foi muito boa, em decorrência da quantidade de avalições inconsistentes diante do total de julgamentos.

Tabela 4
Razões de Consistência do Estudo de Caso

6 Conclusão

A segurança cibernética é um tema ainda atual e da mais alta relevância para as sociedades contemporâneas. A seriedade com que os países mais desenvolvidos tratam o tema indica o empenho e esforço para ampliar a capacidade de atuação e a habilidade de proteger suas atividades através da rede mundial de computadores. Assim, o país precisa assumir a posição de liderança na condução da cultura de segurança cibernética entre a administração pública federal, com as mais avançadas técnicas, procedimentos e boas práticas existentes. Este trabalho, além de sugerir uma alternativa na adoção de critérios e em sua avaliação, contribui com o debate para aumentar a efetividade dos programas para a governança da segurança cibernética através de uma metodologia necessária ao seu monitoramento e avaliação.

A pesquisa foi estruturada em torno de duas questões. Primeiramente era necessário identificar que modelo conceitual e que método quantitativo de monitoramento e avaliação de sistemas de segurança da informação e cibernética deveriam ser utilizados para atender às necessidades estabelecidas pelo Decreto No 9.637. O modelo conceitual que melhor se ajusta ao problema é o CSF-NIST. Esse modelo é aplicável aos setores público e privado, devido ao seu caráter customizável, focado na melhoria da segurança e na resiliência para cada organização. Além disso, o modelo atende às necessidades mencionadas no Art. 12 e Art. 17 do Decreto No 9.637, conforme o extrato no Anexo. Sua estrutura em critérios e subcritérios é diversificada e abrangente, permitindo que todos os setores da instituição sejam avaliados, sob diferentes níveis de maturidade. A segunda questão se referia ao modo de obtenção dos pesos dos critérios e subcritérios do modelo escolhido, para monitorar e avaliar uma Instituição pública ou privada. Por se tratar de cálculo de pesos em uma estrutura hierárquica, buscou-se o método AHP, que mais se ajusta a esse tipo de problema na Pesquisa Operacional. A quantidade e qualidade de evidências na literatura sobre o uso do AHP para a avaliação de políticas públicas corroborou a escolha por esse método.

Um estudo de caso complementou essas questões, para ilustrar como uma instituição pública ou privada pode usar o CSF-NIST com o AHP para monitorar e avaliar a maturidade da segurança da informação e cibernética em suas atividades. Assim, a estrutura do CSF-NIST foi detalhada, as etapas do AHP foram descritas, os pesos foram apresentados e, por fim, as Razões de Consistência indicaram a validação interna do processo. Em síntese, o processo de obtenção dos resultados nesta pesquisa mostrou-se mais relevante que a análise dos resultados em si, pois a maturidade de cada instituição é peculiar a cada tipo de atividade e o caso considerado está incluso nesse contexto. Assim, o objetivo geral de apoiar o processo de tomada de decisão em relação ao monitoramento e avaliação da execução da PNSI e de seus instrumentos, através de uma estrutura hierárquica e ponderada de critérios e subcritérios, elencados com base na opinião de especialistas técnicos em tecnologia da informação e usuários de sistemas informatizados, foi plenamente atendido.

A pesquisa tem, naturalmente, suas limitações. Qualquer processo de tomada de decisão com especialistas é dependente do comprometimento, da seriedade e da coerência lógica das respostas desses julgamentos. O AHP permite, de certa forma, reduzir o problema da inconsistência lógica, através do cálculo da Razão de Consistência. Entretanto, a parcialidade e efetivo conhecimento da matéria pelos especialistas consultados é algo presente e de difícil eliminação e mensuração, respectivamente. Por não se tratar de uma pesquisa com foco na qualidade dos resultados, mas no processo de obtenção dos níveis de maturidade, essa limitação não comprometeu a pesquisa. Entretanto, isto deve ser relevante para as instituições ou empresas que venham aplicar a proposta aqui desenvolvida.

Outra limitação a levantar se refere à complexidade do modelo CSF-NIST para as avaliações do AHP. A estrutura do CSF-NIST gera níveis hierárquicos com significativa quantidade de elementos, o que amplia o esforço de coleta das avaliações paritárias, gerando considerável dedicação dos especialistas para o retorno das respostas. Existem pesquisas recentes sobre a redução do esforço de coleta de dados com o AHP que podem ser aplicadas em futuras pesquisas com modelos de maturidade com tal complexidade, a exemplo do CSF-NIST. Outra possibilidade se refere à constituição de comissões de avaliação em uma instituição, com a responsabilidade e comprometimento dos agentes encarregados da tomada de decisão, na alta administração organizacional, pode contribuir para a qualidade e uniformidade das avaliações, reduzindo o esforço individual de especialistas para a coleta dos dados. Essa medida administrativa pode ser um importante complemento ao processo desenvolvido nesta pesquisa.

Alguns aperfeiçoamentos são visualizados. A Pesquisa Operacional disponibiliza centenas de métodos de apoio à decisão multicritério que podem contribuir com o processo aqui proposto. Mesmo com a lógica do AHP, é possível, por exemplo, associar o AHP com outras técnicas ou com variáveis em lógica fuzzy. Outra possibilidade é aplicar modelos parciais do AHP, para reduzir a quantidade de avaliações, decorrentes da quantidade de variáveis a serem comparadas paritariamente.

Referências

  • ACZÉL, J.; SAATY, T. L. Procedures for synthesizing ratio judgements. Journal of Mathematical Psychology, v. 27, n. 1, p. 93-102, 1983.
  • AZMI, R.; TIBBEN, W.; WIN, K. T. Review of cybersecurity frameworks: context and shared concepts. Journal of Cyber Policy, v. 3, n. 2, p. 258-283, 2018.
  • BADIE, N.; LASHKARI, A. H. A new evaluation criteria for effective security awareness in computer risk management based on AHP. Journal of Basic and Applied Scientific Research, v. 2, n. 9, p. 9331-9347, 2012.
  • BECKER, J.; NIEHAVES, B.; POEPPELBUSS, J.; SIMONS, A. Maturity models in IS research. In: EUROPEAN CONFERENCE ON INFORMATION SYSTEMS, 42., 2010, Pretoria. Anais [...] 2010. p. 1-12.
  • BERNIERI, G.; DAMIANI, S.; DEL MORO, F.; FARAMONDI, L.; PASCUCCI, F.; TAMBONE, F. A Multiple-Criteria Decision Making method as support for critical infrastructure protection and Intrusion Detection System. In: ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY, 2016, Florença. Anais [...] 2016. p. 4871-4876.
  • BHASKAR, S.; KUMAR, M.; PATNAIK, A. Application of Hybrid AHP-TOPSIS Technique in Analyzing Material Performance of Silicon Carbide Ceramic Particulate Reinforced AA2024 Alloy Composite. Silicon, p. 1-10, 2019.
  • BHUSHAN, N.; RAI, K. Strategic decision making: applying the analytic hierarchy process. London: Springer Science & Business Media, 2004.
  • BOWEN, P.; KISSEL, R. NISTIR 7358: Program Review for Information Security Management Assistance (PRISMA). Washington, DC: [s.n.], 2007. Disponível em: https://nvlpubs.nist.gov/nistpubs/Legacy/IR/nistir7358.pdf Acesso em: 21 ago. 2020.
    » https://nvlpubs.nist.gov/nistpubs/Legacy/IR/nistir7358.pdf
  • BRASIL. Casa Civil da Presidência da República. Instituto de Pesquisa Econômica Aplicada. Avaliação de Políticas Públicas: guia prático de análise Ex Ante, v.1. Brasilia-DF: Instituto de Pesquisa Econômica Aplicada. Disponível em: https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdf, 2018. Acesso em: 10 jul. 2020.
    » https://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/180319_avaliacao_de_politicas_publicas.pdf
  • BRASIL. Ministério da Defesa. Política Nacional de Defesa e Estratégia Nacional de Defesa. Versão sob apreciação do Congresso Nacional (Lei Complementar 97/1999, art. 9o, § 3o). Brasilia-DF: Ministério da Defesa. Disponível em: https://www.gov.br/defesa/pt-br/assuntos/copy_of_estado-e-defesa/pnd_end_congresso_.pdf, 2020a. Acesso em: 15 nov. 2020.
    » https://www.gov.br/defesa/pt-br/assuntos/copy_of_estado-e-defesa/pnd_end_congresso_.pdf
  • BRASIL. Decreto No 9.637, de 26 de dezembro de 2018. Institui a Política Nacional de Segurança da Informação. Diário Oficial da União: seção 1, Brasília, DF, edição 248, seção 1, p. 23, 27 dez. 2018.
  • BRASIL. Presidência da República. Centro de Tratamento e Resposta a Incidentes Cibernéticos de Governo. Estatísticas de incidentes computacionais em órgãos de governo e vinculados - dados para diagnóstico. Brasilia-DF: Presidência da República. Disponível em: https://www.ctir.gov.br/arquivos/estatisticas/2018/Estatisticas_CTIR_Gov_Ano_2018.pdf, 2020b. Acesso em: 10 nov. 2020.
    » https://www.ctir.gov.br/arquivos/estatisticas/2018/Estatisticas_CTIR_Gov_Ano_2018.pdf
  • BRASIL. Senado Federal. Avaliação de Políticas Públicas - Resolução no 44, de 2013. Brasilia-DF: Senado Federal. Disponível em: http://www.senado.gov.br/noticias/especiais/politicas-publicas-pnbl/Plano-de-trabalho-Avaliacao-do-PNBL-maio_2014.pdf, 2013. Acesso em: 10 nov. 2020.
    » http://www.senado.gov.br/noticias/especiais/politicas-publicas-pnbl/Plano-de-trabalho-Avaliacao-do-PNBL-maio_2014.pdf
  • BROWN, R. D. Towards a Qatar Cybersecurity Capability Maturity Model with a Legislative Framework. International Review of Law, v. 4, p. 1-35, 2018.
  • BUCHANAN, B. The Hacker and the State: Cyber Attacks and the New Normal of Geopolitics. Cambridge: Harvard University Press, 2020.
  • CAVELTY, M. D.; BRUNNER, E. M. Introduction: Information, power, and security - An outline of debates and implications. In: CAVELTY, M. D.; MAUER, V.; KRISHNA-HENSEL, S. F. Power and Security in the Information Age: Investigating the Role of the State in Cyberspace. Oxon: Routledge, 2007b. p. 1-18.
  • CESG. Good Practice Guide (GPG40). The Information Assurance Maturity Model and Assessment Framework. London: National Technical Authority for Information Assurance. Disponível em: https://www.ncsc.gov.uk/information/hmg-ia-maturity-model-iamm, 2015. Acesso em: 05 set. 2020.
    » https://www.ncsc.gov.uk/information/hmg-ia-maturity-model-iamm
  • CIS. Center for Internet Security. About us. New York: Center for Internet Security. Disponível em: https://www.cisecurity.org/about-us/, 2020. Acesso em: 13 out. 2020.
    » https://www.cisecurity.org/about-us
  • CURTIS, P.; MEHRAVARI, N.; STEVENS, J. Cybersecurity Capability Maturity Model for Information Technology Services (C2M2 for IT Services), Version 1.0. Hanscom AFB: Carnegie-Mellon Univ. Pittsburgh PA. United States. Disponível em: https://apps.dtic.mil/sti/pdfs/AD1026943.pdf, 2015. Acesso em: 15 out. 2020.
    » https://apps.dtic.mil/sti/pdfs/AD1026943.pdf
  • ENGLBRECHT, L.; MEIER, S.; PERNUL, G. Towards a capability maturity model for digital forensic readiness. Wireless Networks, v. 26, n. 7, p. 4895-4907, 2020.
  • ERDOĞAN, M.; KARAŞAN, A.; KAYA, İ.; BUDAK, A.; ÇOLAK, M. A Fuzzy Based MCDM Methodology for Risk Evaluation of Cyber Security Technologies. In: INTERNATIONAL CONFERENCE ON INTELLIGENT AND FUZZY SYSTEMS. Cham: Springer, p. 1042-1049, 2019.
  • FORMAN, E. H. Facts and fictions about the analytic hierarchy process. Mathematical and computer modelling, v. 17, n. 4-5, p. 19-26, 1993.
  • GOIS, A. B. Segurança Cibernética. O Comunicante, v. 8, n. 3, p. 40-47, 2018.
  • HASSAN, M. H.; LEE, J. Policymakers’ perspective about e-Government success using AHP approach: Policy implications towards entrenching Good Governance in Pakistan. Transforming Government: People, Process and Policy, v. 13, n. 1, p. 93-118, 2019.
  • ISA. International Society of Automation. New ISA/IEC 62443 standard specifies security capabilities for control system components. Disponível em: https://www.isa.org/intech/201810standards/. Acesso em: 4 nov. 2020.
    » https://www.isa.org/intech/201810standards
  • ISACA. Information Systems Audit and Control Association. COBIT - Why Cobit? Disponível em: https://www.isaca.org/resources/cobit Acesso em: 2 nov. 2020.
    » https://www.isaca.org/resources/cobit
  • ISO/IEC. Information Security Management System - ISO/IEC 27000:2018. Disponível em: https://www.iso.org/obp/ui/#iso:std:iso-iec:27000:ed-5:v1:en Acesso em: 2 nov. 2020.
    » https://www.iso.org/obp/ui/#iso:std:iso-iec:27000:ed-5:v1:en
  • ITU. Guide to developing a National Cybersecurity Strategy - Strategic Engagement in Cybersecurity. . Genebra: [s.n.], 2018. Disponível em: https://ccdcoe.org/uploads/2018/10/D-STR-CYB_GUIDE.01-2018-PDF-E.pdf Acesso em: 11 jul. 2019.
    » https://ccdcoe.org/uploads/2018/10/D-STR-CYB_GUIDE.01-2018-PDF-E.pdf
  • KATSIANIS, D.; NEOKOSMIDIS, I.; PASTOR, A.; JACQUIN, L.; GARDIKIS, G. Factors influencing market adoption and evolution of NFV/SDN Cybersecurity Solutions. Evidence from SHIELD Project. In: EUROPEAN CONFERENCE ON NETWORKS AND COMMUNICATIONS, 2018, Anais [...] [S.l.]: IEEE, 2018. p. 303-307.
  • LE, N. T.; HOANG, D. B. Can maturity models support cyber security? In: INTERNATIONAL PERFORMANCE COMPUTING AND COMMUNICATIONS CONFERENCE, 2016, Anais [...] IEEE, 2018. p. 1-7.
  • LIMA, P. A. L. Segurança Cibernética: a necessidade de se estruturar, sistematizar e integrar a proteção cibernética das Infraestruturas Críticas Nacionais, Órgãos Estratégicos do Governo e Forças Armadas. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO BRASILEIRA DE ESTUDOS DE DEFESA, 2018, Anais [...] São Paulo: ABED, 2018. p. 1-24.
  • LIU, C. H.; LIN, C.-W. R. The Comparative of the AHP Topsis Analysis Was Applied for the Commercialization Military Aircraft Logistic Maintenance Establishment. International Business Management, v. 10, n. 4, p. 6428-6432, 2016.
  • MOMANI, A. M.; AHMED, A. A. Material handling equipment selection using hybrid Monte Carlo simulation and analytic hierarchy process. World Academy of Science, Engineering and Technology, v. 59, p. 953-958, 2011.
  • NASSER, A. A.; AL-KHULAIDI, A. A.; ALJOBER, M. N. Measuring the Information Security Maturity of Enterprises under Uncertainty Using Fuzzy AHP. International Journal of Information Technology and Computer Science, v. 10, n. 4, p. 10-25, 2018.
  • NETO, W. B. F. Cibernética como Setor Estratégico no Brasil e seus Reflexos para a Estrutura da Defesa. Centro de Estudos Estratégicos do Exército: Análise Estratégica, v. 17, n. 3, p. 45-64, 2020.
  • NIST. National Institute of Standards and Technology. Framework for improving critical infrastructure cybersecurity, version 1.1. Gaithersburg, MD: [s.n.], abr. 2018. Disponível em: https://nvlpubs.nist.gov/nistpubs/CSWP/NIST.CSWP.04162018.pdf Acesso em: 10 nov. 2020.
    » https://nvlpubs.nist.gov/nistpubs/CSWP/NIST.CSWP.04162018.pdf
  • NSCS. NATIONAL CYBER SECURITY CENTRE. Cyber Assessment Framework. . London: National Cyber Security Centre, 2018. Disponível em: https://www.ncsc.gov.uk/information/cyber-assessment-framework--caf--changelog Acesso em: 10 set. 2020.
    » https://www.ncsc.gov.uk/information/cyber-assessment-framework--caf--changelog
  • PAULK, M. C.; CURTIS, B.; CHRISSIS, M. B.; WEBER, C. V. Capability Maturity Model, version 1.1. IEEE software, v. 10, n. 4, p. 18-27, 1993.
  • POMEROL, J.-C.; BARBA-ROMERO, S. Multicriterion decision in management: principles and practice. New York: Springer, 2012.
  • PÖPPELBUSS, J.; RÖGLINGER, M. What makes a useful maturity model? A framework of general design principles for maturity models and its demonstration in business process management. In: EUROPEAN CONFERENCE ON INFORMATION SYSTEMS, 28., 2011, Helsinki. Anais [...] 2011. p. 1-13.
  • RAHIM, N. H. A.; HAMID, S.; KIAH, M. L. M.; SHAMSHIRBAND, S.; FURNELL, S. A systematic review of approaches to assessing cybersecurity awareness. Kybernetes, v. 44, n. 4, p. 606-622, abr. 2015.
  • RAMOS, W. M.; GOLDONI, L. R. F. Os Projetos do Exército Brasileiro e o alinhamento com as diretrizes da Estratégia Nacional de Defesa. Revista Política Hoje, v. 25, n. 1, p. 153-175, 2016.
  • REA-GUAMAN, A. M.; SÁNCHEZ-GARCÍA, I. D.; SAN FELIU GILABERT, T.; CALVO-MANZANO VILLALÓN, J. A. Modelos de Madurez en Ciberseguridad: una revisión sistemática. In: IBERIAN CONFERENCE ON INFORMATION SYSTEMS AND TECHNOLOGIES, 28., 2017, Lisboa. Anais [...] 2017. p. 284-289.
  • SAATY, T. L. Decision making with the Analytic Hierarchy Process. Scientia Iranica, v. 9, n. 3, p. 215-229, 2002.
  • SAATY, THOMAS L. Priority Setting in Complex Problems. IEEE Transactions on Engineering Management, v. EM-30, n. 3, p. 140-155, 1982.
  • SAATY, THOMAS L. The Analytic Hierarchy Process. New York: McGraw-Hill, 1980.
  • SAATY, T. L.; VARGAS, L. G. Models, methods, concepts & applications of the analytic hierarchy process. International Series in Operations Research & Management Science. New York: Springer Science & Business Media, v. 175, 2012.
  • STERLING, B. The hacker crackdown: Law and disorder on the electronic frontier. [S.l.]: Open Road Media, 2020.
  • SYAMSUDDIN, I. Multicriteria Evaluation and Sensitivity Analysis on Information Security. International Journal of Computer Applications, v. 69, n. 24, p. 22-25, 2013.
  • SYMANTEC. Cyber Security Insights Report - Global Results. . [S.l: s.n.], 2018. Disponível em: https://www.nortonlifelock.com/content/dam/nortonlifelock/pdfs/reports/2017-ncsir-global-results-en.pdf Acesso em: 10 nov. 2020.
    » https://www.nortonlifelock.com/content/dam/nortonlifelock/pdfs/reports/2017-ncsir-global-results-en.pdf
  • TEICHERT, R. Digital transformation maturity: A systematic review of literature. Acta Universitatis Agriculturae et Silviculturae Mendelianae Brunensis, v. 67, n. 6, p. 1673-1687, 2019.
  • VARGAS, L. G. Reciprocal matrices with random coefficients. Mathematical modelling, v. 3, n. 1, p. 69-81, 1982.
  • VIANNA, E. W.; DE SOUSA, R. T. B. Ciber Proteção: a segurança dos sistemas de informação no espaço cibernético. Revista Ibero-Americana de Ciência da Informação, v. 10, p. 110-131, 2018.
  • WHITE, G. Crime Dot Com: From Viruses to Vote Rigging, How Hacking Went Global. Chicago: Reaktion Books, 2020.
  • WIND, Y.; SAATY, T. L. Marketing Applications of the Analytic Hierarchy Process. Management Science, v. 26, n. 7, p. 641-658, 1980.
  • YUEN, K. K. F. Towards a Cybersecurity Investment Assessment method using Primitive Cognitive Network Process. In: INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE IN INFORMATION AND COMMUNICATION, 2019, Anais [...] 2019. p. 68-71.
  • 1
    De fato, a expressão “segurança cibernética” recebe diferentes definições. Por exemplo, a União Internacional das Comunicações (órgão da ONU) define “segurança cibernética” como “a coleção de ferramentas, políticas, conceitos de segurança, salvaguardas de segurança, orientações, abordagens de gestão de risco, ações, treinamentos, melhores práticas, seguros e tecnologias que podem ser usados para proteger o ambiente cibernético, a organização e propriedades de usuários(as). A organização e as propriedades incluem dispositivos de computação conectados, funcionários(as) e colaboradores(as), infraestrutura, aplicativos, serviços, sistemas de telecomunicações e a totalidade de informação transmitida e/ou armazenada no ambiente cibernético. A segurança cibernética busca garantir a obtenção e a manutenção das propriedades de segurança da organização e das propriedades do(as) usuários(as) contra riscos de segurança relevantes no ambiente cibernético” (ITU-CIBERSEG, 2008). No Brasil, o Gabinete de Segurança Institucional da Presidência da República define “segurança cibernética” como “a arte de assegurar a existência e a continuidade da Sociedade da Informação de uma Nação, garantindo e protegendo, no Espaço Cibernético, seus ativos de informação e suas infraestruturas críticas” (BRASIL, 2015).

Datas de Publicação

  • Publicação nesta coleção
    16 Jan 2023
  • Data do Fascículo
    Oct-Dec 2022

Histórico

  • Recebido
    07 Fev 2021
  • Aceito
    21 Dez 2022
Escola de Ciência da Informação da UFMG Antonio Carlos, 6627 - Pampulha, 31270- 901 - Belo Horizonte -MG, Brasil, Tel: 031) 3499-5227 , Fax: (031) 3499-5200 - Belo Horizonte - MG - Brazil
E-mail: pci@eci.ufmg.br