Autonomia individual em risco? Governamentalidade algorítmica e a constituição do sujeito

Individual autonomy at risk? Algorithmic governmentality and the constitution of the subject

Resumo

Apesar da presença ubíqua de algoritmos na vida humana, notadamente através das redes sociais, alguns efeitos da sua aplicação massiva ainda são imperceptíveis para a maioria dos usuários. Este trabalho examina o comprometimento da constituição do sujeito em face da emergência e massificação dos algoritmos. A questão é abordada filosoficamente, tendo como ponto de partida a analítica do poder foucaultiana, para então se desenvolver o conceito de governamentalidade algorítmica, examinando se e de que forma ela é capaz de minar a autonomia individual. Conclui-se que os algoritmos, mais do que agirem diretamente sobre o indivíduo (usuário), transformam o ambiente informacional, dando lugar a um sujeito passivo, de subjetivações rarefeitas, com capacidade reduzida de criticar e resistir ao poder.

governamentalidade; governamentalidade algorítmica; sujeito; autonomia; poder

Abstract

Despite the ubiquitous presence of algorithms in human life, notably through social media, some effects of their massive application are still imperceptible for most users. This study examines the weakening of the subject's constitution due to the emergence and massification of algorithms. The issue is approached philosophically, taking as a starting point the Foucauldian analysis of power, and then developing the concept of algorithmic governmentality, examining whether and how it is capable of undermining individual autonomy. It is concluded that algorithms, more than acting directly on the individual (user), transform the informational environment, giving rise to a passive subject, with rarefied subjectivations and reduced capacity to criticize and resist.

governmentality; algorithmic governmentality; subject; autonomy; power

Introdução

Há décadas a inteligência artificial (IA) tem sido representada em moldes espetaculosos, especialmente na ficção científica, onde dispositivos mirabolantes e máquinas assassinas desfilam nos imponentes cenários de filmes como Blade Runner, Terminator e Matrix . Contudo, o que se testemunha, à medida que as novas tecnologias emergem, é que na realidade a IA tem uma faceta mais sutil, invisível – não necessariamente menos poderosa –, que está ligada ao processamento massivo de dados do nosso cotidiano para formar predições e antecipar comportamentos.

Prometendo estreitar nossas interações através das redes sociais, além de tornar serviços e ofertas mais inteligentes através da personalização , essa IA “discreta” está cada vez mais presente no dia a dia da sociedade. Além do domínio absoluto da intermediação das relações, através de redes sociais como Instagram, Facebook ou Linkedin, os algoritmos medeiam a entrega de todo e qualquer tipo de funcionalidade ou conteúdo digital, gratuito ou não, como, por exemplo, notícias, músicas, filmes, viagens ou rotas de GPS. Essa presença intensa em nossas vidas, associada ao seu enorme poder de processamento, confere aos algoritmos uma extraordinária capacidade de influenciar e antecipar condutas humanas, como mostraremos mais adiante.

Isso só é possível graças à extração e à interpretação massiva de grandes conjuntos de dados, que, quando correlacionados por sistemas computacionais, geram predições de elevada acurácia (e lucratividade). Para estabelecer tais correlações, os computadores são dotados de algoritmos, que, de acordo Floridi e Taddeo (2018 , p. 751; tradução nossa), são recursos com “crescente capacidade de autoaprendizagem, interativa, autônoma, que permite que artefatos computacionais realizem tarefas que só são possíveis quando a inteligência humana é executada com sucesso”.

O problema é que, muito embora a vida contemporânea esteja permeada de ferramentas digitais, o poder e os efeitos desses algoritmos não são evidentes ou discerníveis para a maioria dos usuários ( Filgueiras e Almeida, 2021 ). Diante da comodidade oferecida pelas novas tecnologias, parece haver certa cumplicidade tácita dos indivíduos em seguir suas trilhas digitais, entregando seus dados a todo momento, sem qualquer questionamento ou resistência correspondente. Aliás, parcela expressiva dos usuários não sabe que seus dados pessoais são usados para prever seus próprios comportamentos e outra grande parte, mesmo sabendo, não vê problemas nisso ( Akman, 2021 ). Todas essas constatações, a nosso ver, tornam oportuna uma investigação sobre como a liberdade e a autonomia do indivíduo são afetadas no contexto digital.

Nesse cenário de permanente anexação e processamento de dados pessoais pelos algoritmos, este trabalho examinará as implicações dos algoritmos para a subjetividade. Objetiva-se analisar, mais especificamente, o comprometimento da constituição do sujeito em face da emergência das tecnologias de IA e da popularização das ferramentas digitais . Partindo das investigações de Michel Foucault sobre o poder, pensadores contemporâneos sugerem que está em ascensão uma nova forma de governamentalidade, fundada na previsibilidade e na conformação das condutas individuais (Alves, 2018, p. 224). Essa lógica, muitas vezes mascarada pelas conveniências propiciadas pela indústria digital, teria potencial para antever e influenciar os comportamentos humanos em larga escala, comprometendo o nível mais profundo de subjetividade do indivíduo. Isso poderia ensejar não somente a perda da liberdade, mas a perda da própria percepção de liberdade, com o ser humano “desaprendendo a ser livre”, nas palavras de Couldry e Mejias (2019 , p. 173).

O trabalho está dividido em duas partes. Primeiramente, serão abordados conceitos fundamentais ao projeto foucaultiano de uma analítica do poder, com o objetivo de mostrar como o filósofo francês descreveu a prática de governo no interior da sociedade. Essa “caixa de ferramentas conceituais” é aprofundada na segunda e derradeira etapa, na qual se investiga a chamada governamentalidade algorítmica , buscando-se compreender como as relações mediadas pelas ferramentas digitais – em especial, pelas redes sociais – podem ensejar o “declínio da reflexividade subjetivizante” ( Rouvroy e Berns, 2015 , p. 42).

Conclui-se que o uso ostensivo dos algoritmos de inteligência artificial modifica o ambiente informacional, favorecendo a preponderância da objetividade dos dados em detrimento da subjetividade e da imprevisibilidade. Essas novas formas de saber pretensamente objetivas evitam os seres humanos reflexivos, dando lugar a um sujeito previsível, passivo, de subjetivações rarefeitas e que é incapaz, por si próprio, de atitude crítica ou de formular estratégias para reagir ao governo dos outros.

Governamentalidade e cuidado de si

Uma nova leitura do poder

O poder é tema fundamental e dos mais instigantes no debate filosófico. A despeito disso, algumas de suas dimensões parecem ter escapado aos analistas que percorreram esse conceito ao longo da história, já que a investigação clássica sobre o poder se centrou, essencialmente, na melhor forma de governo e nos princípios de justiça que motivam a estrutura institucional e jurídica do Estado. Até a segunda metade do século XX, o poder foi sistematicamente atrelado à entrega de autoridade a um soberano, capaz de garantir a ordem e a segurança. Todavia, enquanto a teoria clássica procurou explicar o que é o poder , ela ignorou e foi incapaz de descrever de que forma o poder funciona , dimensão que viria a ser bem explorada pelos estudos do filósofo Michel Foucault a partir da década de 1970 ( Foucault, 1988 , 1999 , 2005 , 2008a , 2008b ).

Centrando-se na investigação sobre como o poder funciona , o filósofo francês desenvolveu uma analítica do poder, examinando a complexidade das relações de força que permeiam a sociedade, afastando-se da simplificação binária que confronta uma massa dominada e a elite dominadora ( Alves, 2015 , p. 494). Como mostra Candiotto (2011 , pp. 101-102), a tese de que o “poder é da ordem da guerra, da luta entre forças”, é abandonada.¹ Ao refutar os modelos tradicionais, Foucault alega que seria um equívoco conceber o Estado como fonte única e exclusiva de poder, já que as relações de poder alcançam outros domínios, como, por exemplo, relações de trabalho, relações entre familiares, entre médicos e pacientes ou entre professores e alunos. Além disso, Foucault não reduz o poder apenas a uma força negativa, que impede ou impele as pessoas a agirem contra seus desejos, mas enxerga, ao lado dessa força negativa, outra, positiva, capaz de constituir subjetividades, desejos e ações.

A perspectiva de Foucault, de que não é apenas o Estado que detém e irradia poder, é extremamente original e fecunda, possibilitando a observação de novas forças e relações nos diversos campos da sociedade. Temos, assim, uma “heterogeneidade” do poder, que nem sempre assumirá uma única forma, podendo, inclusive, conflitar ou se somar com outras espécies de poder. É através dessas novas lentes, e conduzindo uma minuciosa investigação sobre o poder ao longo da história, que Foucault detecta, também, a emergência de novas tecnologias de poder nos séculos XVII e XVIII, nitidamente distintas daquelas empregadas no passado pelo poder soberano. Se o velho poder soberano era baseado no confisco (de bens, produtos, serviços e, muitas vezes, da própria vida – o poder de “fazer morrer”), agora ele deixa de operar sobre a retirada ou não da vida e passa a atuar sobre a gestão, a organização e o controle dela (Foucault, 1988).

Essa trajetória histórica culmina, de acordo com Foucault, no surgimento de duas formas principais de poder sobre a vida: o poder disciplinar e a biopolítica . O primeiro focaliza o corpo como máquina, a ser adestrada, treinada e docilizada, de forma a maximizar suas forças produtivas através dos métodos disciplinares. O biopoder, por sua vez, apreende o corpo-espécie, capturando a dimensão biológica da vida e gerenciando questões biológicas de massa com o auxílio da estatística: nascimentos, óbitos, higiene, duração da vida, longevidade, etc. Mais do que disciplinar, a biopolítica promove uma normalização geral, subjugando e controlando populações através de uma série de técnicas e estratégias.

Governo e governamentalidade

A crítica formulada por Foucault sobre os modelos tradicionais de poder resultou em uma poderosa “caixa de ferramentas teóricas”, de grande valia para a compreensão do funcionamento do poder nas sociedades modernas. Dentre os inúmeros insights e conceitos introduzidos por Foucault, duas concepções são fundamentais para nossa análise da governamentalidade algorítmica: governo e governamentalidade , cujo desenvolvimento examinaremos a seguir, a partir dos trabalhos foucaultianos no final da década de 1970.

No curso Em defesa da sociedade , ministrado no Collège de France em 1976, Foucault já esboça a ideia de que elementos relacionados à segurança e à população se articulam para constituir um novo modo de governar , baseado em estatísticas, para maximizar o comportamento, e em análises de risco, para atingir níveis ótimos (no nível da população total, e não do indivíduo). Pouco mais de um ano depois, nas aulas de Segurança, território, população (1978), Foucault delineia o que considera ser uma forma emergente de governar, a partir do século XIX. Ao identificar e comparar três modos distintos de funcionamento do poder (mecanismos de soberania, disciplinares e de segurança/governamentalidade), Foucault mostra que houve um predomínio das estratégias securitárias/governamentais sobre as disciplinares e de soberania, resultando em um processo de governamentalização do Estado (Alves, 2018).

Finalmente, em O nascimento da biopolítica (1978-79), Foucault aprofunda essa genealogia do Estado moderno, examinando a racionalidade política através de uma série de reconstruções históricas que se iniciam na antiguidade e alcançam as experiências neoliberais em curso na segunda metade do século XX: o ordoliberalismo alemão no período pré-guerra, o neoliberalismo francês da década de 1970 e o neoliberalismo norte-americano da Escola de Chicago. Tal linha de raciocínio permite a Foucault rastrear as origens da governamentalidade securitária, que começa com uma análise do poder pastoral, evolui para o raciocínio governamental-teológico do século XVI e, mais tarde, dá origem a amplos debates sobre a razão de Estado. Esta, por sua vez, dá lugar às instituições e aos métodos diplomático-militares, bem como ao nascimento da polícia no século XVII. É a reação contra a natureza disciplinar do policiamento durante o século XVIII que estimula a racionalidade securitária e a nova governamentalidade neoliberal, como Gary Becker, cuja empreitada de “economicizar” o crime, a punição, o trabalho, enfim, o capital humano, é analisada criticamente por Foucault (2008b).

O resultado dessa meticulosa investigação permitiu a Foucault demonstrar, de maneira convincente, que o significado histórico de “governo” não é tanto da ordem política, mas perpassa contextos muito mais amplos, como os campos familiar, religioso, médico ou pedagógico. Governo este, portanto, que não se limita ao quadro de líderes políticos em exercício ou mesmo ao Estado propriamente dito, mas atravessa toda a sociedade, operando por meio de mecanismos dispersos de poder: aqueles repressivos e coercitivos (típicos do poder soberano), mas também os dispositivos políticos de controle e gestão, como a biopolítica e o poder disciplinar. Por essa razão, Foucault definirá governo como “a conduta da conduta” e, logo, como um termo que vai do “governo de si” ao “governo dos outros”. Conforme explica Alves (2018, p. 214):

Em suma, governar para Foucault envolve dirigir ou mover alguém de forma calculada, o que implica regular a conduta dos outros ou de si mesmo de uma maneira mais ou menos racional e sistemática, visando fins específicos. Trata-se de uma atividade que afeta, guia e formata a ação de si mesmo ou dos outros, em especial de uma população. Mais do que fazer uso da mera violência, no sentido de agir diretamente sobre um corpo, forçando-o e submetendo-o à força, as relações de poder que Foucault descreve por meio das práticas de governo têm por objeto imediato a ação, pressupondo, por meio de um complexo jogo agônico, uma determinada liberdade de agir.

Nessa acepção mais ampla, o governo compreende um conjunto complexo de processos e táticas por meio dos quais o comportamento humano é sistematicamente controlado em áreas cada vez mais ostensivas da vida humana, em nível individual e coletivo. Essas relações de poder, no entanto, não têm agência imediata sobre o outro, mas operam sobre o ambiente , modificando os comportamentos possíveis e, dessa forma, determinando o curso de ações futuras – ou seja, antes de reprimir, “o poder produz; ele produz realidade; produz campos de objetos e rituais da verdade” ( Foucault, 1999 , p. 218).

O refinamento dessas técnicas, que passam a atuar ampla e insidiosamente nas mais diversas esferas da vida do homem, marcará, para Foucault, a emergência de uma nova mentalidade ou racionalidade governamental, uma “arte de governar” à qual o filósofo reserva um neologismo: a governamentalidade ( gouvernementalité ). A junção entre governo ( gouvernement ) e mentalidade ( mentalité ) ressalta a impossibilidade de se examinar as tecnologias de poder sem investigar a racionalidade política que as sustenta ( Lemke, 2012 ).

Na formulação original de Foucault, o termo “governamentalidade” referia-se ao desenvolvimento histórico de estratégias de poder modernas e complexas, como uma lógica de cálculos e estatísticas que seria utilizada para conduzir a ação dos indivíduos e regular a população. A governamentalidade, portanto, é a maneira como se conduz a conduta dos homens, “uma racionalidade refletida, sistematizada e regulada de governo que vai além do exercício espontâneo do poder”, regulando condutas por meio de tecnologias apropriadas ( Alves, 2019 , p. 100). Como se percebe, a governamentalidade no Estado moderno tende a se sobrepor (mas não a suprimir) os tradicionais mecanismos de poder: os jurídicos e os disciplinares.

É importante ressaltar que essa nova lógica governamental se coaduna com a racionalidade liberal. Ainda em O nascimento da biopolítica (1979), ao analisar as estratégias liberais de governo, Foucault mostra como essas práticas não apenas impulsionaram o desenvolvimento do capitalismo, como também foram fortemente influenciadas e retroalimentadas por ele. Um dos exemplos citados pelo filósofo é a permissividade de juros sobre empréstimos na Idade Média, que teve, entre seus grandes beneficiários, a Igreja, instituição sabidamente imiscuída com o Estado àquela época. Foucault propõe que, com o advento do neoliberalismo, o homo oeconomicus do século XVIII foi substituído pelo homo oeconomicus empresário de si mesmo, que é para si seu próprio capital, seu próprio produtor e a fonte de seus ganhos. Esse homo oeconomicus neoliberal responderia sistematicamente às modificações do ambiente, razão pela qual seria eminentemente governável:

Homo oeconomicus é alguém que é eminentemente governável. De parceiro intangível do laissez-faire, o homo oeconomicus agora se torna o correlato de uma governamentalidade que atuará sobre o meio ambiente e modificará sistematicamente suas variáveis. (Foucault, 2008b, p. 369)

Portanto, é a ascensão do neoliberalismo que viabiliza e tonifica essa nova forma de racionalidade governamental: uma governamentalidade que já não opera mais em relação ao homo oeconomicus enquanto parceiro de troca, mas enquanto empresário de si mesmo , engajado em uma conduta egoísta como investimento pessoal.

Em suma, para Foucault, a governamentalidade no Estado moderno tende a figurar ao lado de outros mecanismos de poder: os jurídicos (ou de soberania) e disciplinares (aqueles voltados à vigilância e à correção), sem, contudo, eliminá-los, mas, antes, complementando-os. Essa racionalidade governamental moderna, que subsiste graças ao homo oeconomicus , é portadora de duas características principais: de um lado, é caracterizada pela emergência de um Estado altamente organizado e burocrático. De outro, denota-se a identificação do Estado moderno com uma espécie de poder individualizante, que agrega tecnologias de poder com o objetivo de controlar a conduta individual de forma contínua e permanente. O resultado é a ingerência do Estado na esfera privada e social dos indivíduos, por exemplo, em sua dieta, higiene, vida sexual, etc. Não à toa, Foucault observa que, na modernidade, o Estado soberano e o indivíduo determinam reciprocamente suas emergências ( Lemke, 2012 , p. 196).

Dessa forma, o estudo das tecnologias específicas de poder, assim como a racionalidade que as sustenta, revela-se uma ferramenta indispensável para a análise e compreensão das práticas do governo modernas, em especial aquelas que influenciam o ambiente sem agir diretamente sobre o indivíduo , mas que promovem, de forma ubíqua e insidiosa, o controle de condutas individuais.

Ética como resistência ao poder político

Um dos produtos teóricos dessa noção ampliada de governo formulada por Foucault é a ideia que, se existe o “governo dos outros”, existe também o “governo de si”, delineado já no curso Segurança, território, população (1978). A autoconstituição do sujeito, a partir daí, adquire grande importância para o filósofo, que inicia um movimento em direção aos gregos e aos romanos, dedicando-se a reflexões sobre a estética da existência, o cuidado de si, e à investigação de novas formas de resistência e de liberdade, sugeridas por Foucault com a aproximação dos antigos ( Calomeni, 2012 , p. 227). Nesse sentido, Foucault identifica, no “cuidado de si”, a fonte de um sujeito de ação, que é capaz, através dos exercícios apropriados, de exercitar a posse de si e experimentar práticas de liberdade ( Gros, 2008 , pp. 131-133).

Mais tarde, Foucault retomará essas dimensões em maior profundidade, especialmente no curso Hermenêutica do sujeito (1982), no qual o autor desenvolve uma genealogia do sujeito ou das formas de subjetivização. O pensador francês sustenta que a célebre frase “conhece-te a ti mesmo”, associada a Sócrates, carrega a noção de um movimento real do sujeito em relação a si próprio (retornar a si, voltar a si, fazer retorno sobre si), quer dizer, uma ideia de cuidado de si ( Foucault, 2006 , p. 302). Tal aposta teórica culmina no estabelecimento de uma ligação indissociável entre a questão da ética com a questão da política, revelando, ao mesmo tempo, a relação entre cuidado de si e resistência . Afinal, o cuidado de si, enquanto forma de subjetivação, “pode constituir uma maneira, se não de escapar ao poder, ao menos de resistir a ele” ( Dardot e Laval, 2015 ).

No curso de sua investigação sobre a governamentalidade, Foucault ainda detectou uma série de “fenômenos de insubmissão”, aos quais chamou de contracondutas. De acordo com Andityas Matos e Lorena de Freitas, as contracondutas corresponderiam a

certa maneira de pensar, dizer e agir em relação a algo que existe em determinada sociedade e cultura, de modo que se mostraria como uma atitude [...] configurando-se, portanto, como meio para um devir, um instrumento voltado a romper com a verdade estabelecida em diversos campos, dentre eles, o direito e as relações de governo. ( Matos e Freitas, 2020 , p. 7)

Após propor e examinar a “contraconduta” enquanto uma “luta contra os procedimentos postos em prática para conduzir os outros” (Foucault, 2008a, p. 266) – ou seja, antes que “inconduta” (pois esta lembrava o sentido passivo ou “não se conduzir como se deve”) – o filósofo elucida, mais adiante, o conceito de ascese:

Creio que a ascese é, em primeiro lugar, um exercício de si sobre si, é uma espécie de corpo a corpo que o indivíduo trava consigo mesmo e em que a autoridade de um outro, a presença de um outro, o olhar de um outro é, se não impossível, pelos menos não necessário. (Ibid., p. 271)

Para Foucault, portanto, a construção de uma ética do eu é tarefa urgente e obrigatória do ponto de vista político, já que não há outro meio de resistência ao poder senão na relação de si para consigo. E não haveria como ser de outra forma, pois, se nossas condutas são determinadas em relação às regras do jogo prevalecentes, então devemos pensar não apenas em como resistir ao uso do poder, mas também como nos conduzir de acordo com essas regras.

Dessa forma, é possível verificar que, no interior da visão foucaultiana, as relações entre poder, governamentalidade, governo de si e dos outros e relação de si para consigo compõem uma cadeia, em torno da qual se podem articular a questão da política e a questão da ética. Assim, a investigação em torno da ética do cuidado de si pode ser lida como desdobramento da ideia de governamentalidade. Destaca-se, aqui, a inseparabilidade da constituição da ética com a resistência ao poder político , reforçando os laços entre cuidado de si e resistência.

O mundo digital e a neutralização das subjetividades

Além da era disciplinar: a emergência da governamentalidade algorítmica

Ao lado de colegas como Thomas Berns e Dominique Depris, a professora Antoinette Rouvroy tem retomado os conceitos forjados por Foucault, com o objetivo de demonstrar a ascensão de um novo tipo de governamentalidade, que não se apoia na lei ou na disciplina, mas na otimização algorítmica dos comportamentos, das relações sociais e da própria vida dos indivíduos. Nesse sentido, a governamentalidade algorítmica é definida como

um tipo de racionalidade (a)normativa ou (a)política que repousa sobre a coleta, agregação e análise automatizada de dados em quantidade massiva de modo a modelizar, antecipar e afetar, por antecipação, os comportamentos possíveis. ( Rouvroy e Berns, 2015 , p. 42)

A originalidade da governamentalidade algorítmica recai sobre o fato de que ela não se sustenta sobre normas impostas pelo Estado, mas nos inúmeros rastros estatísticos de atitudes e comportamentos individuais dispersos pelo mundo digital. Suplantando a ideia de um governo baseado na legislação e na normatividade, surge um ambiente social no qual as questões políticas podem ser quantificadas por meio do processamento algorítmico ( Santos, 2019 , p. 4). Enquanto na prática estatística tradicional há hipóteses sobre o mundo, convenções de quantificação e categorizações preexistentes, na prática algorítmica, que tem a seu serviço uma estatística mais sofisticada, a ideia agora é gerar hipóteses e critérios de classificação a partir dos dados. Dessa maneira, o processamento em massa de dados não almeja o julgamento, a punição e o controle das condutas passadas, pelo contrário: pretende dirigir condutas futuras, de forma a governar ou domesticar a incerteza. O objetivo é reduzir o possível ao provável, modificando subliminarmente o ambiente informacional ou físico, de modo que os comportamentos não sejam mais obrigatórios, mas necessários ( Rouvroy, 2020 ).

De acordo com Rouvroy e Berns (2015 , p. 39) a governamentalidade algorítmica pode ser entendida em três etapas ou “tempos”, que demonstram como essa nova estratégia de governo coleta dados ( dataveillance ), correlaciona informações ( datamining ) e gera perfis ( profiling ), permitindo antecipar comportamentos individuais ou coletivos e incidir sobre ações futuras.

O primeiro momento, de coleta e conservação automática de informações não classificadas, é chamado de dataveillance ; nele são extraídos dados em larga escala, de modo a compor a big data. Segundo Alves (2018, p. 223), essa massa de dados é construída pelos mais diversos tipos de rastros digitais: movimentações de GPS, atividades em redes sociais, transações bancárias, acesso a páginas de internet, dentre outros. Uma vez recolhidas, tais informações são armazenadas sob forma de gigantescos bancos de dados ( datawarehouses ), ou seja, armazéns de dados eletrônicos que possuem estocagem virtualmente ilimitada e são acessíveis a partir de praticamente qualquer computador conectado à internet, independentemente da sua localização ( Rouvroy e Berns, 2015 , p. 39).

Na segunda etapa, de datamining , os dados extraídos que interessam à modelagem de comportamento são transformados em práticas de governo. Das massivas acumulações de dados começam a emergir saberes estatísticos advindos das conexões entre informações heterogêneas, não selecionadas, não classificadas e não hierarquizadas. Com o máximo de automação, reduz-se a intervenção humana, dispensando o uso de hipóteses ou de convenções prévias, de forma a evitar as subjetividades e as normas discursivas ( Teles, 2018 , p. 434).

A última etapa, de profiling, refere-se à elaboração de perfis a partir das correlações descobertas pelo datamining , com o objetivo de utilizar esses saberes probabilistas e estatísticos para fins de antecipação dos comportamentos individuais. Segundo Rouvroy e Berns (2015 , p. 41), este é o momento do autêntico direcionamento de condutas, no qual se afasta todo tipo de restrição direta sobre o indivíduo, sendo os esforços concentrados em tornar sua desobediência (ou certas formas de marginalidade) sempre mais improvável (na medida em que tais marginalidades teriam sempre já sido antecipadas).

Se todas essas etapas são concretizadas com sucesso, acredita-se ser possível dispensar a produção estatística de probabilidades, para gerar hipóteses e critérios de classificação a partir de dados, eliminando-se a incerteza e governando o desconhecido. O ambiente informativo é, assim, modificado, de modo a direcionar a atenção das pessoas para certas coisas; os comportamentos não são mais obrigatórios, mas necessários ( Rouvroy, 2020 ).

Essa “antecipação de comportamentos” tem sido empregada amplamente nas redes sociais (Instagram, Facebook, Tiktok, etc.) como se vê, por exemplo, na recomendação de postagens nos feeds e no direcionamento de anúncios publicitários. Mas a agência dos algoritmos não fica restrita às redes sociais, atingindo cada vez mais o mundo físico, no qual é percebida intensa ingerência desses processos preditivos, como se nota nas pontuações de crédito para empréstimos bancários ( score ), em avaliações de risco nos contratos com seguradoras e na própria vigilância institucionalizada mundo afora.

De tal maneira, na sociedade da informação, caracterizada pelo crescente uso das TICs (tecnologias de informação e comunicação), um novo ambiente de dados passa a ser produzido, registrado, analisado, considerando cada aspecto de nossas vidas, às vezes com nossa anuência, cumplicidade ou adesão voluntária, mas, na maioria das vezes, sem termos a menor noção do que de fato ocorre com nossos dados ( Parra, 2016 ). É nesse ambiente informacional que a experiência humana passa a ser cada vez mais e mais constituída, alcançando um ponto no qual não existem barreiras nítidas entre o on-line e o off-line , o que Floridi et al. (2015) chamaram de experiência “ on-life ”. É a capacidade de ação e modificação radical desse ambiente – e, portanto, do comportamento dos indivíduos ali enredados – que desafia a autonomia do sujeito nesse novo regime digital, como mostraremos adiante.

Ação sobre os ambientes informacionais e não sobre os indivíduos

Segundo Berns (2020) , o desenvolvimento dos dispositivos normativos contemporâneos confere um caráter inofensivo aos atos de governo, garantindo a transmissão e o poder desses atos e resultando, portanto, na possibilidade de governar sem fim (nos dois sentidos da expressão). Nesse contexto, em vez de tornar os comportamentos adequados às normas, são estas que se adaptam aos comportamentos . Quer dizer, em vez de ser pensada como algo que se cumpre ou não, a norma, em razão da conformação do ambiente, surge como algo que não é mais possível desobedecer . Isso conduz, em última análise, ao comprometimento das possibilidades de desobediência e resistência.

Essa inversão da natureza da norma e da relação que ela estabelece com o geral marca, também, uma mudança quanto ao objeto da norma: ela deixa de incidir sobre uma realidade substancial (sujeitos, coletivos, etc.), recaindo agora sobre as relações (ibid., p. 35). Pode ser dito, portanto, que a governamentalidade algorítmica passa a pensar os indivíduos pela relação, que se torna o principal objeto de rastreamento e determinação dos algoritmos autodidatas. Nesse sentido, Teles (2018 , p. 445) aponta que há um “desinvestimento na singularidade da nossa existência [...] na medida em que produziria não uma dissolução do indivíduo, mas a rarefação dos processos de subjetivização”, deteriorando, portanto, as oportunidades de nos constituirmos como sujeitos.

Em razão desses três fatores, a força e os riscos da governamentalidade algorítmica não repousam em seu caráter individual, e sim no oposto: na sua indiferença para com o indivíduo. Ao governar os comportamentos a partir de uma expressão estatística da realidade, sem se ocupar diretamente dos indivíduos, o governo algorítmico implica um “governo de relações”:

[...] o objeto – que não chega, portanto, a tornar-se sujeito – do governo algorítmico são precisamente as relações: os dados transmitidos são relações e apenas subsistem enquanto relações; os conhecimentos gerados são relações de relações; e as ações normativas que daí decorrem são ações sobre as relações (ou ambientes) referidas às relações de relações. É, portanto, na medida em que seria, na própria realidade de suas práticas visando à organização do possível, um governo das relações [...]. ( Rouvroy e Berns, 2015 , p. 49)

Com efeito, no contexto algorítmico, há uma dificuldade de produção de um sujeito que reflete sobre si e se pensa como tal. Antes de tudo, porque seu consentimento sobre a apreensão de seus dados é fraco. Em segundo lugar, porque saberes preditivos emergem a partir desses dados sem qualquer hipótese preexistente: as hipóteses são elas mesmas “geradas” a partir da grande massa de dados. Por último, a ação do indivíduo não é mais influenciada por confrontação direta com uma norma exterior (como, por exemplo, uma lei), mas suas possibilidades são organizadas no próprio seio de seu ambiente ( Andrade, 2022 ).

O problema das subjetivações rarefeitas

De tal forma, uma das preocupações centrais atraídas pela emergência da governamentalidade algorítmica é a perda da capacidade de ação do indivíduo. Nesse sentido, Teles (2018) aponta que:

Considerando que as funções de governo coletam quantidades massivas de dados “automaticamente”, isto é, sem a necessidade de consentimento de um indivíduo, há um desinvestimento na singularidade de nossa existência. E esta é uma questão política na medida em que produziria não uma dissolução do indivíduo, mas uma rarefação dos processos de subjetivação, tornando complexas e inacessíveis as oportunidades de nos constituirmos enquanto sujeitos. (p. 445)

O problema, aqui, está no fato de o governo algorítmico não dar lugar a um sujeito ativo, capaz de legitimar ou resistir a esse governo . Na mesma direção, Alves (2018, p. 243) pondera que “talvez estejamos sacrificando nossa liberdade, no sentido de uma ação autônoma, espontânea, deliberada, refletida, capaz de transgredir ao que é dado e resistir ao que é imposto”.

Segundo Rouvroy e Berns, cada indivíduo “hiperindexado”, ou seja, rigorosamente catalogado e perfilado, é efetivamente uma multidão, mas uma “multidão sem outros”. Isso é bem ilustrado pelos autores com o seguinte exemplo: em uma livraria on-line , um determinado livro é recomendado a você, com base no histórico de outros clientes com gostos similares ao seu, e você pode sentir que pertence a uma comunidade; no entanto, é uma comunidade que você jamais terá como encontrar. O sujeito está, portanto, fragmentado em quantidades de perfis que se relacionam, todos, a “ele mesmo”, às suas propensões, aos seus desejos presumidos, suas oportunidades e seus riscos. Resumem os autores: “cada sujeito é, ele mesmo, uma multidão, mas ele é múltiplo sem alteridade [...]” ( Rouvroy e Berns, 2015 , p. 54).

Outros pensadores demonstram preocupação similar, embora partam de chaves analíticas distintas para analisar a questão. Couldry e Mejias (2019) , examinando o que rotularam como “colonialismo de dados” – fenômeno que se caracterizaria pela extração sistemática de dados através das ferramentas digitais, para a geração de lucro –, argumentam que esse processo de extração pode desmantelar a integridade mínima do “eu” ( self ).

O risco é claro, no entanto: uma vez que não temos escolha, a não ser continuar agindo em um mundo que mina a autonomia do self, uma consequência é que podemos desaprender progressivamente as normas a ele associadas. [...] os sujeitos do colonialismo de dados podem vir a desaprender a liberdade com o tempo. (p. 173; tradução nossa)

Zuboff (2019) , por sua vez, argumenta que a vontade humana se manifesta em promessas, que, aliás, estão na origem dos contratos (incluindo os verbais). Já a previsibilidade total ensejada por algoritmos geraria uma espécie de não contrato, um estado no qual as pessoas seriam perfeitamente conhecíveis e atuariam exatamente como prometido. Ocorre que, no estado distópico de não contrato, não há liberdade, pois esta é impossível sem incerteza, e a demanda por autonomia e liberdade fica cada vez menor. Segundo o autor, tendemos a ficar entorpecidos e, desse modo, abrimos caminho para ainda mais obediência.

Vê-se que a essência das correlações e predições ensejadas no seio da governamentalidade algorítmica é de redução das subjetividades, o que ameaça a própria base da autonomia e da liberdade humanas, pois, sem que o indivíduo perceba, seu comportamento pode estar sendo sutilmente modelado pelas operações algorítmicas. Em última instância, isso poderia levar a um radical behaviorismo (ou comportamentalismo) de dados, ou seja, uma versão “cibernética” daquela proposta por Hannah Arendt:

O último estágio da sociedade laboriosa, a sociedade das pessoas que têm emprego, exige de seus membros um funcionamento simplesmente automático, como se a vida individual tivesse verdadeiramente submergido no processo global da vida das espécies e a única decisão ativa, ainda requerida do indivíduo, fosse a de desistir ou, por assim dizer, abandonar sua individualidade, a dor e o problema de viver ainda individualmente sentidos, e consentir num tipo de comportamento atordoado, “tranquilizado”, funcional. (Arendt apud Zuboff, 1994 , p. 91)

É nesse contexto que nascem os principais riscos para a autonomia e a liberdade do indivíduo. Ao articular as relações entre o humano e a máquina em velocidade instantânea e acessar o máximo de informações sobre os interesses e necessidades dos indivíduos, a governamentalidade algorítmica pode comprometer ou mesmo bloquear experiências individuais, sociais e políticas, através da eliminação das esferas de debate e da criação do comum ( Teles, 2018 , p. 429).

Considerações finais

Quase quarenta anos após a morte de Foucault, a caixa de ferramentas conceituais oferecida pelo filósofo continua vigorosa para se pensar as estruturas de poder da sociedade e as questões éticas. Todavia, com o advento dos novos meios digitais e o avanço do poder computacional preditivo, uma apreensão foucaultiana da atualidade pode se aperfeiçoar através do aporte teórico trazido por Antoinette Rouvroy e outros pensadores contemporâneos, qual seja, o conceito de governamentalidade algorítmica. Esta, ao contrário do poder disciplinar ou da biopolítica, trabalhados por Foucault, não tem por centro de gravidade os indivíduos ou as populações, mas opera no nível tanto infraindividual quanto supraindividual.

Após um processo de três tempos (extração, correlação e produção de perfis), torna-se possível antecipar e agir sobre as condutas humanas. Daí a ascensão de um novo regime de poder e saber, no qual a subjetividade tende a ser eliminada pela objetividade mecânica; os desvios e as incompletudes dão lugar ao formalismo lógico e à previsibilidade. Isso é cada vez mais frequente, na medida em que os dados dos usuários da internet são apropriados e processados em escala industrial, sendo usados para formar perfis preditivos capazes de modelar comportamentos. Na prática, esses fenômenos podem ser percebidos de inúmeras formas, como, por exemplo, a hipersegmentação publicitária nas redes sociais ou a manipulação massiva para fins eleitorais, apurada no escândalo da Cambridge Analytica durante as eleições presidenciais de 2016 nos EUA.

Dessa perspectiva, a “domesticação da incerteza” pelos algoritmos parece ter um custo alto para o processo de autoconstituição do sujeito, em particular à sua liberdade e autonomia. Esse novo modo de governo, onipotente, mas subliminar, suprime a imprevisibilidade, as dúvidas e as hesitações humanas. Em última instância, retira a capacidade do sujeito de lutar contra os dispositivos estabelecidos para conduzi-los. Em outras palavras, o sujeito é impedido de buscar e encontrar, na relação de si para consigo, uma forma de resistência ao poder, de maneira a desvencilhar-se da teia da governamentalidade.

Não nos parece o caso, contudo, de se rejeitar a utilização dos algoritmos de IA ou mesmo de eliminar, de nossas vidas, quaisquer ferramentas de interação digital. Embora o aforismo “os homens criam as ferramentas, e as ferramentas recriam os homens” sintetize bem a capacidade que os algoritmos possuem de interferir na constituição do sujeito, há de se reconhecer que certas respostas ao poder algorítmico poderiam modular, pelo menos em certa medida, a governamentalidade algorítmica. Nesse âmbito, podemos apontar frentes de ação diversas, tais como: desenvolvimento de inteligência artificial explicável,² estratégias de governança digital, reforço de leis antitruste, expansão da legislação de proteção de dados pessoais, maior controle fiscal sobre as gigantes da tecnologia e a busca da fragmentação do mercado tecnológico, através de experiências de coletivização capazes de fazer frente às big techs no campo concorrencial.

Independentemente das táticas adotadas para regular e limitar o poder dos algoritmos, não se pode perder de vista um contributo importante que emerge do estudo da governamentalidade algorítmica, recorrentemente enfatizado por Rouvroy. É preciso reavaliar o status atribuído aos dados, que até o momento têm sido vistos por muitos como benéficos ou, no mínimo, inofensivos à sociedade. A emergência de novas formas de controle apoiadas na correlação informacional algorítmica fala por si só, demonstrando que a captura contínua de dados e o perfilamento sistemático podem trazer consequências significativamente danosas, como a conformação de condutas individuais por dispositivos de segurança, que deixará pouco (ou nenhum) espaço para ações espontâneas e escolhas individuais. Se ainda é possível nos perguntar como queremos viver, este parece ser um momento oportuno para tomarmos importantes decisões sobre dados e algoritmos.

Referências

• AKMAN, P. (2021). A web of paradoxes: empirical evidence on online platform users and implications for competition and regulation in digital markets. Virginia Law and Business Review, forthcoming. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3835280 Acesso em: 22 ago 2021.
  » https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3835280
• ALVES, M. A. S. (2015). Panóptico digital e ciberpoder: o poder e o direito na sociedade de informação. In: V COLÓQUIO LATINO-AMERICANO DE BIOPOLÍTICA, III COLÓQUIO INTERNACIONAL DE BIOPOLÍTICA E EDUCAÇÃO, XVII SIMPÓSIO INTERNACIONAL IHU. Anais... São Leopoldo, Casa Leiria, pp. 493-502. Disponível em: https://www.academia.edu/30719412/Pan%C3%B3ptico_digital_e_ciberpoder_o_poder_e_o_direito_na_sociedade_da_informa%C3%A7%C3%A3o Acesso em: 19 ago 2021.
  » https://www.academia.edu/30719412/Pan%C3%B3ptico_digital_e_ciberpoder_o_poder_e_o_direito_na_sociedade_da_informa%C3%A7%C3%A3o
• ALVES, M. A. S. (2018). Cidade inteligente e governamentalidade algorítmica: liberdade e controle na era da informação. Philósophos. Goiânia, v. 23, n. 2, pp. 191-232. Disponível em: https://www.revistas.ufg.br/philosophos/article/view/52730 Acesso em: 20 ago 2021.
  » https://www.revistas.ufg.br/philosophos/article/view/52730
• ALVES, M. A. S. (2019). “A resistência à governamentalidade algorítmica: condutas e contracondutas na era da informação”. In: MATOS. A. S. de M. C. (org.). Ensaios de desobediência epistemocrítica: dimensões antagonistas na era das sujeições bio-político-cibernéticas. Belo Horizonte, InitiaVia.
• ANDRADE, O. M. de (2022). A governamentalidade algorítmica: novos desafios para a democracia na sociedade da informação. Dissertação de mestrado. Belo Horizonte, Universidade Federal de Minas Gerais.
• BERNS, T. (2020). Tornar a Revolta Impossível. Revista de Filosofia moderna e contemporânea. Brasília, v. 8 n. 3, pp. 29-38. Disponível em: https://periodicos.unb.br/index.php/fmc/article/view/36260 Acesso em: 29 nov 2021.
  » https://periodicos.unb.br/index.php/fmc/article/view/36260
• CALOMENI, T. (2012). Filosofia, estética da existência e cuidado de si. O que nos faz pensar, v. 21, n. 31, pp. 194-238. Disponível em: http://www.oquenosfazpensar.fil.puc-rio.br/index.php/oqnfp/article/view/369 Acesso em: 17 ago 2021.
  » http://www.oquenosfazpensar.fil.puc-rio.br/index.php/oqnfp/article/view/369
• CANDIOTTO, C. (2011). A governamentalidade em Foucault: da analítica do poder à ética da subjetivação. O que nos faz pensar, v. 21, n. 31, pp. 91-108. Disponível em: http://www.oquenosfazpensar.fil.puc-rio.br/index.php/oqnfp/article/view/363 Acesso em: 15 ago 2021.
  » http://www.oquenosfazpensar.fil.puc-rio.br/index.php/oqnfp/article/view/363
• COULDRY, N.; MEJIAS, U. (2019). The costs of connection: how data is colonizing human life and appropriating it for capitalism. Califórnia, Stanford University Press.
• DARDOT, P.; LAVAL, C. (2015). Uma alternativa ao neoliberalismo: entrevista com Pierre Dardot e Christian Laval. Entrevista concedida a Daniel Pereira Andrade e Nilton Ken Ota. Revista Tempo Social. São Paulo, v. 27, n. 1, pp. 275-316. Disponível em: https://www.revistas.usp.br/ts/article/view/103367 Acesso em: 29 nov 2021.
  » https://www.revistas.usp.br/ts/article/view/103367
• DARDOT, P.; LAVAL, C. (2016). A nova razão do mundo: ensaio sobre a sociedade neoliberal. São Paulo, Boitempo.
• FILGUEIRAS, F.; ALMEIDA, V. (2021). Governance for the digital world: neither more state nor more market. Londres, Palgrave Macmillan.
• FLORIDI, L. et al. (2015). "The Onlife Manifesto” In: FLORIDI, L. et al. The onlife manifesto: being human in a hyperconnected era. Londres, Springer Open.
• FLORIDI, L.; TADDEO, M. (2018). How AI can be a force for good: an ethical framework will help to harness the potential of AI while keeping humans in control. Science, v. 361, n. 6404, pp. 751-752. Disponível em: https://www.researchgate.net/publication/327192699_How_AI_can_be_a_force_for_good Acesso em: 29 nov 2021.
  » https://www.researchgate.net/publication/327192699_How_AI_can_be_a_force_for_good
• FOUCAULT, M. (1988). História da sexualidade, vol. I: a vontade de saber. Rio de Janeiro, Graal.
• FOUCAULT, M. (1999). Vigiar e punir: nascimento da prisão. Petrópolis, Vozes.
• FOUCAULT, M. (2005). Em defesa da sociedade. Curso dado no Collège de France (1975-1976). São Paulo, Martins Fontes.
• FOUCAULT, M. (2006). Hermenêutica do sujeito. Curso dado no Collège de France (1981-1982). São Paulo, Martins Fontes.
• FOUCAULT, M. (2008a). Segurança, território, população. Curso dado no Collège de France (1977-1978). São Paulo, Martins Fontes.
• FOUCAULT, M. (2008b). O nascimento da Biopolítica. Curso dado no Collège de France (1978-1979). São Paulo, Martins Fontes.
• GRÓS, F. (2008). “O cuidado de si em Michel Foucault”. In: RAGO, M.; VEIGA NETO, A. (orgs.) Figuras de Foucault. Belo Horizonte, Autêntica.
• GUTTING, G.; OKSALA, J. (2019). “Michel Foucault”. In: ZALTA, E. N. (ed.). The Stanford Encyclopedia of Philosophy. Disponível em: https://plato.stanford.edu/archives/spr2019/entries/foucault Acesso em: 18 ago 2021.
  » https://plato.stanford.edu/archives/spr2019/entries/foucault
• LEMKE, T. (2012). Foucault, governmentality, and critique. Nova York, Routledge.
• MATOS, A. S. de M. C.; FREITAS, L. M. de (2020). Ética e a dimensão (des)constituinte da desobediência civil: uma leitura a partir de Michel Foucault. Revista Direito e Práxis. Rio de Janeiro, v. 11, n. 2, pp. 971-996. Disponível em: https://www.e-publicacoes.uerj.br/index.php/revistaceaju/article/view/39497 Acesso em: 24 ago 2021.
  » https://www.e-publicacoes.uerj.br/index.php/revistaceaju/article/view/39497
• PARRA, H. (2016). Abertura e controle na governamentalidade algorítmica. Ciência e Cultura, v. 68, n. 1, pp. 39-49. Disponível em: http://cienciaecultura.bvs.br/scielo.php?script=sci_arttext&pid=S0009-67252016000100013 Acesso em: 20 ago 2021.
  » http://cienciaecultura.bvs.br/scielo.php?script=sci_arttext&pid=S0009-67252016000100013
• ROUVROY, A. (2020). Entrevista com Antoinette Rouvroy: governamentalidade algorítmica e a morte da política. Revista de Filosofia moderna e contemporânea. Brasília, v. 8 n. 3, pp. 15-28. Disponível em: https://periodicos.unb.br/index.php/fmc/article/view/36223 Acesso em: 29 nov 2021.
  » https://periodicos.unb.br/index.php/fmc/article/view/36223
• ROUVROY, A.; BERNS, T. (2015). Governamentalidade algorítmica e perspectivas de emancipação: o díspar como condição de individuação pela relação? Revista Eco Pós, v. 18, n. 2, pp. 35-56. Disponível em: https://revistas.ufrj.br/index.php/eco_pos/article/view/2662 Acesso em: 22 ago 2021.
  » https://revistas.ufrj.br/index.php/eco_pos/article/view/2662
• SANTOS, R. E. (2019). Governamentalidade algorítmica e subjetivação: sobre os riscos da construção de subjetividades em um mundo digital. REVES – Revista Relações Sociais, v. 2, n. 1, pp. 1-16. Disponível em: https://periodicos.ufv.br/reves/article/view/3234 Acesso em: 20 ago 2021.
  » https://periodicos.ufv.br/reves/article/view/3234
• TELES, E. (2018). Governamentalidade algorítmica e as subjetivações rarefeitas. Kriterion, v. 59, n. 140, pp. 429-448. Disponível em: https://www.scielo.br/scielo.php?pid=S0100-512X2018000200429&script=sci_arttext&tlng=pt Acesso em: 24 ago 2021.
  » https://www.scielo.br/scielo.php?pid=S0100-512X2018000200429&script=sci_arttext&tlng=pt
• ZUBOFF, S. (1994). Automatizar/informatizar: as duas faces da tecnologia inteligente. Revista de Administração de Empresas São Paulo, v. 34, n. 6, pp. 80-91. Disponível em: https://rae.fgv.br/rae/vol34-num6-1994/automatizar-informatizar-duas-faces-tecnologia-inteligente Acesso em: 29 nov 2021.
  » https://rae.fgv.br/rae/vol34-num6-1994/automatizar-informatizar-duas-faces-tecnologia-inteligente
• ZUBOFF, S. (2019). The age of surveillance capitalism: the fight for a human future at the new frontier of power. Nova York, Public Affairs.

Notas

• 1
  Tal ruptura, segundo Dardot e Laval (2015) , já era ensaiada no primeiro volume da História da sexualidade , publicado em 1976, quando Foucault rejeita a existência de uma oposição binária global nas relações entre dominantes e dominados, em favor de uma “relação de forças múltiplas" e "uma multiplicidade de pontos de resistência".
• 2
  A inteligência artificial explicável (do inglês: explainable artificial intelligence – XAI) objetiva desenvolver funcionalidades através das quais os algoritmos explicam satisfatoriamente suas decisões, viabilizando maior transparência, auditoria e correção de falhas algorítmicas. A transparência parece-nos primordial para limitar o seu poder algorítmico, já que, para Foucault, quanto mais insidioso e sutil é determinado dispositivo de poder, mais eficaz ele será para governar a conduta dos outros.

Datas de Publicação

• Publicação nesta coleção
  08 Ago 2022
• Data do Fascículo
  Sep-Dec 2022

Histórico

• Recebido
  29 Nov 2021
• Aceito
  30 Mar 2022