PROBLEMATIZANDO A GOVERNAMENTALIDADE ALGORÍTMICA A PARTIR DO SISTEMA DE RECOMENDAÇÃO DA NETFLIX

PROBLEMATIZANDO LA GOBERNANZA ALGORÍTMICA A PARTIR DEL SISTEMA DE RECOMENDACIONES DE NETFLIX

PROBLEMATIZING THE ALGORITHMIC GOVERNMENTALITY FROM NETFLIX’S RECOMMENDATION SYSTEM

Resumo

Neste artigo, discutimos um novo regime de poder, nomeado de Governamentalidade Algorítmica por Antoinette Rouvroy e Thomas Berns, que, crescentemente, vem operando na condução de nossas condutas. Diferentemente do poder disciplinar e da biopolítica, tal governamentalidade não tem por centro de gravidade os indivíduos ou as populações. Antes, por meio da mineração de dados e da produção de perfis, age tanto no nível infra-individual quanto supra-individual. Para problematizá-la, analisamos e colocamos em questão um dos seus modos de operação, os sistemas de recomendação e, dentre eles, focalizamos o caso da Netflix. Por fim, tensionamos os efeitos que os algoritmos que lhe constituem podem ter em nossos modos de subjetivação, já que, não raro, tendem a excluir de nossas experiências aquilo que é da ordem do imprevisto e que é capaz de fazer com que algo nos aconteça e nos transforme.

Palavras-chave:
Governamentalidade Algorítmica; Sistemas de recomendação; Data mining; Profiling; Processos de subjetivação

Resumen

En este artículo, discutimos un nuevo régimen de poder que Antoinette Rouvroy y Thomas Berns llamaron Gobernanza Algorítmica y que, de forma creciente, opera en la conducción de nuestras conductas. A diferencia del poder disciplinario y de la biopolítica, esa gobernanza no tiene por centro de gravedad a los individuos o poblaciones. Más bien, por medio de la minería de datos y de la producción de perfiles, actúa tanto en el plano infraindividual como en el supraindividual. Para problematizarla, analizamos y cuestionamos uno de sus modos de operación, los sistemas de recomendaciones y, entre ellos, nos detenemos en el caso de Netflix. Por último, calibramos los efectos que los algoritmos que la constituyen pueden tener en nuestros modos de subjetivación, pues, a menudo, tienden a excluir de nuestras experiencias lo que es del orden de lo imprevisto y, como tal, puede hacer que algo nos ocurra y nos transforme.

Palabras clave:
Gobernamentalidad algorítmica; Sistemas de recomendación; Minería de datos; Profiling; Procesos de subjetivación

Abstract

In this article, we discuss a new power regime, named Algorithmic Governmentality (AG) by Antoinette Rouvroy and Thomas Berns, and that has increasingly been operating in conducting our behavior. Unlike the disciplinary power and biopolitics, such governmentality does not have individuals or populations as its gravity center. Rather, through data mining and profile generation, the AG acts both in the infra-individual level and in the supra-individual one. In order to problematize it, we analyzed and put into question one of its operating modes, the recommendation systems; and, among them, we focused on Netflix’s case. Lastly, we tensioned the effects that its constituent algorithms can have in our subjectivation modes, since it is not rare that they tend to exclude from our experiences the things that are unpredictable and could make something happen to us and transforme us.

Keywords:
Algorithmic Governmentality; Recommendation systems; Data mining; Profiling; Subjectivation Processes

Introdução

Este texto deriva da tese de doutorado intitulada “Hacking e práticas de liberdade: conspirando com hackers outros mundos”, na qual buscamos pensar/tensionar nosso modo de relação ordinário com os objetos técnicos e, com isso, criarmos condições para ampliar nossos graus de liberdade. Nela, tivemos por intuito colocar em questão tanto os modos pelos quais nos compomos com os objetos técnicos de nosso cotidiano quanto seus efeitos em nossos modos de subjetivação.

Neste artigo, retomamos algumas das discussões lá presentes para problematizarmos um novo regime de poder que passa a operar em nosso dia a dia e ao qual Antoinette Rouvroy e Thomas Berns referem-se por meio da expressão “Governamentalidade Algorítmica” (GA). Esta, diferentemente do poder disciplinar ou da biopolítica, tematizados por Foucault (1988, 2010), não tem por centro de gravidade os indivíduos ou as populações, mas age tanto no nível infra-individual quanto supra-individual. Para encaminhar nossas análises e reflexões, colocamos em questão os sistemas de recomendação, focalizando o caso da Netflix. São sistemas que, por via da ação preditiva, atuam de modo a conduzir condutas - ou seja, operam no âmbito da governamentalidade.

Assim, começaremos apresentando dois procedimentos - o de mineração de dados e o de produção de perfis - presentes na GA. Depois abordaremos mais detidamente o caso da Netflix, mapeando/descrevendo como seus algoritmos de recomendação operam e o que está em jogo em seu modo de funcionamento. Na sequência, lançaremos mão do par conceitual “servidão maquínica/sujeição social” para tentarmos avançar na compreensão dos algoritmos de recomendação. Por fim, ressaltaremos a importância de experimentarmos outros modos de relação com os algoritmos de recomendação, de forma a podermos nos deparar com algo da ordem do imprevisto, daquilo que é capaz de fazer com que algo nos aconteça e nos transforme.

Mineração de dados e produção de perfis

Parcela considerável e crescente do que fazemos é registrada no mundo digital. Pesquisamos algo no Google e isso constitui rastros, dados que são armazenados em seus gigantescos data centers. Ligamos para um amigo e a operadora de telefonia automaticamente coleta, no mínimo, metadados como o local, o horário e a data da chamada, a duração e o destinatário. Atravessamos a cidade - a pé, de bicicleta, de ônibus ou de carro - e diversas câmeras capturam imagens (e sons) do nosso deslocamento. Vamos ao hospital realizar alguns exames de rotina e, mais uma vez, os sistemas são alimentados, o que acontece igualmente no âmbito do entretenimento, como quando utilizamos o Spotify ou a Netflix. Desse modo, inúmeras de nossas ações (que cada vez mais mesclam existência offline e online) ganham registros duráveis acerca dos quais frequentemente não estamos cientes - ou imaginamos os complexos processamentos que lhes colocam em relação e os fazem “retornar” às nossas vidas.

A produção, a coleta e o armazenamento de fluxos de dados, mesmo que em um grande volume, teriam poucos efeitos na condução de condutas se não estivessem articulados aos processos de mineração de dados [data mining] e da produção de perfis [profiling]. Por mineração de dados, podemos entender, de acordo com o relatório do United States General Account Office (2004, p. 1, grifo nosso), “a aplicação de tecnologia e técnicas de banco de dados - tais como análise estatística e modelagem - para descobrir padrões ocultos e relacionamentos sutis nos dados e para inferir regras que permitem predizer resultados futuros”¹. Já com a produção de perfis, por sua vez, indivíduos heterogêneos quanto a marcadores identitários, por exemplo, podem ser agrupados por apresentar algum(ns) aspecto(s) em comum como a propensão a adquirir pacotes de viagens para a Europa (perfil de determinado tipo de turista) e/ou uma grande probabilidade de contrair certa espécie de dívida (perfil de certo tipo tomador de crédito).

Para Custers (2018), trata-se de duas tecnologias diferentes - a mineração de dados, que busca encontrar novos padrões e relações, e a criação de perfis, cujo foco é a atribuição de características a indivíduos ou grupos de pessoas - que podem ser utilizadas em conjunto, tendo por finalidade analisar e interpretar grandes volumes de dados para obter conhecimento.

Assim, com o data mining, quantidades massivas de dados podem ser tratadas automaticamente - ou com um mínimo de intervenção humana - por meio de algoritmos, fazendo emergir correlações que só se tornam visíveis e identificáveis a partir do processamento computacional e que, além disso, permitem antecipar eventos futuros. Estamos, sem dúvida, diante da produção de um novo tipo de saber que, como todo saber, “acarreta efeitos de poder” (Foucault, 1979, p. 142).

Constitui-se, desse modo, um uso muito peculiar da estatística, isto é, não se trata de descrever amostras ou populações - como na epidemiologia - e, nem mesmo, de testar hipóteses que podem ser comprovadas ou invalidadas - como na aplicação de modelos de regressão. Antes, a produção desse saber, indiferente às causas dos fenômenos aos quais se refere, é ancorada, sobretudo, na observação de correlações estatísticas entre dados, geralmente não triados, e coletados de variados contextos heterogêneos (Rouvroy, 2013; Rouvroy & Berns, 2010).

O pensamento expresso por Gus Hunt, chefe da divisão técnica da CIA, é representativo dessa lógica que põe em jogo o registro indiscriminado de tudo o que ocorre no mundo. Segundo ele, como o valor de cada dado não é conhecido a não ser no momento no qual ele é conectado a outro dado, o que pode ocorrer apenas em uma ocasião futura, e como não é possível vincular dados que não se possui, a CIA passou a se esforçar por “coletar tudo, e de o conservar para sempre” (Bernard, 2013, sem paginação).

De posse dos dados minerados e dos perfis produzidos, torna-se possível, em alguma medida, antecipar (e agir sobre) as ações humanas. A Amazon, por exemplo, por meio de seus algoritmos de recomendação, processa volumes substanciais de dados (o histórico de compras de seus clientes, as navegações realizadas em seu site, seus dados de cadastro etc.), elegendo e indicando livros e produtos diversos para os quais estaríamos mais inclinados a comprar - sugestões que, ora ou outra, aceitamos.

Podemos citar também a atuação da Cambridge Analytica nas eleições em que Donald Trump foi eleito. Nela, a mineração de dados (principalmente advindos das contas dos usuários do Facebook e de apps por eles utilizados) e a produção de perfis (inspirados na teoria do Big Five, que versa sobre fatores da personalidade) foi associada a um novo tipo de marketing direcionado. Diferentemente do que ocorria até então, os eleitores deixavam de ser abordados a partir de recortes sociodemográficos (sexo, faixa etária, grau de escolaridade, renda familiar). Para conduzir condutas nas eleições, a Cambridge Analytica produziu conteúdos publicitários (sites, blogs, correspondências, e-mails, vídeos, postagens em mídias sociais) considerando a personalidade de seus alvos (Grassegger & Krogerus, 2017; YouTube, 2017). De acordo com seu perfil, cada eleitor recebeu materiais específicos, seja com a finalidade de aumentar a probabilidade de que votasse em Trump, seja no intuito de reduzir as possibilidades de que votasse em Hillary Clinton, se esta fosse sua intenção inicial (YouTube, 2016).

Ressalte-se que não está em questão qual é a causa das ações; nos exemplos acima, o porquê compramos determinados produtos e não outros, as razões para escolher um candidato, o outro ou nenhum deles. Não há uma busca por explicações, apenas a produção de saberes acompanhada da ação sobre ações - que não existem a não ser no virtual -, seja com a finalidade de efetuá-las, seja de evitá-las.

É a partir dos inúmeros rastros, dos traços que não precisam estar atrelados a indivíduos específicos e identificáveis, que se produzem os perfis. Para sua produção, o que se faz necessário são justamente os fragmentos infra-pessoais da existência cotidiana - por exemplo, a frequência de um determinado ato (o número de vezes que um site é visitado, que uma imagem é clicada na Internet, que uma música é ouvida ou um vídeo é visto, que se posta em determinada rede social, que um caixa-eletrônico é acessado para se realizar transações etc.) ou o deslocamento de um corpo (que pode ser capturada por meio do GPS integrado em nossos smartphones e veículos). A composição de vários dados que não estão no nível individual, mas infra-individual, permite a criação de “modelos de comportamentos, ou perfis, aos quais correspondem, por certas combinações de traços sempre singulares, uma multidão de pessoas” (Rouvroy, 2014, p. 3).

De acordo com Rouvroy (2014), não é a história individual, a trajetória pessoal, as conquistas e fracassos que alguém tem em sua vida que seriam os dados de maior valor no novo tipo de governo que está emergindo. Para a autora, mesmo a Agência de Segurança Nacional norte-americana, ou a Amazon, o Google e o Facebook estão menos interessados em nós enquanto indivíduos do que como “agregados de dados temporários exploráveis em massa, à escala industrial, uma vez descontextualizados, purificados de tudo aquilo que poderia relacioná-los a isto que faz a singularidade de uma vida” (Rouvroy, 2014, p. 3).

O que está em jogo na construção dos modelos ou perfis é o volume, a grande quantidade de indivíduos dos quais os dados são provenientes. Isto porque o que tem relevância nesse plano de análise não são mais apenas os dados sensíveis - a idade, o sexo, a renda, o estado de saúde, opiniões políticas, a religião etc. -, mas todo e qualquer dado, inclusive aqueles aparentemente mais triviais, que não nos importamos em compartilhar. Por exemplo, para utilizarmos vários aplicativos, é requisitado que forneçamos nossos dados. Para ter uma imagem projetada de como seremos mais velhos, “cedemos” uma foto atual de nosso rosto. Para receber o horóscopo personalizado, respondemos perguntas acerca de nossos gostos, interesses e hábitos, além, é claro, de nossa data de nascimento. Para nos divertirmos com um jogo, damos acesso aos arquivos de nosso smartphone, nossa localização etc.

Sem dúvida, há uma infinidade de aplicativos gratuitos (e também pagos) que está cobrando o seu preço: nossos dados. E uma vez que os tenhamos fornecido, ainda que venhamos a revogar as permissões anteriormente concedidas, não há nenhuma garantia de que os dados armazenados serão excluídos. Até porque, como afirma Pariser (2012, p. 189), “os dados são facilmente vendidos no mercado negro, pois não carregam consigo nenhum indício sobre o local de onde vieram ou por onde passaram pelo caminho”.

Mesmo que, no limite, se pudesse garantir o anonimato individual (o que é questionável), na GA, por meio da mineração de dados e da produção de perfis, continua sendo possível constituir um saber de outra ordem, isto é, que, ao fazer uso de dados infra-pessoais, produz modelos supra-individuais, de categorizações impessoais, pautados, sobretudo, em correlações. Um perfil não é uma pessoa, ninguém corresponde totalmente a um perfil e, ao mesmo tempo, nenhum perfil visa unicamente a uma única pessoa identificável. Antes, os perfis são saberes que “permitem modelizar os comportamentos, atitudes, trajetórias e eventos do mundo de modo mais detalhado e preciso à medida que a quantidade de dados disponíveis cresce” (Rouvroy, 2014, p. 10).

Estamos diante dos desdobramentos/potencialização de uma nova forma de operação do poder, acerca da qual já sinalizava Deleuze (1992a, p. 220), e que seria capaz de nos fazer parecer os confinamentos mais duros - característicos do poder disciplinar - “um passado delicioso e benevolente”. Ao descrever as transformações presentes já no final do século XX, afirmou, dando-se conta daquilo que estava emergindo, que “por toda parte o surf já substituiu os antigos esportes” (Deleuze, 1992b, p. 227). Imagem utilizada para mostrar que, enquanto as disciplinas tinham por principal técnica o confinamento, no qual os sujeitos eram moldados em formas específicas (a prisão fabricando o prisioneiro, tal qual o treinamento forjando o nadador), nas novas formas de poder - que operam por controle contínuo e comunicação instantânea - os moldes deixam lugar para a modulação (o surfista agenciando-se às ondas que surgem). Nesse sentido, os perfis dinâmicos, talvez intuídos pelo filósofo, acabam atuando como “uma moldagem autodeformante que mudasse continuamente, a cada instante, ou como uma peneira cujas malhas mudassem de um ponto a outro” (Deleuze, 1992b, p. 225). Além disso, enquanto nas disciplinas as estratégias e técnicas de governo eram mais facilmente localizáveis, em nossos dias, “por seu caráter sutil, indireto e plural, subjetivam-nos sem que nos apercebamos da sua atuação” (Hennigen, 2006, p. 47).

Assim, pode-se dizer que os perfis mais eficazes não são aqueles que possuem moldes estáticos/duros - como os utilizados no âmbito da publicidade tradicional -, ou seja, associados às características sócio-demográficas mais estáveis. Antes, são os perfis produzidos na GA, a partir de dados infra-individuais e continuamente ajustados, que são mais úteis na condução de condutas. Tais perfis são capazes de acompanhar o “movimento das ondas” - sendo continuamente refinados -, exigindo-nos, para ter uma existência mais singular, práticas de liberdade que não são mais aquelas que funcionavam diante do poder disciplinar.

A Netflix e os sistemas de recomendação

Ao acessar a tela principal da Netflix, o usuário recebe uma espécie de matriz - com linhas e colunas - na qual constam sugestões para assistir. Decidir o que será exibido ao usuário não é uma tarefa fácil, pois há milhares de possibilidades no catálogo e é justamente nisto que os algoritmos trabalham: selecionado aqueles conteúdos que mais poderiam agradar a cada um dos seus mais de 75 milhões de assinantes (Barrett, 2016).

Percorrer título por título para encontrar algo que interesse pode ser uma tarefa enfadonha para quem está buscando algo para assistir. Boas indicações são, portanto, cruciais para que o usuário encontre algo que lhe agrade, e isto da forma mais rápida possível. De acordo com Gomez-Uribe e Hunt (2015, p. 2), que esteve envolvido com o desenvolvimento dos algoritmos de recomendação da Netflix,

Pesquisas sobre consumidores sugerem que um típico usuário da Netflix perde o interesse após aproximadamente 60 a 90 segundos de pesquisa, tendo visto de 10 a 20 títulos (talvez 3 em detalhe) em uma ou duas telas. O usuário ou encontra alguma coisa interessante ou o risco de ele abandonar nosso serviço cresce substancialmente. O problema de recomendação é garantir que nas duas telas, cada usuário, na diversidade de sugestões oferecidas, encontrará algo atrativo para assistir e saberá porque tal escolha poderá ser interessante.

Supõe-se, assim, que a melhor situação é aquela na qual o tempo entre o acesso à plataforma e o início da exibição do conteúdo seja próximo de zero. O usuário ideal seria aquele que nem se daria ao trabalho de procurar um filme, uma série ou um documentário, mas que, sujeitando-se às recomendações correspondentes ao seu perfil, apenas se conectasse a uma transmissão ininterrupta e continuamente personalizada para ele. O que a Netflix busca capturar e manter é a nossa atenção, ligando-a diretamente aos seus conteúdos e mantendo-nos em uma situação de excitação visual e sonora permanente. Mas não seria justamente assim - continuamente atravessados pelos estímulos, sempre mobilizados - que nos tornamos incapazes de silêncio, distantes daquelas situações nas quais algo nos acontece, isto é, quanto o inusitado nos assalta, nos pega desprevenidos? Como sugere Bondía (2002, p. 21), “dir-se-ia que tudo o que se passa está organizado para que nada nos aconteça”. E ele acrescenta que para que haja experiência, e algo nos toque, algo se passe com a gente, é requerido

um gesto de interrupção, um gesto que é quase impossível nos tempos que correm: requer parar para pensar, parar para olhar, parar para escutar, pensar mais devagar, olhar mais devagar, e escutar mais devagar; parar para sentir, sentir mais devagar, demorar-se nos detalhes, suspender a opinião, suspender o juízo, suspender a vontade, suspender o automatismo da ação, cultivar a atenção e a delicadeza, abrir os olhos e os ouvidos, falar sobre o que nos acontece, aprender a lentidão, escutar aos outros, cultivar a arte do encontro, calar muito, ter paciência e dar-se tempo e espaço. (Bondía, 2002, p. 19)

É esta pausa, ou redução de velocidade, espaço para pensar/sentir, que dificilmente encontramos naquilo que advém dos algoritmos de recomendação, pois, em sua grande maioria, estão, a cada passo, incitando-nos a preencher nosso tempo e a nossa vida, agitando-nos sem parar. Os algoritmos de recomendação buscam organizar, cada vez mais, os nossos encontros, conduzindo-nos e deixando poucas oportunidades para que o imprevisto aconteça.

As respostas nos são dadas antes mesmo que possamos formular as perguntas, a busca e seu resultado tendem a confundir-se de tal maneira que o trajeto da busca tende a desaparecer em proveito dos achados que nos são oferecidos. Talvez fosse interessante não encontrar nada para que pudéssemos permanecer submersos na busca, para que pudéssemos nos demorar na procura, criando condições para encontros inusitados.

Importa reiterar que os algoritmos de recomendação criam um universo de informações e experiências, exclusivo para cada um de nós, reduzindo o espaço para encontros fortuitos a abrir novas percepções e aprendizados. Trata-se daquilo a que Pariser (2012) denomina de “bolha dos filtros”, ou seja, a construção desses mundos que tendem a priorizar a apresentação daquilo que interessa àqueles que possuem perfis semelhantes aos nossos. Neste sentido, o autor assinala o risco que tais algoritmos de recomendação trazem consigo ao selecionarem o iremos ver, ler, ouvir, fazer, etc.:

Por definição, um mundo construído a partir do que é familiar é um mundo no qual não temos nada a aprender. Se a personalização for excessiva, poderá nos impedir de entrar em contato com experiências e ideias estonteantes, destruidoras de preconceitos, que mudam o modo como pensamos sobre o mundo e sobre nós mesmos. (Pariser, 2012, p. 19)

Quanto mais eficazes forem os filtros de recomendação, maiores são as chances de que sejamos reforçados nos pontos de vista que já temos, apresentando-nos ideias com as quais já estamos familiarizados (e que, provavelmente, também concordamos). Em última instância, o que se excluí do campo da experiência são os encontros (mais ou menos) radicais, aqueles que são capazes de nos deslocar de nossas certezas, de nossos hábitos e de nossos enraizamentos. A abertura à alteridade deixa de ser estimulada e, dentre a infinidade dos bons encontros, somente alguns passam a estar disponíveis, isto é, aqueles com os quais já estamos acostumados.

Mas como funciona a Netflix, isto é, qual é a lógica por trás de seus algoritmos? Apesar de não estarem disponíveis para o público, Wheelan (2016, p. 88) esboça um “quadro geral”, um desenho esquemático do modo pelo qual seus mecanismos operam:

No nível mais básico, a Netflix está explorando o conceito de correlação. Primeiro, eu avalio um conjunto de filmes. A Netflix compara minhas avaliações com as de outros clientes para identificar aqueles cujas avaliações estejam altamente correlacionadas com as minhas. Esses clientes tendem a gostar dos filmes que eu gosto. Uma vez estabelecido isso, a Netflix pode recomendar filmes que receberam alta avaliação de clientes de mentalidade semelhante à minha, mas que eu ainda não assisti.

De modo simples, o problema da recomendação realizada pela Netflix pode ser pensado como equivalente ao problema de predizer o número de estrelas, em uma escala de 1 a 5, que uma pessoa poderia dar para um vídeo após assisti-lo. Produzir algoritmos capazes de realizar o feito com precisão e acurácia é tão importante que, em 2009, a Netflix lançou um concurso oferecendo o prêmio de 1 milhão de dólares para quem apresentasse uma solução que fosse apenas 10% melhor do que o algoritmo que ela já empregava. Parte dos algoritmos desenvolvidos no concurso é, inclusive, utilizada até hoje na empresa para prever classificações (Gomez-Uribe & Hunt, 2015; Netflix, 2009).

Poderíamos cogitar que a empresa valoriza traços individuais e identitários de seus clientes para filtrar os conteúdos que lhes serão sugeridos. Tal suposição, entretanto, é falsa (Barrett, 2016). Todd Yellin, vice-presidente de produtos e inovação da Netflix, chega a afirmar: “Geografia, idade e gênero? Nós colocamos isso na pilha de lixo” (Morris, 2016). Um jovem, brasileiro e universitário, pode ter seu interesse por documentários muito mais próximo de uma senhora indiana, que já passou dos 80 anos e que cuida de seus netos, do que de seu colega de turma que mora na mesma cidade que ele.

Não são apenas as avaliações realizadas - as estrelas dadas a algum conteúdo - que servem de input para os algoritmos da Netflix. Os dados que alimentam os algoritmos são variados e em grande quantidade. Dizem respeito aos conteúdos assistidos, ao dispositivo utilizado para assistir, o dia e a hora em que o usuário assistiu aos conteúdos, a frequência que assiste, as pesquisas/buscas realizadas etc. Para produzir um modelo (perfil) capaz de predizer o que irá agradar ao usuário, a Netflix faz uso não de um, mas de vários algoritmos: o Personalized Video Ranker, o Top-N Video Ranker, o Trending Now, o Continue Watching, o Video-Video Similarity, o Page Generation, entre outros (Gomez-Uribe & Hunt, 2015).

Sistemas de recomendação não são utilizados apenas pela Netflix. Quase todos os serviços de streaming, de pesquisa, as redes sociais, os e-commerce e diversas outras plataformas os utilizam. Sob as palavras “personalização” e “customização” operam mecanismos de governamentalidade. Como bem assinala Alexander (2016, p. 87),

esses processos [levados adiante pelos algoritmos] estão longe de ser transparentes; de fato, a maioria dos usuários ou desconhecem o fato que seus hábitos de visualização estão sendo constantemente documentados, ou são incapazes de traçar, acessar e compreender os numerosos modos nos quais suas ações estão sendo traduzidas em recomendações.

O que encontramos nas plataformas são arquiteturas de escolha construídas pelos desenvolvedores que não são, necessariamente, alinhadas com os interesses dos utilizadores. São mecanismos por meio dos quais o usuário é incitado “a não se distanciar da regra por padrão [par défaut]” (Rouvroy, 2014, p.7). Isto não significa que não possam existir bons encontros (conceito que retomamos de Deleuze, 2008). A Netflix e a Amazon, assim como outras plataformas que utilizam sistemas de recomendação, podem sugerir filmes, documentários, livros, entre outros produtos com os quais podemos ter encontros alegres, tecendo boas composições. A questão que queremos problematizar, entretanto, é outra: qual é o espaço de liberdade que temos para selecionar tais encontros, já que as escolhas já são previamente feitas pelos algoritmos (a partir de um conjunto de possibilidades já dadas)? E, como cada escolha é, ao mesmo tempo, a exclusão de tantas outras, o que está sendo retirado do nosso campo de possibilidades? São os algoritmos que fazem uma pré-seleção dos conteúdos com os quais poderemos ou não compor, e que irão ou não se articular aos nossos aspectos infra-individuais, com nossa sensibilidade e nossa atenção.

Servidão maquínica e sujeição social

Como já nos ensinou Foucault (2010, p. 30), não há produção de “saber que não suponha e não constitua ao mesmo tempo relações de poder”. Tais relações de poder-saber, na GA, são, de acordo com o pensamento de Rouvroy, inassimiláveis aos regimes de poder da soberania, da disciplina ou mesmo do biopoder, analisados pelo filósofo. Essa nova modalidade de poder não se baseia nem na lei nem na norma. Na verdade, ela não tem por alvo nenhum sujeito individuado, pois

ela contorna e evita os sujeitos humanos reflexivos, ela se alimenta de dados infra-individuais insignificantes neles mesmos, para produzir modelos de comportamento ou perfis supra-individuais, sem jamais convocar o sujeito, sem jamais o obrigar a dar conta por si mesmo daquilo que ele é nem daquilo que ele poderia vir a ser. (Rouvroy & Berns, 2013, p. 174)

A GA não se dirige nem ao sujeito individuado nem à pessoa, pois para governar - isto é, para estruturar o campo de ações possíveis -, indivíduos capazes de entendimento, de vontade, de reflexão, de enunciação não são mais nem pressupostos nem requeridos (Froidevaux & Abiteboul, 2016; Rouvroy, 2011). Não custa reiterar: se os sujeitos existem na GA é “de maneira infra-individual (fragmentada em diversos bancos de dados) ou supra-individual (os ‘perfis’ não se endereçam jamais a não ser para conjuntos de indivíduos, ou, mais exatamente, para conjuntos de comportamentos)” (Rouvroy, 2011, sem paginação).

Nem mesmo o sujeito produzido no modo de governo neoliberal é interpelado pela GA. Esta não o incita a ser empresário de si mesmo, a se autocontrolar, a avaliar-se continuamente. Antes, ela ignora a consciência e o pensamento, operando, por meios dos perfis, em indivíduos e grupos, no modo de alerta e de respostas reflexas. A GA atua, portanto, em um “sujeito” supra-individual - constantemente reconfigurado - feito de traços digitais heterogêneos, impessoais e infra-individuais. As recomendações automatizadas funcionam frequentemente sobre as lógicas relativamente opacas, dificilmente traduzíveis em uma forma narrativa e inteligível, e buscam “curto-circuitar os processos através dos quais nós construímos e revisamos nossas escolhas” (Rouvroy, 2016, conforme Froidevaux & Abiteboul, 2016, sem paginação).

No limite, a GA opera de tal modo a desviar-se das situações nas quais se produz um sujeito, o que não significa que ela não responda, por meio dos cálculos algorítmicos, a uma das demandas mais importantes da governamentalidade neoliberal: a redução ou, até mesmo, a própria eliminação dos riscos, do acaso, do campo do imprevisível. O que ela oferece à governamentalidade neoliberal é a otimização das ações, dos comportamentos, das relações sociais (Santos, 2019). E o faz ao estabelecer a predição do que podemos fazer ou deixar de fazer como, por exemplo, votar neste ou naquele(a) candidato(a), cometer determinado crime, endividar-se, pagar ou deixar de pagar as dívidas contraídas.

O modo de funcionamento da GA, descrita por Rouvroy e Berns (2013), guarda bastante proximidade com o conceito de “servidão” maquínica que Lazzarato (2014) retoma dos escritos de Deleuze e Guattari. Tal conceito aparece em conjunto com o de sujeição social, sendo que, por meio de ambos, os autores buscam pensar a produção de subjetividade no capitalismo. Mas o que são a servidão maquínica e a sujeição social? Esta diz respeito aos processos pelos quais somos dotados de “uma subjetividade, atribuindo a nós uma identidade, um sexo, um corpo, uma profissão, uma nacionalidade e assim por diante... ela fabrica sujeitos individuados, sua consciência, representações e comportamentos” (Lazzarato, 2014, p. 17).

A sujeição social fabrica um indivíduo vinculado a um objeto externo, do qual faz uso. Nela, “o indivíduo trabalha ou se comunica com outro sujeito individuado via uma máquina-objeto, que funciona como ‘meio’ ou medição de sua ação ou uso” (Lazzarato, 2014, p. 29). Trata-se da interação entre entes globais, individualizados. Diante dos objetos, a sujeição social designa aos sujeitos funções como a de usuário, a de telespectador, a de consumidor etc. É sempre o sujeito enquanto totalidade que é convocado, incitado, induzido, solicitado, encorajado, impedido, alertado, estimulado a agir ou deixar de agir.

Já a servidão maquínica “desmantela o sujeito individuado, sua consciência e suas representações, agindo sobre os níveis pré-individual e supraindividual” (Lazzarato, 2014, p. 17). Ela consiste, conforme Lazzarato (2008, p. 114), “na modulação dos componentes pré-individuais, pré-cognitivos e pré-verbais da subjetividade, fazendo funcionar os afetos, as percepções, as sensações ainda não individuadas, ainda não atribuíveis a um sujeito etc., como elementos de uma máquina”.

Na servidão maquínica, dualismos como homem e máquina, sujeito e objeto inexistem. Como dizia Deleuze (1992b, p. 226), nas sociedades de controle os “indivíduos tornam-se ‘dividuais’, divisíveis, e as massas tornam-se amostras, dados, mercados ou ‘bancos’”. Na servidão maquínica, não há diferença no modo de “funcionamento” do dividual e dos componentes “não humanos” dos objetos técnicos, tais como os dados, os protocolos, os botões, os softwares etc. O dividual não se opõe às máquinas nem faz uso de um objeto externo, antes ele é adjacente às máquinas. Seres humanos e máquinas, juntos, constituem um agenciamento, um dispositivo, no qual são “meras partes recorrentes e intercambiáveis de um processo de produção, de comunicação, de consumo etc., que os excede” (Lazzarato, 2014, p. 29).

É no âmbito da servidão maquínica que a GA atua. Isto é, ela estrutura o campo de ações de agentes humanos e não-humanos, entendendo-os sempre como sendo um agenciamento, enquanto híbridos. É por isso que os sistemas de recomendação, mais do que se dirigirem aos sujeitos, buscam conectar-se com os divíduos, com os componentes da subjetividade (atenção, memória, sensações, cognição, força física). Esses não são mais unificados em um “eu”, não possuem um sujeito referente, mas são “conectados” diretamente. Os processos de servidão maquínica “conectam um órgão, um sistema de percepção, uma atividade intelectual, e assim por diante, diretamente à máquina, a procedimentos, a signos, ignorando a representação de um sujeito (funcionamento diagramático)” (Lazzarato, 2014, p. 39).

Por exemplo, no caso da Netflix, é por meio da sujeição social que se constitui o cliente-consumidor (na relação com o prestador de serviço), isto é, alguém que está sujeito a um contrato, que realiza pagamentos periódicos em troca do acesso aos conteúdos, e que efetua o login na plataforma. Ao mesmo tempo, por meio da servidão maquínica, dividuais são conectados, acoplados uns aos outros - os olhos aos fluxos de luminosidade que emanam da tela, o dedo ao botão do controle remoto, os sons da televisão, às lágrimas e às gargalhadas dos espectadores, o app do banco ao pagamento da mensalidade da Netflix etc. Se a servidão maquínica entra em colapso, se ela falha, então a própria sujeição social é colocada em risco - se o cliente não encontra (ou não é apresentado/conduzido a) algo que lhe interesse, é possível que cancele sua assinatura.

Sujeição social e servidão maquínica não são, portanto, excludentes. Apesar de serem processos heterogêneos, são interdependentes e complementares. Se Rovroy e Berns (2013) dão especial relevo à GA não é por desconhecerem os processos de sujeição social. Antes, é porque buscam lançar luz para a emergência de uma nova modalidade de funcionamento do poder (o que não exclui as anteriores é claro).

Considerações finais

Não se trata aqui de simplesmente rejeitar os algoritmos de recomendação. Antes, buscamos problematizar a GA e seu modo de funcionamento por meio desses algoritmos, de colocar em questão o discurso de que basta neles confiarmos, seguir as escolhas que fazem por nós, que, assim, encontros alegres nos estariam assegurados. A grande questão não é se vamos ou não acolher as indicações dos algoritmos, mas como nos relacionamos com eles, isto é, sob que condições, com que finalidade e sob que efeitos em nossos modos de existência os fazemos de nossos mestres, aqueles que conduzem as nossas condutas.

Programas de navegação, como Waze, por exemplo, nos indicam a rota a ser percorrida, os momentos de sairmos de uma pista e entrarmos em outra e, até mesmo, avisam quando há acidentes ou policiamento. Toda a nossa trajetória é organizada pelo programa com a finalidade de otimizar o percurso. Teríamos que nos perguntar do que se trata tal otimização, o que ela supõe e implica. Quando o principal aspecto a ser considerado é a economia de tempo - um tempo atravessado pela lógica econômica -, provavelmente programas como Waze sejam as melhores soluções. Mas a vida pode (ou deveria, há que nos perguntarmos) ser muito mais do que economizar, poupar ou investir tempo - e, assim, “lucrar” algo. Não poderíamos ter outras modalidades de relação com o tempo, tal como nos lembra Bondía (2002), ao qual já fizemos referência mais acima? Para isso, seria necessário tecermos outras relações com os sistemas de recomendação, relações essas que escapem ao modo de resposta reflexo.

Por que sugerir que podemos ter outras relações com os algoritmos de recomendação que não aquelas pautadas no reflexo imediato, isto é, quando acatamos rapidamente o que nos foi sugerido e que, não raro, nos é gratificante? Por que arriscar? Se nossa relação com o Waze - assim como outros sistemas de recomendação - se resume em seguir suas orientações - por vezes apresentando-se até como imperativos (“vire à direita”, “vire à esquerda”, “siga em frente por 2 quilômetros”) -, então aprenderemos muito pouco acerca de como organizar nossos encontros. Além disso, e talvez mais importante, tais algoritmos não agem apenas em situações pontuais - esta ou aquela escolha -, antes procuraram estruturar nossas ações ao longo de um trajeto - de deslocamento, de consumo, de afetos, de pensamentos, de encontros etc. E o fazem a partir de critérios que, na maior parte das vezes, não consideramos se seriam aqueles por meio dos quais gostaríamos de dar contornos às nossas vidas.

Assim, pouco contribuem para aumentar a nossa potência de agir, ou seja, não aprendemos a selecionar, a escolher, a organizar nossos encontros. Se não há aprendizado, se não há experimentação, não há como nos apropriarmos da nossa potência, de aprendermos o que podemos, o que nos convém e o que não nos convém.

Ao não se dirigir aos sujeitos humanos reflexivos, a GA evita a emergência da crítica. Ela não provoca a liberdade e, assim, não suscita recalcitrâncias (Rouvroy, 2011). Sejamos um pouco mais claros: não é a liberdade que é excluída, pois os sujeitos continuam livres, permanecem participando de relações de poder. Entretanto, e aí está a sutileza da artimanha, o que se torna rarefeito é o exercício refletido da liberdade. Comentando o pensamento de Rovroy, Colle, Ledox e Vlajcic (2017, p. 58) afirmam:

A Governamentalidade Algorítmica não faz nada a não ser curto-circuitar nossos desejos: ela torna também mais difícil a racionalização a posteriori de nossas escolhas. Com efeito, a opacidade das recomendações algorítmicas que nos induzem a comprar não nos ajudam nem a fazer escolhas mais esclarecidas, nem a identificar melhor ou a nos dar conta, depois de termos comprado, a razão de nossa escolha. Então é precisamente nessa capacidade que reside nossa (única) liberdade. Por que compramos tal coisa? Porque ela nos foi sugerida. Por que ela nos foi sugerida? Porque nós compramos uma outra coisa parecida. E assim por diante.

Se não há espaço para recalcitrâncias, para resistências no âmbito da GA, estaríamos condenados à servidão maquínica por meio da qual ela opera? Estaríamos, portanto, um passo atrás de podermos, inclusive, abordar, assim como Foucault (2012), a seguinte questão: é inútil revoltar-se? Certamente não, pois precisamos ressaltar que se as resistências se produzem no âmbito das sujeições sociais, no âmbito das servidões maquínicas, o importante é a política dos afetos. É justamente sobre esses que tais algoritmos de recomendação intentam agir, isto é, por meio da ação sobre o pré-individual.

Assim, importa traçar estratégias, inventar dispositivos que nos levem a participar de outros agenciamentos, criando condições para outros afetos, abrindo-se, inclusive, para encontros dos quais não sabemos muito bem o que nos acontecerá, pois, como lembra o Comitê Invisível (2016, p. 52), “ninguém pode antecipar a potência de um encontro”.

Referências

• Alexander, N. (2016). Catered to Your Future Self: Netflix’s “Predictive Personalization” and the Mathmatization of Taste. In K. Mcdonald & D. Smith-Rowsey (Org.), The Netflix Effect: Technology and Entertainment in the 21st Century (pp. 81-97). [S. l.]: Bloomsbury Publishing USA.
• Barrett, B. (2016, March 27). Netflix’s Grand, Daring, Maybe Crazy Plan to Conquer the World. Wired Recuperado de https://www.wired.com/2016/03/netflixs-grand-maybe-crazy-plan-conquer-world/
  » https://www.wired.com/2016/03/netflixs-grand-maybe-crazy-plan-conquer-world/
• Bernard, P. (2013). Grandes oreilles: A l’automne doit être inauguré le centre d’interception des communications de la NSA près de Bluffdale, dans l’Utah. Un «big data center» aux capacités titanesques, construit dans le secret. Le Temps Recuperado de https://www.letemps.ch/societe/grandes-oreilles
  » https://www.letemps.ch/societe/grandes-oreilles
• Bondía, J. L. (2002). Notas sobre a experiência e o saber de experiência. Revista Brasileira de Educação, 19, 20-28. Recuperado de https://doi.org/10.1590/S1413-24782002000100003.
  » https://doi.org/10.1590/S1413-24782002000100003
• Colle, J., Ledox, L., & Vlajcic, C. (2017, Marche). Gouvernementalité algorithmique: arme ultime pour ne pas changer le monde? Peoplesphere, 211, 56-58. Recuperado de https://philoma.org/wp-content/uploads/docs/2016_2017_Algorithmes/Ledoux_-_Vlajcic_-_Rouvroy_-_Gouvernemantalite_algorithmique_-_Peoplesphere _-_PSFR211-Opinion.pdf
  » https://philoma.org/wp-content/uploads/docs/2016_2017_Algorithmes/Ledoux_-_Vlajcic_-_Rouvroy_-_Gouvernemantalite_algorithmique_-_Peoplesphere _-_PSFR211-Opinion.pdf
• Comitê Invisível. (2016). Aos nossos amigos: crise e insurreição. [S. l.]: n-1 edições. Recuperado de https://n-1edicoes.org/aos-nossos-amigos
  » https://n-1edicoes.org/aos-nossos-amigos
• Custers, B. H. M. (2018). Data Mining and Profiling in Big Data. In B. A.Arrigo (Ed.), The SAGE Encyclopedia of Surveillance, Security, and Privacy (pp. 277-279). Thousand Oaks: SAGE Publications. Recuperado de https://ssrn.com/abstract=3183286
  » https://ssrn.com/abstract=3183286
• Deleuze, G. (1992a). Controle e Devir. In Conversações (2ª ed., pp. 213-222.). São Paulo: Editora 34.
• Deleuze, G. (1992b). Post-Scriptum sobre Sociedade do Controle. In Conversações(2ª ed., pp. 209-226.). São Paulo: Editora 34 .
• Deleuze, G. (2008). En medio de Spinoza Buenos Aires: Cactus.
• Foucault, M. (1979). Sobre a Prisão. In R. Machado (Org.). Microfísica do poder(pp. 129-143). Rio de Janeiro: Graal.
• Foucault, M. (1988). História da sexualidade I: a vontade de saber(13ª ed.). Rio de Janeiro: Graal .
• Foucault, M. (2010). Vigiar e punir: nascimento da prisão. Petrópolis, RJ: Vozes.
• Foucault, M. (2012). É Inútil Revoltar-se? In Ditos e escritos V: ética, sexualidade, política(3a ed., pp. 76-80). Rio de Janeiro: Forense Universitária.
• Froidevaux, C. & Abiteboul, S. (2016, Janvier 22). Autour de l’informatique: les algorithmes et la disparition du sujet. The conversation Recuperado de http://theconversation.com/autour-de-linformatique-les-algorithmes-et-la-disparition-du-sujet-53515
  » http://theconversation.com/autour-de-linformatique-les-algorithmes-et-la-disparition-du-sujet-53515
• Gomez-Uribe, C. A. & Hunt, N. (2015, January 19). The Netflix Recommender System: Algorithms, Business Value, and Innovation. ACM Trans. Manage. Inf. Syst., 6(4), 13. Recuperado de https://doi.org/10.1145/2843948.
  » https://doi.org/10.1145/2843948
• Grassegger, H. & Krogerus, M. (2017, January 28). The Data That Turned the World Upside Down. Motherboard Recuperado de https://motherboard.vice.com/en_us/article/mg9vvn/how-our-likes-helped-trump-win
  » https://motherboard.vice.com/en_us/article/mg9vvn/how-our-likes-helped-trump-win
• Hennigen, I. (2006). Subjetivação como produção cultural: fazendo uma outra Psicologia. Psicologia & Sociedade, 18(2), 47-53. https://doi.org/10.1590/S0102-71822006000200007
  » https://doi.org/10.1590/S0102-71822006000200007
• Lazzarato, M. (2008). Postfacio. In G. Raunig (Ed.) Mil máquinas: breve filosofía de las máquinas como movimiento social (pp. 109-118). Madrid: Traficantes de sueños.
• Lazzarato, M. (2014). Signos, Máquinas, subjetividades São Paulo: Sesc São Paulo.
• Netflix. (2009, September 21). Netflix Prize: Home. Recuperado de https://www.netflixprize.com/
  » https://www.netflixprize.com/
• Morris, D. Z. (2016, March 27). Netflix says Geography, Age, and Gender are “Garbage” for Predicting Taste. Fortune Recuperado de https://fortune.com/2016/03/27/netflix-predicts-taste/
  » https://fortune.com/2016/03/27/netflix-predicts-taste/
• Pariser, E. (2012). O filtro invisível: o que a internet está escondendo de você. Rio de Janeiro: Zahar.
• Rouvroy, A. (2011). Pour une défense de l’éprouvante inopérationnalité du droit face à l’opérationnalité sans épreuve du comportementalisme numérique. Dissensus, 4. Recuperado de https://popups.uliege.be:443/2031-4981/index.php?id=963
  » https://popups.uliege.be:443/2031-4981/index.php?id=963
• Rouvroy, A. (2013). The end(s) of critique: data-behaviorism vs. due-process. In M. Hildebrandt & E. De Vries (Eds.), Privacy, Due Process and the Computational Turn (Cap. 5, pp. 143-167). London: Rouledge.
• Rouvroy, A. (2014). Des données sans personne: le fétichisme de la donnée à caractère personnel à l’épreuve de l’idéologie des Big Data. (Contribution en marge de l’Étude annuelle du Conseil d’État. Le numérique et les droits et libertés fondamentaux). Recuperado de https://works.bepress.com/antoinette_rouvroy/55/
  » https://works.bepress.com/antoinette_rouvroy/55/
• Rouvroy, A. & Berns, T. (2010). Le nouveau pouvoir statistique. Ou quand le contrôle s'exerce sur un réel normé, docile et sans événement car constitué de corps «numériques »...». Multitudes, 40(1), 88-103. Recuperado de https://doi.org/10.3917/mult.040.0088.
  » https://doi.org/10.3917/mult.040.0088
• Rouvroy, A. & Berns, T. (2013). Gouvernementalité algorithmique et perspectives d’émancipation, faced with algorithmic governmentality. Réseaux, 177, 163-196. Recuperado de https://doi.org/10.3917/res.177.0163.
  » https://doi.org/10.3917/res.177.0163
• Santos, R. E. (2019). Governamentalidade Algorítmica e Subjetivação: sobre os riscos da construção de subjetividades em um mundo digital. REVES - Revista Relações Sociais, 2(1), 01-16. Recuperado de https://doi.org/10.18540/revesvl2iss1pp0001-0016
  » https://doi.org/10.18540/revesvl2iss1pp0001-0016
• United States General Accounting Office. (2004). Data Mining: Federal Efforts Cover a Wide Range of Uses. Washington: GAO. Recuperado de https://www.gao.gov/assets/250/242240.html
  » https://www.gao.gov/assets/250/242240.html
• Wheelan, C. (2016). Estatística: o que é, para que serve, como funciona. Rio de Janeiro: Zahar .
• YouTube. (2016, September 27). Cambridge Analytica - The Power of Big Data and Psychographics. [Video file]. Recuperado de https://www.youtube.com/watch?v=n8Dd5aVXLCc
  » https://www.youtube.com/watch?v=n8Dd5aVXLCc
• YouTube. (2017, March 10). Alexander Nix, CEO, Cambridge Analytica - Online Marketing Rockstars Keynote | OMR17. [Video file]. Recuperado de https://www.youtube.com/watch?v=6bG5ps5KdDo
  » https://www.youtube.com/watch?v=6bG5ps5KdDo

Nota

• 1
  As traduções de palavras/expressões em inglês, francês e espanhol foram feitas pelos autores.

• Consentimento de uso de imagem: Não se aplica.
• Aprovação, ética e consentimento: Não se aplica.
• Agência de fomento: Não houve financiamento.

Datas de Publicação

• Publicação nesta coleção
  26 Abr 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  12 Set 2019
• Revisado
  18 Maio 2020
• Aceito
  01 Jun 2020