Techdirt removido das buscas do DuckDuckGo e do Bing

Techdirt é um dos lugares de referência para se informar sobre o encontro de questões tecnológicas e sociais, sobre as repercussões frequentemente imprevistas na legislação proposta sobre tecnologia e sobre tecnopolítica em geral. Fundado por Mike Masnick nos anos 1990, ele tem um blog atualizado com frequência, uma comunidade viva que comenta cada artigo e é também um podcast. Eu tenho sido um leitor e ouvinte ávido desde os primeiros anos da internet comercialmente disponível.

Esta manhã eu estava tentando encontra um artigo no Techdirt, como normalmente faço para encontrar referências para os textos que escrevo neste blog. Como sou uma pessoa consciente com a privacidade, eu sempre uso o DuckDuckGo para as minhas buscas. Para minha surpresa, não pude encontrar absolutamente nenhum resultado do domínio techdirt.com, mesmo usando o filtro site: para restringir a busca.

Ao buscar pelo nome do site, apareciam somente resultados de páginas sobre o Techdirt na Wikipédia, no Twitter, no Pateron, na Wired, etc., mas nenhuma página no próprio domínio techdirt.com.

Estranho, de fato. Mas essa não foi a minha primeira experiência desse tipo com o DDG. Meses atrás eu tive muita dificuldade em encontrar um artigo que a minha amiga Yasodara Cordova havia escrito em 2018 para oIntercept Brasil, relacionado com a sua pesquisa no Berkman Klein Center para a Internet & Sociedade em Harvard, mas que é também um texto muito crítico das Big Tech. Esse artigo, contudo, pode ser facilmente encontrado hoje em dia no DDG.

Pesquisando um pouco encontrei alegações anteriores de que o DDG tenha removido resultados relacionados a suposta pirataria ou a suposta propaganda russa, e eles sempre colocam a culpa no Bing. Eu não pude encontrar, todavia, nenhum caso em que o DDG tenha removido resultados relacionados ao pensamento crítico sobre tecnopolítica. Este parece ser mesmo um fato inédito.

Eu tentei me lembrar de nomes de outros mecanismos de busca que pelo menos alegam ser orientados a privacidade, para que eu pudesse continuar a minha busca. Ecosia me veio à mente – eles aparecem como uma opção de mecanismo de busca no Firefox. Infelizmente, encontrei lá o mesmo problema que havia no DuckDuckGo.

Então eu me lembrei do fato que o DuckDuckGo (e muito provavelmente o Ecosia também) obtém do Bing os seus resultados de busca e tentei fazer uma busca lá diretamente.

Ainda sem nenhum resultado mostrado no Bing, mas pelo menos eles reconhecem o fato de que “alguns” resultados foram removidos. O link ali não faz nada para explicar o motivo pelo qual o site inteiro foi desindexado e sim é uma página genérica do suporte do Bing explicando diversos motivos possíveis que poderiam levar a Microsoft a remover páginas dos resultados de busca do Bing.

Como eu estava ocupado e não podia escrever este artigo imediatamente, decidi informar ao Techdirt sobre o problema por meio do formulário de contato em seu site. Mais tarde ao longo do dia eu vi que o Mike Masnick tinha escrito um artigo sobre o problema, no qual menciona ter recebido uma mensagem de alguém (eu mesmo) e basicamente especulando sobre os possíveis motivos do desaparecimento do site de todos esses mecanismos de busca. O texto tem até uma parte divertida em que ele pergunta ao bot de IA do Bing sobre os motivos da remoção do site.

Entre os motivos especulados pela IA generativa, os dois mais plausíveis parecem ser ou algum tipo de bug ou problema técnico, ou uma censura devido ao posicionamento político do Techdirt, que é crítico com bastante frequência de empresas como a Microsoft, que muitas vezes tem sido acusada de abusar de sua posição dominante no mercado para cercear a concorrência.

E o último é obviamente possível: que a Microsoft tenha recebido “alguma pressão legal ou política para remover ou censurar o Techdirt.com, que é conhecido por suas reportagens críticas e investigativas sobre diversos tópicos, tais como tecnologia, direito, políticas e negócios,” mas seria legal se alguém apenas, sabe, me avisasse?

Masnick diz explicitamente acreditar que a primeira hipótese é a verdadeira e se esforça para salientar o fato de que o Bing tem todo o direito de remover o que quiser por qualquer motivo (apesar de que obviamente isso faz com que eu e muitas outras pessoas fiquemos ainda menos propensos a utilizar o seu mecanismo de buscas).

Em momento algum, ninguém do Bing nos avisou de que nós seríamos removidos do índice de buscas. E, é claro, o Bing tem todo o direito de nos expulsar do seu índice por qualquer motivo que quiserem. Mas parece mesmo estranho.

Alguém comentou naquele artigo que outros sites críticos da maneira como o Vale do Silício pensa a tecnopolítica estariam também sendo removidos e citou como um exemplo o Tech Won’t Save Us (um podcast excelente do Paris Marx que eu recomendo muito, juntamente com outros como Your Undivided Attention, Team Human, The Cory Doctorow Podcast, o podcast da EFF How to Fix the Internet, Reimagining the Internet e o próprio Techdirt; ou ainda, para os lusófonos: Guia Prático, Tecnocracia, Tecnopolítica, Dadocracia e Batalhas Digitais). Entretanto, eu procurei por todos esses no DDG e todos eles ainda estavam, de fato, aparecendo normalmente. Então ou eles consertaram muito rápido todos esses sites, mas não o Techdirt, ou essa pessoa estava simplesmente equivocada.

Mais tarde o usuário NoahVail apontou nos comentários que O CEO/Fundador do DDG estava resolvendo o problema e de fato, mais cedo hoje à noite eu pude constatar que pelo menos um link para a página inicial do techdirt.com estava de fato aparecendo novamente nos resultados de busca do DDG, mas ainda não havia nenhum link para outras páginas ou artigos.

Suponho que para mostrar links mais profundos para o Techdirt eles teriam que fazer o crawling do site, sendo que para isso eles são inteiramente dependentes do Bing. Então provavelmente ainda vai demorar um bocado para consertar.

Enquanto isso, eu descobri que um outro mecanismo de buscas orientado à privacidade não está passando por esse problema, já que eles mesmos fazem o crawling da web em vez de depender de outros mecanismos de buscas maiores. Ele se chama Mojeek. Por algum motivo, no entanto, eles têm uma tendência irritante de algumas vezes bloquear as minhas buscas por confundir o meu comportamento com o de um robô, especialmente se eu pesquisar por mensagens técnicas de erro, copiando-as e colando-as (algo que é extremante comum que programadores façam muitas vezes ao dia).

Atualização (28/7/2023): O Bing, o DuckDuckGo e o Ecosia agora mostram mais alguns resultados do Techdirt, na maioria subdomínios. Mas os artigos ainda não estão indexados. Por exemplo, uma busca por “site:techdirt.com drm” ainda aparece vazia, mesmo DRM sendo um assunto frequente nos artigos do Techdirt.