(172) A desculpa da Inteligência Artificial
Tempo estimado de leitura: 12 minutos.
Os desenhadores de programas trabalham para ficarem desempregados pelo programa que criaram.
A utilização dos métodos da IA servem como desculpa para as decisões do Poder. Esta é a realidade escondida dos métodos da IA.
A pobreza é o resultado de maus hábitos pessoais, não dos choques económicos.
A pobreza poderia acabar se esterilizássemos um décimo da população mais pobre, Harry Laughlin.
A elite americana “acreditava que a pobreza poderia, e deveria, ser resolvida em parte, deixando os pobres morrerem”, Walter Trattner.
A convicção da professora Rhema Vaithianathan de que os aperfeiçoamentos dos algoritmos irão permitir resolver vários (ou os vários) problemas que afetam a nossa sociedade, não leva em conta, (para além do discutido no blog anterior em que “os modelos matemáticos, pela sua natureza, têm por base o passado, e a assunção que os padrões se repetem” e “os padrões com que a IA trabalha, são reproduções de estereótipo que lhe fornecemos”) o problema maior e condutor da realidade: o do poder de quem a controla.
Todos os importantes “progressos” científicos, só são possíveis se estiverem de acordo com quem manda. O resto são gadgets, para o entretenimento de maiores ou menores.
Tal como a máquina a vapor, a eletricidade, as armas, etc., os métodos da IA são meios importantes para um fim que não dominam. De certa maneira, são como desenhadores de programas que trabalham para ficarem desempregados pelo programa que criaram.
Um dos problemas mais graves com que as sociedades se têm confrontado é o da pobreza. Ao longo da história, o debate principal que se tem vindo a travar é entre aqueles que se batem por eliminar e aliviar a pobreza, e aqueles que pretendem culpabilizar, aprisionar, e punir os pobres pela sua pobreza. Vejamos como os métodos da IA têm vindo a lidar com ele.
Após a Guerra de 1812 (mais conhecida como a “Segunda Guerra da Independência”), os EUA entraram numa catastrófica depressão económica (1819), com as habituais consequências, o colapso de bancos e dos negócios, a baixa dos preços agrícolas, a diminuição dos salários em 80%, a perca de valor das propriedades. Meio milhão de americanos ficaram desempregados, ou seja, um quarto da população adulta não escrava.
O principal método que os governos utilizavam para regular a pobreza era o de colocarem os indigentes nas “casas de pobres” (Poorhouses, idênticas às inglesas Workhouses), onde a troco de alojamento e refeição lhes era vedado casarem-se, votarem, ou exercerem uma profissão. A primeira destas “casas” surgiu em Boston, em 1662, com a intenção de acolher os doentes, fracos, anciãos, órfãos, deficientes físicos e mentais.
As famílias eram logo separadas à entrada porque os reformadores da altura acreditavam que os filhos dos pobres só podiam serem resgatados da sua ignomínia, pelo contacto com famílias com posses. As crianças eram retiradas aos pais e entregues nas casas que procuravam empregados domésticos ou aprendizes, ou enviadas em comboios de órfãos como trabalhadores gratuitos para propriedades agrícolas.
Grande parte das “casas de pobres” estavam superlotadas, mal ventiladas, sujas, com maus cuidados de saúde, faltando muitas vezes água, cama e vestuário.
Em 1856, cerca de um quarto dos residentes das “poorhouses” de Nova Iorque eram crianças. Outro quarto, era constituído por deficientes mentais, cegos, surdos. Os restantes eram anciãos, enfermos, incapacitados fisicamente, e mães pobres a recuperarem de parto.
Este problema tinha de ser resolvido. Só que, em vez de se preocuparem com o sofrimento dos pobres lançados no desemprego, os políticos e sua imprensa preocupavam-se antes com o “pauperismo”, com a dependência criada pelos benefícios públicos gratuitos (comida, combustível, cuidados médicos, vestuário, etc.) concedidos aos pobres.
Segundo eles, a pobreza era o resultado de maus hábitos pessoais, não dos choques económicos. Os pobres deviam de ser agrupados em “impotentes” (incapazes de trabalharem) e em “capazes”, porque o estar a sustentar-se indiscriminadamente todos os pobres iria levar à destruição da indústria e criar uma sociedade permanente de parasitas dependentes.
Uma das soluções propostas era a de apenas dar ajudas a quem voluntariamente quisesse ser admitido numa “poorhouse”. Outra solução era a conscientemente preconizada pela elite americana, que, segundo verificara Walter Trattner, “acreditava que a pobreza poderia, e deveria, ser resolvida em parte, deixando os pobres morrerem”.
Como escrevia o filósofo social de século XIX, Nathanial Ware, “Humanidade aparte, era do melhor interesse da sociedade que todos esses empecilhos fossem mortos”.
Em 1873, ocorre nova depressão económica (“O Pânico de 1873”). Centenas de milhar de trabalhadores são despedidos. Os governos locais esforçam-se por criar a “sopa dos pobres”, alojamentos gratuitos, distribuindo roupas e carvão. Em 1877 dá se a Grande Greve dos Caminhos de Ferro, quando os trabalhadores ficam a saber que os seus salários seriam de novo cortados ao passo que os acionistas receberiam dividendos aumentados em 10 por cento. Meio milhão de trabalhadores de vários sectores da economia entram em greve, no que foi a primeira greve nacional da história dos EUA.
A depressão afetou também a Europa, o que conduziu à introdução do estado social. Na América, os comentadores da classe média ampliavam os medos de uma luta de classes e do aparecimento de uma “grande onda Comunista”. Segundo eles, o principal responsável era o estado social, porquanto, perguntavam-se, como seria possível obrigar a trabalhar aqueles a quem ao mesmo tempo se dava sopa?
A resposta ao problema pareceu encontrar-se na Charity Organization Society (Sociedade da Organização de Caridade), uma organização científica de caridade com a finalidade de separar os pobres merecedores dos pobres não merecedores, utilizando métodos mais rigorosos baseados na recolha de dados. Estava criado o mecanismo para a classificação moral e para o controle social.
Por princípio, assumia-se que os pobres não eram testemunhas fiáveis. As suas histórias teriam de ser confirmadas pela polícia, vizinhos, comerciantes locais, párocos, enfermeiras, professores e outras sociedades de ajuda. Por princípio, a caridade científica tratava os pobres como se fossem criminosos.
Segundo os dirigentes da época, providenciar assistência a pobres que não eram merecedores iria permitir que eles sobrevivessem e pudessem reproduzir a sua genética inferior. A lógica do diagnóstico social base das Charity Organization era comumente aceite e explicado, porquanto “as ervas daninhas não podem ter os mesmos cuidados de cultivo que as flores”.
Este foco na hereditariedade era influenciado pelos movimentos eugénicos vindos de Londres, onde Sir Francis Galton encorajava o casamento entre as elites como forma de manter e apurar as “qualidades nobres” (lembremos a resposta da Madame Pompadour ao seu marido, quando este a confrontou com o que diziam dele na Corte: “É verdade, vós sois um cornudo. Mas, senhor, sois um cornudo real”. Bem sei, isso era em França).
Na América, sempre prática, estas teorias-certezas levaram à tentativa de eliminação do que consideravam ser características negativas dos pobres: pouca inteligência, alta criminalidade, e sexualidade desbragada.
Organizada com fundos da Carnegie Institution e com a participação de organismos dos estados, de Vermont até à Califórnia, cientistas sociais percorreram os EUA para obterem informações sobre a vida sexual dos pobres, sua inteligência, hábitos e comportamentos. Preenchiam vastos questionários, tiravam fotografias, recolhiam impressões digitais, mediam as cabeças, contavam o número de crianças, desenhavam as suas árvores genealógicas, onde inscreviam comentários como “imbecil”, “espírito fraco” e “dependente”.
A eugenia e a caridade científica, recolheram centenas de milhar de casos exemplares de famílias, num esforço oficialmente caracterizado como a “forma de se conseguir classificar as famílias de acordo com o seu desenvolvimento intelectual, o seu mérito, cada uma delas com a sua etiqueta indiciária”.
As conceções eugénicas espalharam-se de tal forma na “sociedade”, que o Juiz Supremo Tribunal, Oliver Wendell Holmes, não tem qualquer rebuço em legalizar (1927) a esterilização involuntária (Buck v. Bell):
“É melhor para o mundo se, em vez de se esperar para ter de executar um degenerado por crime ou deixar que ele morra à fome pela sua imbecilidade, a sociedade possa impedir aqueles que sejam manifestamente desqualificados para dar continuidade à sua descendência. O princípio que existe para a obrigatoriedade da vacinação, é suficientemente geral para que possa cobrir a ablação das trompas de Falópio” (https://supreme.justia.com/cases/federal/us/274/200/).
Na mesma linha, Harry Laughlin, (1880 – 1943) escrevia que “A pobreza poderia acabar se esterilizássemos um décimo da população mais pobre” ( https://en.wikipedia.org/wiki/Harry_H._Laughlin).
Nos EUA, a aplicação dos princípios eugénicos, resultou em 60.000 esterilizações de pobres ou da baixa classe trabalhadora.
Mais tarde, durante a Grande Depressão, cerca de 13 a 15 milhões de americanos ficaram sem emprego (25% desempregados em toda a nação, com 60% em algumas cidades). A classe média é fortemente atingida. Uma vez que parte substancial dos desempregados eram de classe média, aquela separação entre os pobres que eram merecedores e ao que não eram, desaparece. Estavam todos no mesmo barco dos miseráveis.
Franklin D. Roosevelt, ensaia um programa de criação de emprego estadual, através do lançamento de enormes projetos de infraestruturas, construção de edifícios públicos, saúde pública, educação e artes, invertendo a tendência para os programas privados de caridade até aí desenvolvidos. Em 1934, os seus programas deram trabalho e alojamento a cerca de 28 milhões de pessoas.
Tal só foi possível não só pelas ajudas disponibilizadas pelo Estado, mas também por terem sido abandonadas as extensíssimas e invasivas investigações pessoais a cargo do programa da “caridade científica”.
A lei sobre a Segurança Social de 1935, passou a estabelecer como direito adquirido, o princípio do pagamento em numerário nos casos de desemprego, idade elevada, ou perca do chefe sustento de família, deixando de ter aplicação a sua concessão com base no carater moral individual.
Contudo, ao regulamentar as distinções entre desempregados e pobres, homem pobre e mulher pobre, trabalhadores industriais do Norte e os outros, criou um estado social bipartido entre a assistência pública e segurança social.
Ou seja, apesar das boas intenções de um programa universal de benefícios sociais, Roosevelt acabou por ressuscitar as investigações da caridade científica e de policiamento, que levou, por exemplo, ao aparecimento de novas categorias como a de “mãe empregada”, “casa conveniente”, “pai substituto” e à preconização de restrições de movimentação para fora da residência estabelecida.
Resumindo: O estado social exigia que os pobres trocassem os seus direitos, de participação política, mobilidade, privacidade, autodeterminação, integridade física, segurança no trabalho, por uma insignificante ajuda às famílias.
A partir dos anos 70, a introdução dos computadores e de novas tecnologias que prometiam uma distribuição mais eficiente das ajudas, com menores gastos, veio de novo incentivar uma maior necessidade de recolha de dados, sua análise e armazenamento, das famílias que recebiam assistência pública. Dados esses que ficavam acessíveis ao Ministério da Educação, dos Assuntos Sociais, da Defesa, da Justiça, dos governos estaduais, dos funcionários públicos, dos tribunais.
Com a introdução dos métodos da IA, o que se vem verificando é que as empresas e o governo decidem, através da aplicação de algoritmos, sobre questões fundamentais para a vida das pessoas (como por exemplo, a quem conceder ajudas, rendimentos sociais, a quem dispensar e a quem contratar, a quem vigiar, a quem prender, a predizer crimes, etc.), cujos critérios se mantêm voluntariamente totalmente opacos (“ninguém” sabe como funcionam, nem com que critérios).
Vejamos uma das suas manifestações práticas o que se passou na atribuição das ajudas do Estado às pessoas necessitadas. Ou seja, na “resolução” do problema da pobreza.
A troco de ficarem dentro da chamada lista de “elegibilidade automática” dos que recebem alimento, alojamento, ou assistência domiciliária, estas pessoas são obrigadas a disponibilizar às complexas bases de dados integradas, uma enorme quantidade de informações pessoais e privadas, com poucas salvaguardas no que respeita à sua privacidade ou à segurança dos seus dados.
Modelos preditivos e algoritmos vão depois classificá-las como “investimentos de risco” ou como “pais problemáticos” ou outro atributo entendido como importante, ordenando-as numa escala numérica.
A partir daí, essas informações passam a estarem visíveis aos serviços sociais (tornando, por exemplo, mais difícil o acesso ao alojamento subsidiado, à assistência médica, à assistência à infância, ou ao estágio de emprego), ao serviço da justiça, às vizinhanças dos locais de residência, ficando os seus comportamentos sujeitos ao escrutínio público em geral e aos comerciantes em particular (permitindo, por exemplo, uma maior exploração nos empregos apalavrados).
Este sistema de elegibilidade automática, por ser extremamente invasivo, tende a desencorajar as pessoas de pedirem a parte que lhes caberia nas ajudas públicas de que necessitam para sobreviverem e prosseguirem com a vida.
Por outro lado, como o método com que trabalha este sistema automático de decisão é dito ser feito “sem intervenção humana”, faz com que as suas decisões sejam vistas como sendo infalíveis, afastando muitos dos possíveis reclamantes. Qualquer dúvida que tenham ou apresentem, não é nunca resolvida na altura, pois, ou “o sistema nunca se engana”, ou “nada posso fazer, está no sistema”, e qualquer reclamação será enviada para um sistema central para análise sem qualquer garantia de resposta em tempo útil. É falar para as paredes.
Por tudo isto, este sistema de elegibilidade automática tem vindo a ter grande impacto sobre os mais pobres, os beneficiários da segurança social, os sem abrigo, as famílias com poucos recursos, como se pode inferir das estatísticas abaixo indicadas.
Em 1973, quase metade das pessoas que viviam abaixo da linha da pobreza, recebiam assistência social. Em 1983, após a introdução das novas tecnologias, a proporção desceu para 30%. Hoje, é menos de 10%. Entre 1996 e 2006, foram retirados da assistência pública cerca de 8,5 milhões de pessoas. Em 1973, quatro em cada cinco crianças pobres, recebiam assistência. Hoje, apenas uma em cada cinco.
Entre 2006 e 2008, só no estado de Indiana foram negadas mais de um milhão de pedidos para senhas de refeição, assistência médica, o que representou um aumento de 54% quando comparado com os três anos que antecederam a entrada em vigor da elegibilidade automática.
Mais grave: até 1996, os processos da assistência social apenas eram disponibilizados à polícia, através dos canais legais. Hoje, quaisquer processos da assistência social podem ser cedidos à polícia por um seu simples pedido, mesmo sem qualquer suspeita, causa provável, ou processo judicial, o que faz dos serviços de assistência social uma extensão do sistema da justiça criminal.
Não é de admirar que a utilização de dados pessoais pelas empresas tecnológicas tenha vindo a contribuir para a marginalização das minorias, o que, mais tarde ou mais cedo, acabará por se refletir na qualidade da democracia para todos nós. “Os que vão ficar pobres, te saúdam”.
Apesar de atualmente as poorhouses terem sido fisicamente demolidas, o seu legado mantém-se vivo nestes sistemas de decisão automáticos, em que as pessoas se vêm na mesma encurraladas. Com toda a sofisticação de alta tecnologia, estes sistemas de gestão da pobreza – mineração de data (data mining), tomada de decisão automática (automated decision-making) e analítica preditiva – partem de princípios muito semelhantes aos que regiam as poorhouses: visão moralista sobre a pobreza e sistema de contenção e investigação idênticos.
Eles continuam a por restrições para que os pobres possam aceder aos recursos públicos, continuam a policiar os seus trabalhos, gastos, sexualidade e paternidade, continuam a tentar predizer os seus comportamentos futuros, continuam a punir e a criminalizar os que não cumprem com as suas recomendações. Estas coleções de data dos pobres sem abrigo são muitas vezes o ponto de partida num processo que conduzirá a criminalização dos pobres.
Estes sistemas tecnológicos atuam como muros, interpondo-se entre os pobres e os seus direitos legais. Atuam como verdadeiras novas poorhouses.
Apesar da grande percentagem de pobreza existente na maior economia do mundo (segundo Mark Rank, One Nation, Underprivileged: Why American Poverty Affacts Us All, pp 102-103, 51% dos americanos entre os 20 e os 65 anos, passam pelo menos um ano abaixo do limiar da linha de pobreza), os próprios americanos consideram que a pobreza é uma aberração que acontece a apenas uma pequena minoria da população.
E, contudo, a pobreza não é invisível. Vê-se, mas olha-se para o lado. É aquele problema descrito no velho aforismo de “não haver pior cego que aquele que não quer ver” hoje já sociologicamente e eruditamente conhecido como “negação cultural”. Como saber o que não devemos saber.
Mas, atenção: Não se trata de um simples problema individual. É um processo social organizado e suportado pela escola, pelo governo, pela religião, pelos media, e por outras instituições.
E é justamente aqui que a utilização dos métodos da IA aparecem como desculpa para as decisões do Poder, dando-lhe cobertura. Esta é a realidade escondida dos métodos da IA.
Outro aspeto particularmente importante e influente na sociedade presente e do futuro em que os métodos da IA estão presentes, é o do modo como os processos de seleção de empregados estão a serem feitos pelas empresas.
Nos EUA, é a empresa Hirevue que procede ao estabelecimento dos perfis de recrutamento usando a IA, para algumas grandes companhias, como por exemplo a Goldman Sachs, a Unilever.
Durante a entrevista gravam e monitorizam 250.000 pontos do rosto do entrevistado, para futura análise das expressões. É assim que irão determinar as capacidades de liderança, ou a honestidade dos entrevistados. Estudam também o tom da voz, para daí retirarem padrões de comportamento.
O problema é que não há nenhuma base científica que permita saber como alguém é, apenas pelas suas expressões. É retroceder até ao século XIX, em que a frenologia pretendia decifrar aspetos da personalidade através da análise do rosto.
Pior: para manterem a imagem de marca, as empresas procuram nas suas contratações, pessoas que se pareçam aos seus empregados atuais, mantendo assim uma mesma diversidade, o que as torna, a elas e à sociedade futura, mais anquilosadas e propícias às monoculturas. A normalização que impedirá a reação perante o diverso, causa provável do seu desaparecimento por falta de adaptação.
As pessoas mudam. Aparecem movimentos. As sociedades alteram-se. É importante e necessária a capacidade de evoluir, mas os métodos da IA empregues (não esquecer que a parcialidade deles é sempre introduzida pelas escolhas previamente feitas) tem tendência para bloquear com base no passado os padrões a alcançar.
Dadas as limitações dos métodos da IA, e da sua implicação no presente e futuro da sociedade, torna-se urgente que esses métodos de IA sejam tornados sistemas abertos e transparentes. Pelo menos para os sistemas públicos, já que para as grandes empresas privadas de IA tal não é possível de conseguir, uma vez que elas se refugiam na proteção do segredo industrial.
Nota: a maior parte dos dados e das estatísticas aqui utilizados, referem-se aos EUA, país de vanguarda que nos deixa entrever o caminho para o futuro. Note-se também que a diminuição do número de pessoas recebendo assistência social pode ser interpretado como o reflexo de uma melhoria pelo aumento da qualidade de vida. Entra o hino da Mocidade Portuguesa: “Lá vamos cantando e rindo, levados, levados sim”.
Recomendados:
Black, Edwin. IBM and the Holocaust:The Strategic Alliance between Nazy Germany and America’s Most Powerful Corporation, New York, Crown Publishers, 2001.
Broussard,Meredith.ArtificialUnintelligence:HowComputersMisunderstand the World, The MIT Press, 2018.
Cohen, Adam. Imbeciles: The Supreme Court, American Eugenics, and the Sterilization of Carrie Buck, New York, Penguin Press, 2016.
Eubanks, Virginia. Automating Inequality, How High-Tech Tools Profile, Police, and Punish the Poor, New York, St. Matin’s Press, 2018.
Massey, Douglas S., and Nancy A. Denton. American Apartheid: Segregation and the Making of the Underclass, Cambridge, Harvard University Press, 1993.
O’Neil, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, New York, Crown Publishers, 2016.
Reisman,Dillon, e Schultz, Jason, e Crawford, Kate, e Whittaker, Meredith. “Algorithmic Impact Assessments: A Pratical Framework For Public Agency Accountability”, N.Y., 2018 (https://ainowinstitute.org/aiareport2018.pdf).
Trattner, Walter. From Poor Law to Welare State. A History of Social Welfare in America, Free Press, 1998.
