O nesgo algorítmico ocorre cando un sistema informático reflicte os valores dos humanos que están implicados na codificación e recolección de datos usados para adestrar o algoritmo. O nesgo algorítmico pódese atopar en todos lados, como nos resultados dos motores de procura ou nas redes sociais e poden ter un grande impacto en temas como a privacidade ou agravar nesgos sociais como os existentes respecto a razas, xénero, sexualidade ou etnias.

O estudo do nesgo algorítmico esta enfocado sobre todo en algoritmos que reflicten "discriminación sistemática e inxusta". Este tipo de nesgos empezaron a ser tidos en conta en marcos legais recentemente, como o Regulamento xeral de protección de datos xerais da Unión Europea en 2018. Tan pronto como os algoritmos expanden a súa capacidade de organizar a sociedade, a política, as institucións, e o comportamento, a socioloxía empezou a preocuparse coas maneiras en que os resultados non previstos e a manipulación de datos poden impactar no mundo físico. Como os algoritmos son a miúdo considerados neutros e sen nesgos, pode parecer que son mellores que os propios humanos, e nalgúns casos, relevar traballo nun algoritmo pode reducir o control humano sobre os resultados. Os nesgos poden repercutir nos algoritmos tendo como orixe influencias culturais, sociais, ou institucionais; debido a limitacións técnicas do seu deseño; ou por ser utilizado en contextos non esperados nun principio ou por usuarios que non se consideraron no deseño inicial do software.

Os nesgos algorítmicos afectaron a temas como os resultados das eleccións. Os problemas de comprensión, investigación, e descubrimento de nesgos nos algoritmos proveñen da natureza destes, xa que os propietarios non adoitan deixar acceder á súa implementación, e aínda que fose así, moitas veces son demasiado complexos para entender como funcionan. Ademais, os algoritmos poden cambiar, ou responder a diferentes entradas de maneiras que non poden ser previstas ou facilmente reproducidas para a súa análise. En moitos casos, mesmo dentro dun só sitio web ou aplicación, non hai un só algoritmo para examinar, se non un conxunto de procesos e entradas de datos interrelacionados.

Definicións Os algoritmos son difíciles de definir, pero pódense entender como conxuntos de instrucións dentro dun computador que determinan como estes programas len, recollen, procesan, e analizan datos para xerar unha saída lexible.Os computadores máis novos poden procesar millóns destas instrucións algorítmicas por segundo, o cal impulsou o deseño e adopción de tecnoloxías como machine learning e intelixencia artificial. Analizando e procesando datos, os algoritmos son o corazón dos motores de procura, redes sociais, motores de recomendación, venda ao detalle en liña, publicidade en liña, e outros.

A ciencia social contemporánea está preocupada polos procesos algorítmicos incluídos no hardware e software debido ao seu impacto político e social, e cuestionan a suposición de que un algoritmo é neutral.​ O termo nesgo algorítmico describe erros sistemáticos e repetidos que crean resultados inxustos, como dar privilexios a un grupo de usuarios por encima outros de forma arbitraria. Por exemplo, un algoritmo de puntuación de crédito pode negar un préstamo sen ser inxusto, se se fixa unicamente en criterios financeiros pertinentes. Se o algoritmo recomenda préstamos a un grupo de usuarios, pero nega préstamos a outro conxunto de usuarios case idénticos baseándose en criterios non relacionados, e se este comportamento pódese repetir en distintas ocasións, pódese dicir que é un algoritmo con nesgos. Estes nesgos poden ser intencionados ou involuntarios.

Métodos O nesgo pode ser introducido a un algoritmo de varias maneiras. Durante a montaxe dunha base de datos, o dato ten que ser recolleito, dixitalizado, adaptado, e introducido segundo un deseño humano. Logo, os programadores asignan prioridades, ou xerarquías, sobre como un programa avalía e ordena os datos. Isto require decisións humanas sobre como o dato é categorizado, e que dato é incluído ou descartado. Algúns algoritmos recollen os seus propios datos baseados en criterios de selección humanos, os cales tamén poden reflectir rumbos dos deseñadores. Outros algoritmos poden reforzar estereotipos e preferencias cando procesan e mostran datos relevantes para os humanos, por exemplo, ao seleccionar información baseada en eleccións anteriores dun usuario ou grupo de usuarios similares.​

Máis aló de reunir e procesar datos, os nesgos poden xurdir como resultado do deseño.​ Por exemplo, algoritmos que usan ordenación nos datos, aqueles que determinan a asignación de recursos ou escrutinio, ou os que clasifican e identifican usuarios, os cales poden discriminar a un grupo cando calculan o risco baseado en datos de usuarios similares. Doutra banda, os motores de recomendación que asocian aos usuarios con outros usuarios similares, ou que inferen diferentes trazos, poderían confiar en datos inexactos que reflicten estereotipos étnicos, de xénero, socio-económicos ou raciais. Outro exemplo xurdiría de determinar os criterios que din que incluír e excluír dos resultados. Estes criterios poderían provocar resultados inesperados nas procuras, como un software de recomendacións de compañías de voos que omite os voos de compañías que non se patrocinan igual que o resto.​ Os algoritmos tamén poden mostrar un rumbo de incerteza, ofrecendo valoracións máis seguras cando os conxuntos de datos son máis grandes. Isto pode afectar a procesos algorítmicos que analizan mostras moi grandes, que fan ignórense os datos de poboacións pouco representadas.

Historia

Críticas iniciais Os primeiros programas de computador foron deseñados para imitar o razoamento e as deducións humanas, e considerouse que funcionaban cando chegaron a reproducir esa lóxica humana de maneira exitosa e consistente. No seu libro de 1976 (Computer Power and Human Reason), o pioneiro da Intelixencia Artificial Joseph Weizenbaum suxeriu que o rumbo podería xurdir tanto dos datos utilizados nun programa como da forma en que se implementa un programa.

Weizenbaum describiu os programas como secuencias de regras creadas por humanos para que as siga unha computadora. Ao seguir esas regras consistentemente, tales programas "encarnan a lei", é dicir, fan cumprir unha forma específica de resolver problemas. As regras que segue unha computadora baséanse nas suposicións dun programador sobre como se poden resolver estes problemas. Isto significa que o código podería incorporar a imaxinación do programador e as súas ideas de como funciona o mundo, incluíndo os seus prexuízos e expectativas. Mentres que un programa pode incorporar prexuízos desta maneira, Weizenbaum tamén sinalou que calquera dato alimentado a unha máquina reflicte adicionalmente os "procesos humanos de toma de decisións" a medida que se van seleccionando os datos.

Finalmente, sinalou que as máquinas tamén poderían transmitir boa información con consecuencias imprevistas se os usuarios non teñen claro como interpretar os resultados.19​:65 Weizenbaum advertiu en contra de confiar nas decisións tomadas polos programas que o usuario non entende, comparando esa fe coa dun turista que pode atopar o seu camiño a unha habitación dun hotel virando á esquerda ou á dereita xogando a cara ou cruz. O turista non ten base para entender como ou por que chegou ao seu destino, e o feito de chegar non significa que o proceso sexa preciso ou confiable.

Un dos primeiros exemplos de nesgo algorítmico resultou en que ata 60 mulleres e persoas pertencentes a minorías étnicas negáseselles a entrada á Escola de Medicina do Hospital St. George' s cada ano entre 1982 e 1986, baseado na implementación dun novo sistema de avaliación por computador que negaba a entrada a mulleres e homes con "nomes que soan estranxeiros" baseándose nas tendencias históricas das admisións.

Críticas actuais e respostas A pesar de que os algoritmos ben deseñados frecuentemente determinan resultados que son igualmente (ou máis) equitativos que as decisións de seres humanos, aínda ocorren casos de nesgos, e son difíciles de predicir e analizar.​ A complexidade de analizar o nesgo algorítmico creceu á vez que a complexidade dos programas e o seu deseño. As decisións que fai un deseñador ou un equipo de deseñadores poden ser escurecidas entre as moitas partes de código creadas para un só programa; ao longo do tempo estas decisións e o seu impacto colectivo na saída do programa pódese esquecer. En teoría, estes nesgos poden crear novos patróns de conduta, ou “ scripts”, en relación a tecnoloxías específicas segundo o código interactúa con outros elementos da sociedade.​ Os nesgos tamén poden afectar como a sociedade se forma ao redor de puntos de datos que os algoritmos requiren. Por exemplo, se os datos mostran un gran número de arrestos nunha zona particular, un algoritmo podería asignar máis patrullas de policía a esa zona, o que pode levar a máis arrestos.

As decisións de programas algorítmicos poden verse como máis autoritativas que as decisións dos seres humanos que se supón que asisten​, un proceso descrito polo escritor Clay Shirky como “autoridade algorítmica”. Shirky usa o termo para describir “a decisión de considerar como autoritativo un proceso non xestionado de extraer valor de fontes diversas e pouco fiables”, como os resultados de procura. Esta neutralidade tamén pode malinterpretarse pola linguaxe usada polos expertos e os medios de comunicación cando os resultados son presentados ao público. Por exemplo, unha lista de noticias seleccionada e presentada como “de moda” ou “popular” pode ser creada baseándose en criterios bastante máis amplos que a súa popularidade.Pola súa conveniencia e autoridade, os algoritmos son teorizados como un medio de delegar a responsabilidade lonxe dos humanos.​ Isto pode ter o efecto de reducir opcións alternativas, compromisos ou flexibilidade. O sociólogo Scott Lash criticou os algoritmos como unha nova forma de “poder xenerativo”, dado que son un medio virtual de xerar fins reais. Onde previamente o comportamento humano xeraba datos para ser recolleitos e estudados, os algoritmos potentes poderían dar forma e definir os comportamentos humanos.​ As preocupacións sobre o impacto dos algoritmos na sociedade levaron á creación de grupos de traballo en organizacións como Google e Microsoft, as cales crearon un grupo de traballo chamado Fairness, Accountability and Transparency in Machine Learning.​ Entre algunhas ideas de Google inclúense comunidades que patrullan os resultados de algoritmos e votan por controlar ou restrinxir os resultados que consideran que teñen consecuencias negativas.​ Nos últimos anos, o estudo de Fairness, Accountability and Transparency ( FAT) dos algoritmos xurdiu como unha área interdisciplinaria de investigación cunha conferencia anual chamada FAT.

Impacto

Influencias comerciais Os algoritmos corporativos poden estar nesgados para favorecer de maneira invisible os acordos financeiros ou os acordos entre empresas, sen o coñecemento dun usuario que poida confundir o algoritmo como imparcial. Por exemplo, American Airlines creou un algoritmo de procura de voos na década de 1980. O software presentaba unha gama de voos de varias aeroliñas aos clientes, pero sopesaba os factores que destacaban os seus propios voos, independentemente do prezo ou a conveniencia. En testemuño ante o Congreso dos Estados Unidos, o presidente da aeroliña declarou abertamente que o sistema foi creado coa intención de obter unha vantaxe competitiva a través dun trato preferente.