Opinión

Los riesgos de la “algocracia”, el gobierno de los algoritmos

Delia Ferreira Rubio del Observatorio de Reformas Políticas de América Latina advierte de los riesgos políticos y de construcción de democracia en la nueva era digital en la que el algoritmo define qué vemos, debatimos… ¿pensamos?

Ilustración: ChatGPT

Ilustración: ChatGPT

octubre 3, 2025

La democracia y los derechos de los ciudadanos son demasiado importantes como para dejarlos en manos de la inteligencia artificial y los algoritmos. Existe la fantasía de creer que estas herramientas son neutras, perfectas e imparciales y que pueden superar los sesgos y errores de los decisores humanos que provocan, muchas veces, decisiones injustas, inapropiadas, desiguales o discriminatorias. 

Nada más lejos de la realidad. Estas herramientas pueden reproducir y perpetuar los sesgos humanos, a través de sus diseñadores y de los datos de entrenamiento utilizados. Además está demostrado que estas herramientas fantasean, incurren en alucinaciones y cometen errores. Los algoritmos son incapaces de juicios valorativos, de discernimiento, de comprensión. Y, por si fuera poco, son una especie de caja negra. Transparencia cero. Lo cual torna más problemático aún asignarles capacidad de decisión.

Suscribite a la Carta Regional

Como toda herramienta, los programas de inteligencia artificial pueden utilizarse con fines legítimos o ilegítimos; pueden ser útiles para determinadas tareas y muy peligrosos en otros campos. En materia política, la introducción de la inteligencia artificial presenta desafíos importantes. Y uno no menor es el de crear la ilusión de que la sola incorporación de un robot soluciona los complejos problemas de la sociedad. En este sentido, por ejemplo, la designación -en Albania- de un robot como ministro a cargo de todas las contrataciones públicas es un verdadero disparate que en lugar de más transparencia y control suma más opacidad y ventanas de oportunidad para la corrupción.

El uso generalizado de los populares chatbots, la facilidad para la generación de contenido sintético y la creación de deep fakes (fotos, videos y audios falsos con fines de engaño) combinados con la capacidad de diseminación y viralización de mensajes de las redes sociales han generado un cambio significativo en la comunicación social y política. La desinformación y la capacidad de manipular contenidos individualizados a través de la aplicación de algoritmos enrarecen las campañas electorales, pueden confundir a los electores y afectan la integridad de los procesos electorales, como quedó demostrado en el ciclo electoral 2024 en América Latina y en el mundo. Un renovado desafío para la democracia.

El uso de la inteligencia artificial en otras áreas de la política también ha resultado problemático. Las herramientas de reconocimiento facial -presentadas como una solución efectiva frente a la criminalidad- están siendo cuestionadas y desactivadas en varios países por afectar el derecho a la intimidad, producir resultados discriminatorios, o cometer errores que pueden terminar con una persona privada de su libertad sin causa alguna. 

La discriminación como consecuencia de la aplicación de herramientas algorítmicas es otro de los riesgos que se han documentado. En algunos países se han utilizado estos programas para determinar quiénes tienen derecho a subsidios sociales o a planes de vivienda. Si en el diseño del algoritmo se incluyen calificaciones negativas para algún grupo de aspirantes, la evaluación de los candidatos incluirá ese elemento y el resultado será discriminatorio e injusto, como sucedió en los Países Bajos. 

La segunda fuente de discriminación puede provenir de los datos de entrenamiento de los programas. Si estos datos están desactualizados o contienen series históricas que reflejan tendencias culturales hoy superadas, los resultados producidos por las herramientas de inteligencia artificial reproducirá aquellos estereotipos. Es el caso, por ejemplo, de lo sucedido en Estados Unidos con los algoritmos utilizados para predecir la posibilidad de reincidencia de un recluso, en caso de que se le otorgue la libertad condicional, en los que se demostró un sesgo discriminatorio contra la población de color. Los algoritmos de perfilación y de predicción también son utilizados en el sector bancario y en la industria del seguro y con cada vez mayor frecuencia en las búsquedas laborales. Si hay sesgos en el diseño del programa o en los datos de entrenamiento -algo que difícilmente conozcan los afectados- los resultados reflejaran la discriminación. 

Más allá de la funcionalidad y utilidad de las herramientas hay un aspecto político a tener en cuenta cuando se analiza el impacto de la inteligencia artificial en la democracia. Las empresas tecnológicas que manejan las redes sociales y las herramientas de inteligencia artificial generativa introducen un cambio muy significativo en la distribución del poder, no sólo a nivel nacional sino también a nivel geopolítico e internacional. Se trata de una decena de empresas tecnológicas que diseñan, producen, venden, distribuyen y controlan estas herramientas y además atesoran una inmensa cantidad de información; operan más allá de los límites de los territorios nacionales; manejan presupuestos superiores a los de los países; son difíciles de controlar y tienen un gran poder de lobby para influir en los gobiernos, como estamos viendo. La mayoría de ellas operan desde Estados Unidos donde la regulación es mínima o inexistente. 

Ni magia, ni prohibición, lo que hace falta es un uso responsable. El uso responsable de estas herramientas requiere de algunos resguardos mínimos. Los principios que deben orientar el diseño, desarrollo, distribución y aplicación de la inteligencia artificial deberían incluir: a) No delegar la toma de decisión en herramientas algorítmicas; b) Incorporar principios éticos en el diseño, distribución y aplicación de estas tecnologías, estableciendo garantías de su uso no malicioso o dañino; c) Transparentar el uso de estas herramientas cuando se utilicen para determinar derechos o puedan afectar a una persona; d) Advertir la naturaleza sintética de los contenidos generados y circulados; e) Facilitar la comprensión sobre los mecanismos y criterios utilizados para producir un resultado, intentando limitar los efectos derivados del problema de la “caja negra” que hace que la forma de actuación y de respuesta de estas herramientas sean inescrutable aún para sus creadores; f) Aplicar mecanismos que auditen el diseño de los sistemas y la calidad de los datos de entrenamiento de las herramientas; y g) Prever siempre la posibilidad de apelación y revisión de los resultados.

El uso responsable de la inteligencia artificial también nos obliga a todos y cada uno de nosotros. La alfabetización digital es esencial para poder defender nuestros derechos, proteger nuestra libertad y no asumir comportamientos o actitudes que puedan lastimar a los demás.

Como frente a muchos de los cambios tecnológicos en la historia de la humanidad, la respuesta adecuada e inteligente frente a este nuevo desafío es el uso responsable como condición para evitar que las herramientas de inteligencia artificial contribuyen al debilitamiento de la democracia o -peor aún- que nos conduzcan a una especie de “algocracia” donde los algoritmos gobiernen nuestras vidas y derechos. 

Autor

  • Delia Ferreira Rubio

    Doctora en Derecho por la Universidad Complutense de Madrid. Entre 2017 y 2023 fue presidenta de Transparencia Internacional. Es parte del Consejo Asesor del Observatorio de Reformas Políticas. Puedes encontrarla en X como @DeliaFerreira y en @ReformasLATAM