Ante la creciente preocupación por la propagación de los discursos de odio en Internet y, en especial, en las plataformas sociales, el Ministerio de Inclusión, Seguridad Social y Migraciones ha dado a conocer un protocolo algorítmico cuyo objetivo es automatizar la detección de estos discursos ilegales. Se trata de un sistema de procesamiento del lenguaje natural, entrenado en base a una serie de palabras clave, que se consideran determinantes en la detección de posibles discursos de odio.

Esta decisión se enmarca en un contexto de auge del uso de sistemas de inteligencia artificial por parte de las instituciones públicas que, no obstante, queda a menudo fuera del conocimiento y el debate público. Esta ponencia analiza esta problemática desde la perspectiva de la democracia, la justicia social y la defensa de los derechos humanos.

Una primera cuestión a valorar es cómo este sistema puede afectar a la sociedad y, en este caso particular, al cumplimiento de derechos fundamentales como la privacidad, la protección de datos o la libertad de expresión. Para que esta reflexión pueda darse cabe reivindicar, por una parte, transparencia sobre sus objetivos, los actores implicados en su adopción, las personas o los grupos afectados, etc. y, por otra, cabe resaltar la importancia de establecer un consenso social al respecto.

En segundo lugar, es importante prestar atención a los aspectos más técnicos de esta herramienta tecnológica, para valorar si se adapta de forma coherente a la realidad social en la que opera. Esto implica conocer cómo se configuran: en base a qué criterios se programa, cuál es su forma de aprendizaje, los potenciales sesgos implícitos, etc. En la mayoría de los casos, estos sistemas operan como cajas negras, impidiendo la comprensión, el control democrático, e incluso la trazabilidad de los motivos que llevan a la decisión final.

El algoritmo que se incluye en este protocolo del Gobierno es un ensayo piloto. ¿Pero cuál será su impacto cuando se empiece a usar? En el campo de la libertad de expresión, las empresas gestoras de las plataformas sociales llevan años recibiendo críticas por la opacidad de sus criterios de moderación de contenidos, que ni son públicos ni respetan los estándares internacionales. El hecho de que ahora las instituciones públicas traten de establecer un protocolo que supere este monopolio de las empresas privadas, es una buena noticia. Pero, para evitar que las herramientas públicas caigan en los mismos problemas de opacidad y funcionamiento antidemocrático que ya existían hasta el momento, es necesario promover el debate ciudadano, libre e informado, sobre el tipo de tecnología que queremos y para qué la queremos, y también establecer mecanismos efectivos de control y decisión colectiva.