En nuestra sociedad, tanto las decisiones individuales como las colectivas están determinadas por sesgos de género . Cuando hablamos de sesgos de género , nos referimos a la inclinación subjetiva hacia un género determinado. Sin que nos demos cuenta, este tipo de condicionantes se hacen presentes en todos los aspectos de nuestra vida. Así pues, ¿podría ser que también hubiera sesgos de género en la inteligencia artificial (IA)?
Ante todo, debemos partir de la base de que la inteligencia artificial imita la manera en que las personas piensan, procesan la información y reaccionan, y, por tanto, también en la que discriminan. Tal y como señala Lorena Jaume en el Informe preliminar con perspectiva interseccional sobre sesgos de género en la inteligencia artificial , el carácter categorizador y encasillador de la discriminación convierte a los sistemas algorítmicos en una tecnología con riesgo inherente .
Los sistemas algorítmicos centrados en perfiles humanos crean estándares , desgranan sus particularidades y las utilizan para tipificar a cada individuo. Estos filtros a menudo están basados en una perspectiva androcéntrica , construida a partir del cuerpo capacitado, blanco y masculino. Con esta clasificación acaban excluyendo a quienes categorizan como una desviación, una irregularidad que consideran sospechosa.
Un exponente es el sistema VioGén , la herramienta basada en 35 preguntas que utiliza la Policía española para evaluar el riesgo que corren las mujeres víctimas de violencia de género cuando acuden a realizar una denuncia. Se trata del sistema de evaluación de riesgos con más casos registrados en el mundo. Según la Fundación Eticas y la Asociación Ana Bella, la herramienta no es accesible, y quien la diseña no tiene en cuenta el testimonio o experiencia de las usuarias finales, que reportan diferentes problemas por la falta de información, de empatía o de soporte.
Nos encontramos con un problema similar con los semáforos inteligentes , que no procesan en sus sistemas diferencias de género (ni tampoco de edad o capacidad). Reflejando un problema intrínseco en la organización de la movilidad, estos semáforos están pensados para priorizar los automóviles, utilizados mayoritariamente por hombres, en detrimento de los peatones, grupo formado mayoritariamente por mujeres.
Por otro lado, otro de los grandes problemas de la inteligencia artificial tiene que ver con la pornografía: el 96% de las imágenes generadas por inteligencia artificial son de pornografía no consentida . El 100% de las afectadas son mujeres. Un caso conocido es el de Rosalía, “desnuda” por inteligencia artificial en una imagen que se esparció como una mancha de aceite por las redes sociales.
Por último, cabe remarcar que en la inteligencia artificial los sesgos de género se mezclan con los raciales. La tendencia a no realizar pruebas genéticas a mujeres negras con cáncer de mama , 2 por ejemplo, ha influido en los programas computacionales de cálculo de riesgo. En esta línea, debe señalarse el racismo intrínseco de los llamados sistemas de detección de rostro , que no detectan mujeres negras o racializadas, o bien criminalizan sistemáticamente a las poblaciones racializadas. 3
Ante todos estos casos, llegamos a la misma conclusión que expresó el colectivo de Donestech en Pikara Magazine : «El desarrollo tecnológico está marcado por unos contextos y condicionantes ideológicos que tienen que ver con el género y nuestra orientación sexual, clase, raza, edad y cultura». Ningún sistema tecnológico, por tanto, tiene un impacto neutral con respecto al género.
¹ https://eticasfoundation.org/es/la-fundacion-eticas-realiza-una-auditoria-externa-e-independiente-del-sistema-viogen/ .
² https://race.undark.org/articles/a-crude-tool-how-race-has-influenced-beast-cancer-research#:~:text=According%20to%20the%20most%20recent,cancer% 20cuando%20ajustado%20por%20edad.
³Algorace ofrece un espacio de análisis y propuestas sobre el impacto de la IA en las poblaciones racializadas.
En nuestra sociedad, tanto las decisiones individuales como las colectivas están determinadas por sesgos de género . Cuando hablamos de sesgos de género , nos referimos a la inclinación subjetiva hacia un género determinado. Sin que nos demos cuenta, este tipo de condicionantes se hacen presentes en todos los aspectos de nuestra vida. Así pues, ¿podría ser que también hubiera sesgos de género en la inteligencia artificial (IA)?
Ante todo, debemos partir de la base de que la inteligencia artificial imita la manera en que las personas piensan, procesan la información y reaccionan, y, por tanto, también en la que discriminan. Tal y como señala Lorena Jaume en el Informe preliminar con perspectiva interseccional sobre sesgos de género en la inteligencia artificial , el carácter categorizador y encasillador de la discriminación convierte a los sistemas algorítmicos en una tecnología con riesgo inherente .
Los sistemas algorítmicos centrados en perfiles humanos crean estándares , desgranan sus particularidades y las utilizan para tipificar a cada individuo. Estos filtros a menudo están basados en una perspectiva androcéntrica , construida a partir del cuerpo capacitado, blanco y masculino. Con esta clasificación acaban excluyendo a quienes categorizan como una desviación, una irregularidad que consideran sospechosa.
Un exponente es el sistema VioGén , la herramienta basada en 35 preguntas que utiliza la Policía española para evaluar el riesgo que corren las mujeres víctimas de violencia de género cuando acuden a realizar una denuncia. Se trata del sistema de evaluación de riesgos con más casos registrados en el mundo. Según la Fundación Eticas y la Asociación Ana Bella, la herramienta no es accesible, y quien la diseña no tiene en cuenta el testimonio o experiencia de las usuarias finales, que reportan diferentes problemas por la falta de información, de empatía o de soporte.
Nos encontramos con un problema similar con los semáforos inteligentes , que no procesan en sus sistemas diferencias de género (ni tampoco de edad o capacidad). Reflejando un problema intrínseco en la organización de la movilidad, estos semáforos están pensados para priorizar los automóviles, utilizados mayoritariamente por hombres, en detrimento de los peatones, grupo formado mayoritariamente por mujeres.
Por otro lado, otro de los grandes problemas de la inteligencia artificial tiene que ver con la pornografía: el 96% de las imágenes generadas por inteligencia artificial son de pornografía no consentida . El 100% de las afectadas son mujeres. Un caso conocido es el de Rosalía, “desnuda” por inteligencia artificial en una imagen que se esparció como una mancha de aceite por las redes sociales.
Por último, cabe remarcar que en la inteligencia artificial los sesgos de género se mezclan con los raciales. La tendencia a no realizar pruebas genéticas a mujeres negras con cáncer de mama , 2 por ejemplo, ha influido en los programas computacionales de cálculo de riesgo. En esta línea, debe señalarse el racismo intrínseco de los llamados sistemas de detección de rostro , que no detectan mujeres negras o racializadas, o bien criminalizan sistemáticamente a las poblaciones racializadas. 3
Ante todos estos casos, llegamos a la misma conclusión que expresó el colectivo de Donestech en Pikara Magazine : «El desarrollo tecnológico está marcado por unos contextos y condicionantes ideológicos que tienen que ver con el género y nuestra orientación sexual, clase, raza, edad y cultura». Ningún sistema tecnológico, por tanto, tiene un impacto neutral con respecto al género.
¹ https://eticasfoundation.org/es/la-fundacion-eticas-realiza-una-auditoria-externa-e-independiente-del-sistema-viogen/ .
² https://race.undark.org/articles/a-crude-tool-how-race-has-influenced-beast-cancer-research#:~:text=According%20to%20the%20most%20recent,cancer% 20cuando%20ajustado%20por%20edad.
³Algorace ofrece un espacio de análisis y propuestas sobre el impacto de la IA en las poblaciones racializadas.
En nuestra sociedad, tanto las decisiones individuales como las colectivas están determinadas por sesgos de género . Cuando hablamos de sesgos de género , nos referimos a la inclinación subjetiva hacia un género determinado. Sin que nos demos cuenta, este tipo de condicionantes se hacen presentes en todos los aspectos de nuestra vida. Así pues, ¿podría ser que también hubiera sesgos de género en la inteligencia artificial (IA)?
Ante todo, debemos partir de la base de que la inteligencia artificial imita la manera en que las personas piensan, procesan la información y reaccionan, y, por tanto, también en la que discriminan. Tal y como señala Lorena Jaume en el Informe preliminar con perspectiva interseccional sobre sesgos de género en la inteligencia artificial , el carácter categorizador y encasillador de la discriminación convierte a los sistemas algorítmicos en una tecnología con riesgo inherente .
Los sistemas algorítmicos centrados en perfiles humanos crean estándares , desgranan sus particularidades y las utilizan para tipificar a cada individuo. Estos filtros a menudo están basados en una perspectiva androcéntrica , construida a partir del cuerpo capacitado, blanco y masculino. Con esta clasificación acaban excluyendo a quienes categorizan como una desviación, una irregularidad que consideran sospechosa.
Un exponente es el sistema VioGén , la herramienta basada en 35 preguntas que utiliza la Policía española para evaluar el riesgo que corren las mujeres víctimas de violencia de género cuando acuden a realizar una denuncia. Se trata del sistema de evaluación de riesgos con más casos registrados en el mundo. Según la Fundación Eticas y la Asociación Ana Bella, la herramienta no es accesible, y quien la diseña no tiene en cuenta el testimonio o experiencia de las usuarias finales, que reportan diferentes problemas por la falta de información, de empatía o de soporte.
Nos encontramos con un problema similar con los semáforos inteligentes , que no procesan en sus sistemas diferencias de género (ni tampoco de edad o capacidad). Reflejando un problema intrínseco en la organización de la movilidad, estos semáforos están pensados para priorizar los automóviles, utilizados mayoritariamente por hombres, en detrimento de los peatones, grupo formado mayoritariamente por mujeres.
Por otro lado, otro de los grandes problemas de la inteligencia artificial tiene que ver con la pornografía: el 96% de las imágenes generadas por inteligencia artificial son de pornografía no consentida . El 100% de las afectadas son mujeres. Un caso conocido es el de Rosalía, “desnuda” por inteligencia artificial en una imagen que se esparció como una mancha de aceite por las redes sociales.
Por último, cabe remarcar que en la inteligencia artificial los sesgos de género se mezclan con los raciales. La tendencia a no realizar pruebas genéticas a mujeres negras con cáncer de mama , 2 por ejemplo, ha influido en los programas computacionales de cálculo de riesgo. En esta línea, debe señalarse el racismo intrínseco de los llamados sistemas de detección de rostro , que no detectan mujeres negras o racializadas, o bien criminalizan sistemáticamente a las poblaciones racializadas. 3
Ante todos estos casos, llegamos a la misma conclusión que expresó el colectivo de Donestech en Pikara Magazine : «El desarrollo tecnológico está marcado por unos contextos y condicionantes ideológicos que tienen que ver con el género y nuestra orientación sexual, clase, raza, edad y cultura». Ningún sistema tecnológico, por tanto, tiene un impacto neutral con respecto al género.
