El algoritmo de recorte de imágenes de IA de Twitter está sesgado hacia las personas que se ven más jóvenes, más delgadas y más blancas, revela el desafío de recompensas en DEF CON • The Register

El algoritmo de inteligencia artificial de recorte de imágenes de Twitter favorece a las personas que parecen más jóvenes, más delgadas y tienen una piel más clara, así como a las personas sanas. El algoritmo de prominencia se utiliza para recortar automáticamente las imágenes publicadas en la plataforma de redes sociales. Se centra en las partes más interesantes de la imagen para captar la atención de las personas mientras se desplazan por sus feeds de Twitter. El año pasado, los internautas descubrieron que la herramienta prefería fotografías de mujeres sobre hombres, y de personas con piel más clara sobre piel más oscura. Los ingenieros del equipo de ML Ética, Transparencia y Responsabilidad (META) de Twitter confirmaron posteriormente estos sesgos. En un intento por descubrir otras fallas potenciales en su algoritmo de recorte de imágenes, el grupo patrocinó una competencia de recompensas por sesgo algorítmico organizada en la conferencia de piratería DEF CON de este año en Las Vegas y organizada por AI Village, una comunidad de piratas informáticos y científicos de datos que trabajan en la intersección. del aprendizaje automático y la seguridad. Los tres resultados principales anunciados esta semana revelaron que el algoritmo de prominencia de Twitter prefería a las personas que parecían más atractivas convencionalmente, el inglés sobre el árabe, y era más probable que aparecieran personas en sillas de ruedas. El ganador, Bogdan Kulynych, estudiante de posgrado de la École polytechnique fédérale de Lausanne en Suiza, recibió $ 3,500. Él generó una serie de caras falsas y modificó sus apariencias para probar cuáles obtuvieron las calificaciones más altas en puntajes de prominencia según el algoritmo de Twitter. “El modelo objetivo está sesgado hacia … representaciones de personas que parecen delgadas, jóvenes, de color de piel claro o cálido y textura de piel suave, y con rasgos faciales estereotípicamente femeninos”, dijo. El segundo lugar fue para Halt AI, una startup canadiense, que descubrió que la herramienta problemática tenía sesgos espaciales y era más probable que las personas se encontraran más abajo en las fotografías sentadas en sillas de ruedas en comparación con las que estaban de pie. Los ancianos con cabello blanco o gris también tenían más probabilidades de quedar fuera de las vistas previas de imágenes creadas por el algoritmo. Halt AI ganó $ 1,000 en fondos. Roya Pakzad, quien fundó TaraazResearch, una organización sin fines de lucro centrada en la tecnología y los derechos humanos, ocupó el tercer lugar. Ella tradujo textos en memes del inglés al árabe y los alimentó al algoritmo de prominencia, el software favoreció a los ingleses. Twitter favorece a los usuarios de habla inglesa con más probabilidades de estar en países occidentales que en otros idiomas. Ella recibió $ 500. Twitter dijo que había dejado de usar la herramienta de recorte automático de imágenes desde marzo en su aplicación móvil. Rich Harang, un investigador de aprendizaje automático que se ofrece como voluntario para AI Village, aplaudió a Twitter por patrocinar el desafío. “Twitter tiene el mismo problema ahora que cualquiera que ejecute un concurso de recompensas por errores: cómo arreglar lo que encontraron los participantes”, dijo a The Register. “Los resultados le han dado a Twitter varios ejemplos nuevos de daño representativo que causó su modelo de relevancia, pero quizás lo más importante es que las nuevas herramientas y enfoques que desarrollaron los participantes del concurso pueden ayudar a Twitter a continuar buscando problemas de sesgo adicionales más allá de los daños representativos. El siguiente paso de Twitter es descubrir cómo aprovechar estas nuevas herramientas y mitigar los nuevos daños que se han descubierto “. El Registro se ha puesto en contacto con Twitter para hacer comentarios. ®

Ir arriba