La gigante tecnológica de Facebook tiene planes de desarrollar IA para detectar discurso de odio en memes. La publicación, de este proyecto, vino de la mano de autores Douwe Kiela, Hamed Firooz, Aravind Mohan, Vedanuj Goswami, Amanpreet Singh, Pratik Ringshia y Davide Testuggine.

Esta lista de nombres de los investigadores se hizo una comparación de las capacidades humanas y las de diversos programas para detectar mensajes de odio.

¿Cómo planea Facebook desarrollar IA para detectar discursos de odio?

Para este proyecto, los investigadores, comenzaron obteniendo millones de imágenes y memes provistos por Facebook que fueron sacados de dicha plataforma por entrar en la categoría de inapropiados. De toda esta lista de imágenes, se comenzaron a eliminar aquellos contenidos pornográficos explícitos.

Como resultado, la lista se redujo, considerablemente, quedando solo 120 mil imágenes. Posteriormente, se siguió estrechamente un proceso de selección en el que la especificidad y la claridad fueron los puntos que más se tomaron en cuenta. De este modo, se terminó con una lista de 10 mil imágenes con memes con mensajes de odio.

Toda esta investigación comparativa permitió medir la capacidad del machine learning y del deep learning desde sus dos perspectivas. Por un lado, los modelos multimodales y por otro los unimodales.

En el caso de los unimodales toman en cuenta para su análisis un solo elemento de los contenidos que analiza. Mientras que, los multimodales, son capaces de hacer cruces entre dos elementos distintos de un mismo contenido.

Un claro ejemplo de esto último es el hecho de tomar de forma individual los textos e imágenes, los cuales por separados pueden llegar a considerase inofensivos, pero al juntarse pueden llegar a cambiar y volverse inofensivo.

¿Cómo se entrenó la IA para este proceso?

Para desarrollar IA para detectar discursos de odio en memes los investigadores siguieron un método de entrenamiento. Entonces, le entregaban a los programas, imágenes y textos inofensivos, los cuales al ser combinados generaban un mensaje de odio o viceversa, es decir, elementos que al considerarse odiosos en conjunto se volvían positivos.

De este modo, se espera ver que, tan eficientes, es un programa al determinar qué tan apropiado o no son los contenidos cuando se presenten mensajes conflictivos.

Gracias a los datos obtenidos, se pudo construir una base de datos con 10 mil imágenes que pueden llegar a ser usadas para entrenar nuevos programas. Así, mejorar considerablemente su capacidad de procesamiento.

Esta investigación es que los autores no mostraron los memes usados ya que estos eran de temas ofensivos. De este modo, podrá para evitar que el contenido sea difundido, decidieron no mostrar las imágenes.

Sin embargo, Facebook aun cuenta con la base de datos original y la tienen disponible en GitHub para que aquellos que deseen descargarla puedan hacerlo. Obviamente, si se va a usar como medio para entrenar otras IAs, por lo que no se debe promover la reproducción de su contenido.