Los avances de la IA están moldeando varios aspectos del mundo, incluido el modo de hacer investigación

La evaluación fue realizada por investigadores que participaron en la 11.ª edición del German-Brazilian Dialogue on Science, Research and Innovation, celebrado el mes pasado en el auditorio de la FAPESP

Por Maria Fernanda Ziegler  |  Agência FAPESP – “La cuestión con la inteligencia artificial (IA) va más allá de si es buena o mala. Es una tecnología que está moldeando el mundo en el que vivimos y necesitamos encontrar un camino intermedio que nos permita avanzar y vivir bien.” Con este mensaje, Christiane Woopen, directora del Center for Life Ethics de la Universidad de Bonn (Alemania), invitó a investigadores de diferentes áreas del conocimiento y que trabajan con IA, a reflexionar sobre el rumbo que están tomando sus investigaciones.

Durante la 11.ª edición del German-Brazilian Dialogue on Science, Research and Innovation, realizada en el auditorio de la FAPESP los días 7 y 8 de mayo, en colaboración con el Centro Alemán de Ciencia e Innovación (DWIH) São Paulo, la investigadora alertó sobre cómo la inteligencia artificial está transformando la investigación médica y la relación de las personas con la salud y la longevidad.

Según Woopen, quien trabaja en el área de ética médica, la IA ha provocado un cambio de paradigma en el ámbito de la salud, donde el foco ha pasado de obtener diagnósticos tempranos y tratamientos precisos a un mayor esfuerzo en el monitoreo y la predicción de enfermedades. “Esto es positivo. Después de todo, a todo el mundo le parece bien evitar enfermarse. Sin embargo, este cambio también afecta nuestra percepción del presente y nuestras expectativas, deseos y planes para el futuro”, afirmó.

Woopen profundizó en la cuestión a partir de un ejemplo cotidiano: “Una persona que sale de casa y olvida las llaves puede pensar que fue porque es olvidadiza, no durmió bien o fue una casualidad. Pero alguien que sabe que tiene un alto riesgo de desarrollar Alzheimer, por ejemplo, pensará: ¿Será que este olvido ya es parte de la enfermedad?”, afirmo.

No todo el mundo desea tener ese tipo de conocimiento. Un estudio realizado por el grupo de Woopen preguntó a 126 personas que buscaban ayuda por primera vez en centros de detección precoz en Alemania si deseaban conocer el riesgo de padecer trastornos mentales: el 49 % respondió que sí y el 35 %, que no.

“Pero lo curioso es que la motivación detrás de ambas respuestas era la misma: los encuestados consideraron el impacto en la autodeterminación. Quienes respondieron que sí, afirmaron que la información podría ayudar a planificar la vida. Mientras que quienes respondieron que no, dijeron que ese conocimiento alteraría su planificación de vida, además del fuerte impacto emocional de la noticia. Por lo tanto, los profesionales de la salud deben considerar cuidadosamente las expectativas individuales de los pacientes al ofrecer esta tecnología”, advierte Woopen.

El valor de los datos

La investigadora también afirmó que el aumento en la capacidad de análisis de datos, impulsado por tecnologías de inteligencia artificial, está teniendo un impacto en los sistemas de salud, y que, ante estos cambios de paradigma, es necesario tener una mirada crítica.

“Comparto el sueño de lograr conectar los datos generados en los diferentes sectores de la salud, como el cuidado diario, la atención primaria, secundaria y la investigación. Esa información, sin duda, ayudaría a la interoperabilidad del sistema, a mejorar el cuidado diario y a ampliar las posibilidades de investigación. Pero lo que tenemos hoy en la práctica es que toda la experiencia y la tecnología necesarias están concentradas en pocas empresas. Son ellas las que definen qué se hace, qué es importante y qué tipo de paciente es interesante. Por lo tanto, no se trata solo de poder financiero, sino de la capacidad de definir lo que ocurre en el sistema de salud”, puntualizó.

Para Diogo Cortiz, profesor de la Pontificia Universidad Católica de São Paulo (PUC-SP), en este ámbito es necesario considerar que el dato no es “el nuevo petróleo”. “Se trata de una metáfora equivocada, ya que el petróleo es lo que los economistas llaman un bien rival, es decir, cuando se consume, la cantidad disponible para otros se ve comprometida. Con los datos no ocurre lo mismo: su existencia no se agota con el uso, y si una persona utiliza un dato, otra también puede hacerlo. Por lo tanto, es esencial considerar este concepto en los debates sobre políticas de acceso a los datos”, explicó.

El investigador advierte que los brasileños, usuarios entusiastas de las redes sociales, por ejemplo, están generando cada vez más datos en las grandes plataformas. “Las big techs utilizan esa información para sí mismas. ¿Y qué les queda a los brasileños [que generaron esos datos]? Nada”, subrayó.

Pero el problema es aún más amplio. Según Cortiz, Meta (antes Facebook) reconoció que en LLaMA –su modelo de IA de código abierto creado para competir con rivales como Gemini y GPT-4– solo el 5 % de los conjuntos de datos preentrenados están en un idioma distinto del inglés. “La empresa también afirmó, por tanto, que no espera el mismo nivel de desempeño en otros idiomas distintos al inglés. Por eso, debemos preguntarnos: ¿de quién son los datos y a quién representan?”, señaló.

Para el investigador, Brasil necesita discutir políticas y regulaciones que garanticen a los brasileños el acceso a los datos generados en las plataformas. “De lo contrario, Brasil será solamente una granja de datos de las big techs, sin ninguna contrapartida”, afirmó.

“Pues, cada vez que alguien me pregunta si la IA va a dominar el mundo o a matarnos, yo respondo que probablemente no sea la IA, pero las big techs, sí”, coincidió Renata Wassermann, profesora del Instituto de Matemática y Estadística de la Universidad de São Paulo (IME-USP).

Inteligencia aumentada

Antes de presentar los resultados de sus investigaciones en la conferencia, Elisabeth André, titular de la Cátedra de Inteligencia Artificial Centrada en el Ser Humano de la Universidad de Augsburg, hizo una advertencia: “Doug Engelbart, el inventor del ratón de computadora, ya reconocía en 1958 que el objetivo de la tecnología no debía ser sustituir a los humanos, sino ampliar las capacidades humanas. Creo que fue una declaración muy sabia y que aún hoy debemos tener en cuenta”.

André ha desarrollado una serie de proyectos, como aplicaciones que ayudan a las personas a entrenar cómo comportarse en entrevistas de trabajo, herramientas que permiten a niños combatir juntos el bullying en las escuelas, e incluso una especie de Google Translate para la lengua de señas, que además de los gestos manuales utiliza expresiones faciales.

“No podemos ver la tecnología como dioses o cosas mágicas. Necesitamos verla como matemática. Solo así podremos exigir explicaciones y cambios. Pero el problema es que, con la IA autónoma [como los carros autónomos, por ejemplo], el 90 % de las decisiones se toman sin supervisión. En el 80 % de los casos, desconfiamos de las soluciones explicables. Y el 70 % están sesgadas. Solo por dar un ejemplo de lo que está ocurriendo”, afirmó Anderson de Rezende Rocha, coordinador del proyecto Viva bien: inteligencia artificial para la salud y el bienestar – un Centro de Investigación en Ingeniería (CPE, por sus siglas en portugués) creado por la FAPESP y Samsung en la Universidad Estatal de Campinas (Unicamp).

Rocha enumeró una serie de investigaciones que involucraban inteligencia artificial en el área de la salud y que no avanzaron o mostraron resultados muy cuestionables. Uno de los casos ocurrió durante la pandemia, cuando diversos grupos de investigación en todo el mundo intentaron detectar la COVID-19 mediante radiografías de tórax. “Después de la pandemia, un grupo de Estados Unidos hizo un análisis de esos 200 estudios. ¿Sabes cuántos de ellos [los autores] trabajaban en hospitales? Ninguno. Por lo tanto, ninguno de los estudios funcionaba en la práctica. Fueron desarrollados sin tener en cuenta las especificidades de la implementación. Por eso yo pregunto: ¿queremos una inteligencia artificial con potencial para sustituir actividades humanas, o una inteligencia aumentada, que complemente nuestras capacidades y haga evolucionar a la humanidad?”, cuestionó.

Juicios alucinados

Las inquietudes sobre el uso de la inteligencia artificial no se limitan al área de la salud. “El ChatGPT fue lanzado a finales de 2022 y, a comienzos del año siguiente, ya hubo noticias en Estados Unidos de un abogado que usó ChatGPT para redactar una petición. Y el documento citaba precedentes que no existían, es decir, una alucinación del sistema”, relató Juliano Maranhão, profesor de la Facultad de Derecho de la USP.

“Dos meses después, un juez estadounidense emitió una sentencia que también citaba precedentes alucinados. Y eso fue un escándalo aún mayor. Al ser interrogado sobre la sentencia, el juez simplemente afirmó que no era su culpa, porque había sido redactada por su asistente. Entonces el funcionario dijo que no había sido él, sino ChatGPT. Y esto, por supuesto, generó preocupación no solo en Estados Unidos, sino también aquí en Brasil, donde ya se registraron casos similares en 2023”, agregó.

Maranhão dirigió una investigación sobre el uso de inteligencia artificial en el sistema judicial brasileño, que contó con la participación de 1,600 jueces y 18 mil funcionarios que trabajan en el sistema. La mitad de los encuestados no conocía o no estaba familiarizada con el uso de IA generativa – categoría de inteligencia artificial capaz de crear textos, imágenes, videos, audios o código. Sin embargo, el 80 % de los que no la utilizan afirmaron que creían que podría ser útil, lo cual indica una posible expansión del uso de la IA en el Poder Judicial brasileño en un futuro cercano.

“De ese 50 % que estaba utilizando IA generativa, un 30 % lo hacía en sus actividades profesionales, es decir, en la elaboración de documentos y contenidos, como resúmenes de textos, o en la presentación de propuestas para generar frases que luego eran revisadas. Algo que puede parecer apropiado, pero que plantea cuestiones importantes, dado que muchas veces se trata de contenido confidencial”, explicó.

La investigación también mostró que, aunque algunos tribunales han contratado servicios como ChatGPT o Copilot (de Microsoft) para uso oficial, estas tecnologías se utilizan en el ámbito privado: la consulta se hace desde la computadora personal del servidor, y luego el material se transfiere al sistema judicial.

Además, existe el riesgo de usar la IA como herramienta para la búsqueda de precedentes jurídicos. “Lo cual no es un problema en sí mismo, pero puede ser grave si el contenido no es revisado. La investigación también muestra que no hay entrenamientos ni políticas para la gobernanza del uso de esta tecnología en el sistema judicial”, advirtió.

Además, el 83 % de los funcionarios públicos que utilizan estas herramientas afirmaron no informar su uso al juez. “Por lo tanto, no sorprende que estén ocurriendo errores y alucinaciones en los productos generados por ChatGPT u otras herramientas. Fue posible percibir la existencia de una preocupación considerable sobre si el uso de IA generativa es moral, ético o incluso legal. Y eso es alarmante porque trae opacidad al uso”, argumenta.

Para Maranhão, la cuestión requiere regulación. “No solo por el riesgo de alucinaciones, sino también porque se trata de contenido confidencial. ¿Deberíamos prohibir el uso privado?”, planteó.

Para ver los debates del primer día del evento: www.youtube.com/watch?v=V9ZZF55OZBA.

El segundo día completo está disponible en: www.youtube.com/watch?v=_NuVADzbUb8.