A qué refiere el concepto de “caja negra” en la inteligencia artificial y por qué preocupa a los expertos

Los desarrolladores de Bard, el nuevo proyecto de inteligencia artificial (IA) de Google que busca competir con ChatGPT, quedaron sorprendidos al descubrir que el sistema fue capaz de aprender un idioma nuevo de manera independiente, sin que fuera entrenado para ello. Y este hecho despertó aún más intrigas sobre lo que se conoce como “caja negra”.

“Descubrimos que con muy pocas indicaciones en bengalí, ahora puede traducir todo el bengalí”, contó James Maneka, jefe de la división de IA de Google, en una reciente entrevista para la cadena CBS.

Por su parte, el director ejecutivo de Google, Sundar Pichai, reconoció que esta capacidad de los modelos de IA de generar habilidades y ofrecer respuestas de manera inesperada es lo que los expertos llaman “caja negra”.

“No lo entiendes del todo. No puedes decir muy bien por qué (la IA) dijo esto o por qué se equivocó en esto otro. Tenemos algunas ideas y nuestra capacidad para entenderlo mejora con el tiempo. Pero ahí es donde estamos hasta ahora”, explicó Pichai.

En esa línea, agregó: “Creo que en el desarrollo de esto debe incluirse no solo a ingenieros, sino también a científicos sociales, especialistas en ética, filósofos, etcétera. Y tenemos que ser muy reflexivos. Estas son las cosas que la sociedad necesita resolver a medida que avanzamos. No le corresponde a una empresa decidir”.

Cuáles son los riesgos de la “caja negra” de la inteligencia artificial

Mientras se aceleran las inversiones de las grandes tecnológicas para desarrollar sistemas de IA basados en modelos de lenguaje natural, crece también la preocupación por los riesgos que conlleva habilitar el uso libre de herramientas que no han sido del todo exploradas. Y uno de los principales cuestionamientos es, precisamente, que no está claro cómo es posible que adquieran habilidades para las que no fueron instruidas.

En el polo opuesto a la caja negra se encuentra lo que los expertos en IA denominan “caja blanca”, es decir, el reflejo de las instrucciones que los desarrolladores de software crean usando lenguajes de programación y que determinan el funcionamiento de las aplicaciones.

“Pero en la IA, los sistemas son realmente muy diferentes. Están más cerca de una caja negra en muchos sentidos, pues no entiendes realmente lo que sucede dentro”, advirtió Ian Hogarth, cofundador de la empresa tecnológica Plural y autor del libro The Status of AI Reports.

Hogarth agregó que a medida que se desarrollan estos modelos de IA “se producen grandes saltos bruscos en sus capacidades”. A diferencia de la programación de software más tradicional, en donde las instrucciones buscan que la aplicación obtenga un resultado determinado, en el caso de la inteligencia artificial los ingenieros trabajan para generar sistemas que imiten las “redes neuronales” de la inteligencia humana.

Es decir, una IA es capaz de procesar grandes cantidades de datos, detectar patrones entre millones de variables a través de aprendizaje automático y, lo más importante, autoadaptarse a medida que sigue funcionando.

David Stern, gerente de investigación cuantitativa en G-Research, una empresa de tecnología que utiliza el aprendizaje automático para predecir precios en los mercados financieros, advirtió que durante los últimos años los desarrollos de Ia IA han “implicado un enfoque de caja negra cada vez más basado en datos”.

“En el enfoque de red neuronal que es tendencia en la actualidad, este procedimiento de entrenamiento determina la configuración de millones de parámetros internos que interactúan de manera compleja y son muy difíciles de explicar mediante ingeniería inversa”, dijo en una entrevista con la BBC. 

Como consecuencia, se llega a una realidad en la resulta cada vez más difícil entender con precisión el funcionamiento de estos sistemas.

“Hemos aumentado la cantidad de potencia de cálculo consumida por estos modelos en aproximadamente 100 millones en la última década. Así que, aunque en la práctica ChatGPT parezca que surgió de la nada para la mayoría de las personas, esta es una tendencia de muy larga data que continuará”, describió Ian Hogarth.

Como conclusión, el cofundador de Plural apuntó: “Creo que tiene un potencial notable para transformar nuestras vidas. En cierto modo, es quizás la tecnología actual más poderosa. Lo principal es que deberíamos tener un debate mucho más público sobre la rapidez con la que progresan estos sistemas y lo diferentes que son de las generaciones anteriores de software”.

LEER: La Municipalidad impulsa la campaña “Más Luces, Menos Ruido”