Los modelos masivos de lenguaje y el problema de la escala
By Enrique Dans
La carrera entre Microsoft y Google para tratar de hacerse con el control de la explotación de asistentes conversacionales de búsqueda alimentados mediante modelos masivos de lenguaje, o large language models, está dejando conclusiones mucho más relevantes que la simple evidencia de una compañía que está sabiendo aprovechar su momento y su oportunidad frente a otra que se dedica a correr y a actuar en modo pánico como pollo sin cabeza.
La primera de ellas es muy clara: por impresionante que parezca el «nuevo Bing» lanzado por Microsoft, es evidente que estamos hablando de un uso que no era aquel para el que esta tecnología estaba planteada. Errores extrañísimos, dilemas éticos, secretos insondables y todo tipo de anécdotas revelan claramente que ChatGPT era ni más ni menos que una tecnología destinada a «parecer humano», a ser capaz de mantener una conversación a partir de un algoritmo pre-entrenado mediante una ingente base de datos, pero no un recurso pensando para generar respuestas de calidad, decir la verdad o proporcionar respuestas razonables. El hecho de que ChatGPT genere en muchos casos respuestas de una calidad aparentemente adecuada o que incluso sea capaz de responder con la precisión adecuada como para pasar determinados exámenes no implica demasiado cuando, en la práctica, nos estamos encomendando a un modelo matemático – en absoluto a una «inteligencia» como tal – que ensambla y redacta documentos a partir de determinadas fuentes y que, desgraciadamente, muchos usuarios van a tomarse como si fuera algo escrito por algún tipo de oráculo divino.
El problema de lanzarse a una loca carrera en torno a la incorporación de modelos masivos de lenguaje a la búsqueda, a la ofimática o a mil cosas más es partir de una base errónea: por culpa de la desenfrenada ambición de OpenAI, ahora resulta que se ha «oficializado» el mensaje de que podemos contar con un «super-asistente» capaz de proporcionarnos respuestas sobre «absolutamente todo», así le preguntes sobre matemáticas, programación o filosofía budista. Y la realidad es que lo que hace ese modelo es lo que hemos dicho: ensamblar una colección de documentos de una base de datos en función de una pretendida relevancia, y re-redactarlos para parecer humano. Eso es todo. Impresionante, sí, pero eso es todo.
Esto genera, como tal, varios problemas: el primero y más evidente puede ser el de la fiabilidad y el de sus implicaciones para el uso y desarrollo del pensamiento crítico. Pero más allá de eso, deberíamos plantearnos los efectos de esta carrera sobre el panorama competitivo: si pretendemos que exista un «super-modelo» capaz de responder a todo, estamos planteando un reto que, muy posiblemente, solo compañías enormes con recursos cuasi-ilimitados como Microsoft o Google pueden afrontar, y que, por tanto, polariza la competencia en torno a esa escala, con todo lo que ello conlleva. Si focalizamos la competencia en «modelos que sirven para todo», estamos dando a las big tech las llaves para que pretendan que dominan la próxima generación de herramientas, sin pararnos a pensar que, a lo mejor, podríamos construir las nuestras y podrían, incluso, ser mejores.
La realidad es que, muy posiblemente, estaríamos mucho mejor como sociedad planteando la aplicación de modelos masivos de lenguaje – o de machine learning en general – a casos mucho más pequeños, menos ambiciosos, pre-entrenados con datos de un ámbito muy concreto o muy especializado, con un control total de sus fuentes para evitar que utilicen mucha de la basura que hay en internet, y con capacidad para entender qué es lo que realmente están generando. Eliminar las presiones del tipo «tienes que parecer humano» y «tienes que contestar a absolutamente todo» generaría un desarrollo mucho más sano, razonable y, sobre todo, orientado al progreso real, y no al marketing barato de «tengo un buscador que te contesta a cualquier pregunta».
El salto conceptual que supone pasar de años de desarrollo de modelos de machine learning capaces de llevar a cabo tareas de automatización y predicción muy sofisticadas y con gran calidad, a modelos que simplemente «responden lo que sea para parecer humanos» es muy preocupante, y es casi como pasar de la ciencia rigurosa al simple entretenimiento. La realidad es que, más que dedicarnos todos a jugar con ChatGPT como si no hubiera un mañana y a creer que va a resolvernos la vida o a quitarnos el trabajo, deberíamos estar utilizando el machine learning para crear y alimentar nuestros propios modelos masivos de lenguaje, nuestros propios asistentes, nuestros propios procesos de automatización avanzada, sin dejarlo todo al albur de lo que compañías big tech como Microsoft, Google – o Baidu, o JD.com, o las que vengan – tengan a bien entregarnos.
Quora, por ejemplo ha creado su propio modelo masivo de lenguaje, Poe, a partir de su enorme base de datos de preguntas y respuestas. ¿Qué podría hacer yo con casi diez mil artículos de tecnología escritos durante casi veinte años? ¿O el IE con toda la producción de sus profesores? ¿O la Biblioteca Nacional con toda su base de datos de libros digitalizados? ¿O muchas compañías con sus knowledge bases correctamente alimentadas? ¿El adecuada la premisa de tratar de construir un «respondelotodo» a partir de fuentes en internet? Y por cierto… ¿qué fuentes, seleccionadas por quién y con qué criterios?
En la práctica, estamos alimentando un hype salvaje que sirve para que nVidia se vuelva loca vendiendo GPUs, para que el consumo energético de las búsquedas se dispare, y para alimentar de nuevo una competencia en la que solo las big tech parecen poder pagar el ticket de acceso, en lugar de centrarnos en objetivos mucho más razonables y con mucho más sentido.
¿No debería estar la atención centrada en cómo construir, alimentar, entrenar y poner en valor nuestros propios modelos masivos de lenguaje – y otros muchos algoritmos con aplicaciones más versátiles – en lugar de dedicarnos simplemente a aplaudir como meros espectadores cuando Microsoft, Google o la big tech de turno afirma haber creado «la enésima maravilla que lo responde absolutamente todo y nos deja pasmados por lo humano que parece»? ¿No estamos cambiando hype por ciencia, o perdiendo la oportunidad de crear verdadero valor añadido especializado y sujeto a un control mucho más razonable?
Puedes leer el artículo completo en: : Los modelos masivos de lenguaje y el problema de la escala
