x

ChatGPT comete errores en un 80 %

Inteligencia Artificial

El estudio reveló que de las más de 90,000 palabras incluidas en el diccionario de la Real Academia de la Lengua, el modelo ChatGPT3.5turbo desconoce aproximadamente el 20 %, es decir, unas 18,000 palabras.

Imagen sin descripción
Escuchar el artículo
Detener

Madrid.- Desde que llegó al mercado hace un año, ChatGPT, una inteligencia artificial capaz de crear contenidos originales y tareas relacionadas con la lengua, se ha convertido en una herramienta de enorme popularidad. Ahora, un estudio señala que desconoce el 20 % del léxico español y que comete errores en el 80 % restante.

Según datos de OpenAI -la empresa que creadora-, cada semana, cien millones de personas usan este chatbot para hacer tareas relacionadas con el lenguaje.

Pero aunque esta herramienta está entrenada para mantener conversaciones y generar textos, se sabe que puede producir respuestas que parecen plausibles pero que son completamente erróneas.

Para evaluar el rendimiento de ChatGPT y su capacidad real, un equipo de investigadores españoles ha desarrollado una aplicación, denominada ChatWord, que permite evaluar el conocimiento léxico de ChatGPT en varios idiomas.

Para ello, se usó como referencia las palabras recogidas en el diccionario de la Real Academia de la Lengua y las que aparecen en El Quijote de Miguel de Cervantes.

El estudio reveló que de las más de 90,000 palabras incluidas en el diccionario de la Real Academia de la Lengua, el modelo ChatGPT3.5turbo desconoce aproximadamente el 20 %, es decir, unas 18,000 palabras.

Además, del 80 % restante de las palabras del diccionario y del 90 % de las palabras del Quijote, ChatGPT cometió errores en cerca del 5 % de los términos.

Un conocimiento muy pobre

El estudio recuerda que un hispanohablante reconoce 30,000 palabras de media, es decir, casi un tercio del léxico español, un dato que puede parecer pobre comparado al de una máquina, advierten los autores.

Pero, «como pasa muchas veces con los sistemas de inteligencia artificial, no es oro todo lo que reluce, y al analizar los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto», explica Javier Conde, coautor del trabajo.

«Quizás ChatGPT no sea hoy en día tan sabio como aparenta», añade.

Además, el estudio recuerda que los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), basados en inteligencia artificial y diseñados para procesar y comprender lenguaje natural en una escala enorme -como ChatGPT- no usan palabras que no conocen.

Pero para Pedro Reviriego, también coautor de la investigación, el dato es preocupante porque si estos sistemas solo usan las palabras que conocen, resulta «muy factible un escenario en que el contenido recién generado tenga un número cada vez menor de palabras distintas», y de escasa riqueza léxica, avisa.

La aplicación ChatWords es un sistema de acceso público, diseñada para ser fácil de usar y ampliar.

Los investigadores quieren evaluar otros idiomas y LLM para comprender mejor el conocimiento léxico que tienen las herramientas de inteligencia artificial y cómo evoluciona a medida que aparecen nuevas versiones y herramientas.

Agencia EFE
Agencia EFE
La Agencia EFE, o simplemente EFE, es una agencia de noticias internacional con sede en Madrid. Fue fundada en 1939 gracias al impulso del entonces ministro del Interior, Ramón Serrano Suñer, en la que participaron activamente: José Antonio Jiménez Arnau, Manuel Aznar Zubigaray y Vicente Gállego.
  • Facebook
  • Twitter
Comenta con facebook
Exitoso inicio de temporada de Black Friday en Plaza Lama
Artículo Patrocinado
Recientes
Contenido más reciente en Noticias SIN

EE.UU. reconoce a Edmundo González Urrutia como presidente electo de Venezuela

Juez dicta 36 meses de prisión para hermano de Boluarte por caso de tráfico de influencias

Trump elige al televisivo Dr. Oz, defensor de pseudociencias, como administrador de salud

Lluvias por Sara dejan 456 albergados y más de 130 viviendas afectadas en El Salvador

Kelvin Cruz considera a Mijaín López una “figura emblemática” del deporte

Gustavo Petro califica celebración de elecciones en Venezuela como «un error»

Presidente de la CNE y embajador de la India presentan en INTEC proyecto  de gestión de riesgos con IA

Condenan mujer que asesinó a sus hijos de 1 y 2 años en un horno y lo mostró en una videollamada