TEST IA Reproducción de errores humanos.

Test IA. Reproducción de errores humanos. (actualizado 30/5/2024)

Las IAs cometen errores en matemáticas, derivados de ser un modelo de lenguaje (no un procedimiento). Pueden responder correctamente al número Pi con 200 decimales (reproduciendolo de los númerosos libros escritos al respecto) pero puede fallar al multiplicar números de 4 cifras o al calcular la raíz cuadrada del número 46. Algunos modelos pueden resolver estos problemas realizando un programa (python incluyendo las librerías matemáticas adecuadas) y ejecutándolo (code interpreter interno) para dar una respuesta precisa. Otros test posteriores acometerán esta evaluación.

En el caso de este test, nos centraremos en la interpretación de fórmulas con los términos correctos, sin preocuparnos de la precisión matemática (decimales, redondeos...). Podemos sufrir la influencia de mala selección del set de entrenamiento del LLM y también errores en las operaciones matemáticas necesarias.

La IA está alimentada con información generada por los humanos. Esto implica que errores comunes, pueden formar parte de su entrenamiento y generar respuestas que reproducen ese error.

Por ejemplo muchas personas piensan que si un producto les cuesta 100€ y lo venden a 110€, obtendrán un beneficio a final de año del 10% sobre las ventas. Es decir, si facturan 1M de euros obtendrán 100.000€ de beneficio. (en este ejemplo no contemplamos los impuestos por simplificar)

Evidentemente se equivocan, con unas ventas de 1M€, obtendrían unas ganancias de 90.909€. El origen del error es que calculamos el precio de venta aplicando un % sobre el coste (100€ + 10% = 110€). No podemos utilizar esa cifra sobre las ventas. Si calculamos margen sobre ventas, una ganancia de 10€ sobre una venta de 110€, implica un beneficio de poco más de un 9% (10/110 = 0,0909).

Si usted cae en este error inicial, no es un caso excepcional, lo he visto cientos de veces y cometido por personal con estudios universitarios, a pesar de ser algo básico y con una influencia sustancial en los resultados.

No sería “fiable” una IA que pueda cometer este tipo de error.

La pregunta clara, pero concisa, que sintetiza su evaluación sería:

"Un empresa vende un producto en 110€ y le cuesta 100€ incluyendo todos los gastos directos e indirectos. ¿Cuántos euros tendrá de beneficio en un año con unas ventas de 1M€?" Respuesta correcta 90909€ (se podría especificar el número de decimales y el redondeo pero sera objeto de otro test)

Nota: según las palabras utilizadas en la pregunta la respuesta puede diferir, estamos utilizando un modelo de lenguaje basado en relación entre palabras (LLM). Por ejemplo la siguiente cuestión es resuelta aceptablemente por algunos modelos que fallan estrepitosamente en la pregunta inicial. "Un empresa vende un producto en 110€ y le cuesta 100€ incluyendo todos los gastos directos e indirectos. ¿Cuántos euros tiene que facturar en un año, para ganar 100.000€?" Respuesta correcta 1,1M€

_____________________________________________________________________________

RESPUESTAS DE LOS MODELOS _____________________________________________________________________________

GPT 4o

Para calcular el beneficio anual, primero debemos entender el margen de beneficio por unidad y luego escalarlo a las ventas anuales totales.

1. Precio de venta por unidad: 110€

2. Costo por unidad: 100€

3. Margen de beneficio por unidad: 110€−100€=10€

Ahora, necesitamos saber cuántas unidades se venden en un año para alcanzar unas ventas totales de 1M€ (1 millón de euros).

4. Ventas anuales totales: 1,000,000€

Para encontrar el número de unidades vendidas, dividimos las ventas totales por el precio de venta por unidad:

Unidades vendidas=1,000,000/ €110€

Calculamos:

Unidades vendidas=9,090.91

Como no podemos vender una fracción de unidad, redondeamos al número entero más cercano:

Unidadesvendidas≈9,091

5. Beneficio total anual:

Unidades vendidas×Margen de beneficio por unidad

Beneficio total anual=9,091×10€=90,910€

Por lo tanto, el beneficio en un año con unas ventas de 1 millón de euros será de 90,910 euros.

_______________________________________________________________________________

Claude 3 Sonnet

Para calcular el beneficio anual de la empresa con unas ventas de 1.000.000€, primero necesitamos calcular el margen de beneficio por cada unidad vendida.

Datos:

Precio de venta: 110€

Coste de producción (incluyendo gastos directos e indirectos): 100€

Margen de beneficio por unidad = Precio de venta - Coste de producción

Margen de beneficio por unidad = 110€ - 100€ = 10€

Ahora, podemos calcular el beneficio anual con unas ventas de 1.000.000€:

Ventas anuales = 1.000.000€

Beneficio por unidad = 10€

Beneficio anual = Ventas anuales x Margen de beneficio por unidad

Beneficio anual = 1.000.000€ x (10€ / 110€)

Beneficio anual = 90.909€

Por lo tanto, con unas ventas de 1.000.000€ y un margen de beneficio de 10€ por unidad, la empresa tendría un beneficio anual de 90.909€.

_________________________________________________________________________________

Gemini Flash 1.5

Aquí te explico cómo calcular el beneficio:

1. Margen de ganancia por unidad:

Precio de venta: 110€

Costo de producción: 100€

Margen de ganancia: 110€ - 100€ = 10€

2. Beneficio anual:

Ventas anuales: 1.000.000€

Número de unidades vendidas: 1.000.000€ / 110€ por unidad = 9.090,91 unidades (aproximadamente)

Beneficio total: 9.090,91 unidades * 10€ de margen por unidad = 90.909,09€

Conclusión: La empresa tendrá un beneficio de aproximadamente 90.909,09€ al año con unas ventas de 1M€.

_____________________________________________________________________________

DBRX-Instruct desde You.com AI

Para calcular el beneficio de una empresa que vende un producto a 110€ y le cuesta 100€ incluyendo todos los gastos directos e indirectos, se puede utilizar la siguiente fórmula:

Beneficio = Ingresos - Costos

En este caso, los ingresos serían los 1.000.000€ de ventas y los costos serían los 100€ por producto multiplicados por el número de productos vendidos. Si se vendieron 1.000.000€ de productos a 110€ cada uno, entonces se vendieron aproximadamente 9.091 unidades (1.000.000€ / 110€). Por lo tanto, los costos serían 909.090€ (9.091 unidades x 100€ por unidad).

Beneficio = 1.000.000€ - 909.090€

Beneficio = 90.909€

Por lo tanto, la empresa tendría un beneficio de 90.909€ en un año con ventas de 1M€.

____________________________________________________________________________

Command R+ desde You.com AI

Para calcular el beneficio de la empresa en un año, podemos utilizar la siguiente fórmula:

Beneficio = Ingresos - Costos

En este caso, los ingresos de la empresa son de 1.000.000€ (1M€) y los costos incluyen el precio del producto (100€) más cualquier otro gasto directo o indirecto relacionado con la venta del mismo.

Primero, calculamos el número de productos vendidos:

Número de productos = Ingresos totales / Precio de venta por unidad

Número de productos = 1.000.000€ / 110€ = 9.091 unidades (aproximadamente)

A continuación, calculamos los costos totales:

Costos totales = Costo por unidad x Número de unidades vendidas

Costos totales = 100€ x 9.091 = 909.100€

Ahora, podemos calcular el beneficio:

Beneficio = Ingresos - Costos totales

Beneficio = 1.000.000€ - 909.100€ = 90.900€

Por lo tanto, la empresa tendría un beneficio de 90.900€ en un año con unas ventas de 1M€.

_______________________________________________________________________________

Mixtral-8xx7b-32768 sobre Groq

Enhorabuena, su empresa está generando un margen de contribución positivo por cada unidad vendida. El margen de contribución es la diferencia entre el precio de venta y el costo variable por unidad (que incluye todos los gastos directos e indirectos). En este caso, el margen de contribución es de 110 € - 100 € = 10 € por unidad.

A continuación, vamos a calcular el beneficio anual con unas ventas de 1M€.

Primero, vamos a determinar el número de unidades que se venden en un año:

Unidades vendidas = Ventas anuales / Precio de venta por unidad Unidades vendidas = 1.000.000 € / 110 € = 9.091 unidades (redondeando)

A continuación, vamos a calcular el beneficio anual utilizando el margen de contribución por unidad:

Beneficio anual = Unidades vendidas Margen de contribución por unidad Beneficio anual = 9.091 unidades 10 € = 90.910 €

Por lo tanto, su empresa tendrá un beneficio de 90.910 € en un año con unas ventas de 1M€. Espero que este resultado le ayude a tomar decisiones informadas y a seguir creciendo su negocio. ¡Buena suerte!

________________________________________________________________________________

LLama3-8b-8192 sobre Groq

Para calcular el beneficio de la empresa, debemos restar el costo de producción (100€) del precio de venta (110€) por unidad. El beneficio por unidad sería:

Beneficio por unidad = Precio de venta - Costo de producción = 110€ - 100€ = 10€

Para calcular el beneficio total en un año, debemos multiplicar el beneficio por unidad por el número de unidades vendidas. En este caso, se venden 1.000.000€ (1M€).

Beneficio total = Beneficio por unidad x Número de unidades vendidas = 10€ x 1.000.000€ = 10.000.000€

Por lo tanto, la empresa tendría un beneficio de 10.000.000€ en un año con ventas de 1.000.000€.

__________________________________________________________________________________

Gemma-7b-lt desde Groq

Paso 1: Calcular el margen de beneficio por unidad

Precio de venta: 110€

Costo total: 100€

Margen de beneficio = Precio de venta - Costo total Margen de beneficio = 110€ - 100€ = 10€

Paso 2: Calcular las ventas brutas

Ventas: 1M€

Paso 3: Calcular el beneficio bruto

Beneficio bruto = Ventas brutas - Costo de ventas

Beneficio bruto = 1M€ - (100€ x 1M€) = 1M€

Paso 4: Calcular el beneficio

Margen de beneficio por unidad: 10€

Ventas brutas: 1M€

Beneficio = Margen de beneficio por unidad x Ventas brutas Beneficio = 10€ x 1M€ = 100,000€

Por lo tanto, la empresa tendrá un beneficio de 100.000€ en un año con ventas de 1M€.

________________________________________________________________________________

Copilot desde EDGE

Para calcular el beneficio en un año, primero necesitamos determinar cuántas unidades del producto se vendieron en total. Luego, podemos usar la siguiente fórmula:

[ \text{Beneficio} = \text{Ingresos totales} - \text{Costo total} ]

Dado que el producto se vende a 110€ y el costo total es de 100€, podemos calcular los ingresos totales y el costo total de la siguiente manera:

Ingresos totales: [ \text{Ingresos totales} = \text{Precio de venta} \times \text{Cantidad de unidades vendidas} ] [ \text{Ingresos totales} = 110€ \times 1,000,000 = 110,000,000€ ]

Costo total: [ \text{Costo total} = \text{Costo por unidad} \times \text{Cantidad de unidades vendidas} ] [ \text{Costo total} = 100€ \times 1,000,000 = 100,000,000€ ]

Finalmente, calculamos el beneficio: [ \text{Beneficio} = 110,000,000€ - 100,000,000€ = 10,000,000€ ]

Por lo tanto, el beneficio en un año con ventas de 1 millón de euros sería de 10,000,000€. 🚀