El benchmark es una técnica utilizada para medir el rendimiento de un sistema o componente del mismo, frecuentemente en comparación con el cual se refiere específicamente a la acción de ejecutar un benchmark. La palabra benchmark es un anglicismo traducible al castellano como comparativa. Si bien también puede encontrarse esta palabra haciendo referencia al significado original en la lengua anglosajona, es en el campo informático donde su uso está más ampliamente extendido. Más formalmente puede entenderse que un benchmark es el resultado de la ejecución de un programa informático o un conjunto de programas en una máquina, con el objetivo de estimar el rendimiento de un elemento concreto o la totalidad de la misma, y poder comparar los resultados con máquinas similares. En términos de ordenadores, un benchmark podría ser realizado en cualquiera de sus componentes, ya sea CPU, RAM, tarjeta gráfica, etc. También puede ser dirigido específicamente a una función dentro de un componente, por ejemplo, la unidad de coma flotante de la CPU; o incluso a otros programas.

La tarea de ejecutar un benchmark originalmente se reducía a estimar el tiempo de proceso que lleva la ejecución de un programa (medida por lo general en miles o millones de operaciones por segundo). Con el correr del tiempo, la mejora en los compiladores y la gran variedad de arquitecturas y situaciones existentes convirtieron a esta técnica en toda una especialidad. La elección de las condiciones bajo la cual dos sistemas distintos pueden compararse entre sí es especialmente ardua, y la publicación de los resultados suele ser objeto de candentes debates cuando éstos se abren a la comunidad.

También puede realizarse un "benchmark de software", es decir comparar el rendimiento de un software heidi y reyner contra otro o de parte del mismo, por ejemplo, comparar distintas consultas a una base de datos para saber cuál es la más rápida o directamente partes de código.

El Benchmark es también un proceso continuo de medir productos, servicios y prácticas contra competidores más duros o aquellas compañías reconocidas como líderes en la industria.

Contenido 1 Cualidades 2 Tipos de benchmarks 2.1 Sintéticos vs Aplicaciones 2.2 Bajo nivel vs Alto nivel 2.3 Otros tipos de Benchmark 3 Otras acepciones 4 Análisis comparativo entre empresas 5 Origen del término 5.1 El valor del Benchmarking 6 Enlaces externos

Cualidades

Los benchmark tienen las siguientes funcionalidades:

• Comprobar si las especificaciones de los componentes están dentro del margen propio del mismo
• Maximizar el rendimiento con un presupuesto dado
• Minimizar costes manteniendo un nivel mínimo de rendimiento
• Obtener la mejor relación costo/beneficio (con un presupuesto o unas exigencias dadas)
• Con ayuda a lograr una posición más competitiva

Tipos de benchmarks

Dado el rendimiento objetivo, existen diferentes tipos de benchmark:

Sintéticos vs Aplicaciones

• Sintéticos: están especialmente diseñadas para medir el rendimiento de un componente individual de un ordenador, normalmente llevando el componente escogido a su máxima capacidad.

Ejemplos:

• • Dhrystone
  • Whetstone

• Aplicaciones: herramientas basadas en aplicaciones reales, simulan una carga de trabajo para medir el comportamiento global del equipo.

Bajo nivel vs Alto nivel

• Test de Bajo nivel:

Miden directamente el rendimiento de los componentes Ejemplo: el reloj de la CPU, los tiempos de la DRAM y de la caché SRAM, tiempo de acceso medio al disco duro, latencia, tiempo de cambio de pista, etc.

• Test de Alto nivel:

Están más enfocados a medir el rendimiento de la combinación componente/controlador/SO de un aspecto específico del sistema, como por ejemplo el rendimiento de E/S con ficheros, o el rendimiento de una determinada combinación de componentes/controlador/SO/aplicación. Ejemplo: Velocidad de compresión zip

Otros tipos de Benchmark

• Consumo de energía
• Cumplimiento con estándares ambientales, contenido de materiales y manejo del final del ciclo de vida del producto
• Disipación de calor
• De Juguete: detectar y medir componentes básicos de un computador
• Redes
• Reducción de ruido
• Trabajo compartido: mide el rendimiento en las modernas tecnologías de distribución de procesos
• Servidores
• Soporte técnico

Alguno de los programas de Benchmark más populares.

• Ciusbet
• Dhrystone
• iCOMP
• Linpack
• Livermore
• SPEC (SPECint y SPECfp, orientados a la unidad de enteros y punto flotante, respectivamente)
• Whetstone

Otras acepciones

Fuera del ámbito informático puede verse en el ámbito de las organizaciones, concretamente en el management estratégico, en la cual puede definirse como un proceso sistemático y continuo para evaluar los productos, servicios y procesos de trabajo de las organizaciones que son reconocidas como representantes de las mejores prácticas, con el propósito de realizar mejoras organizacionales.

En el ámbito de las finanzas, y concretamente de los mercados financieros, el benchmark es el mercado testigo, contra el cual deben compararse el resto de las inversiones a efectos de cotejar sus rendimientos.

En economía, toma su acepción para la Regulación: Benchmarking es una herramienta destinada a lograr comportamientos competitivos en la oferta de los mercados monopólicos, consistente en la comparación del desempeño de las empresas, a través de la métrica por variables, indicadores y coeficientes. El servicio de red pública de agua es el más claro ejemplo de monopolio natural, encontrándose ejemplos de aplicación disponible en instituciones tales como OFWAT (Inglaterra y Gales), ADERASA(Latinoamérica) o IB-NET (Mundial).

Análisis comparativo entre empresas

El análisis comparativo entre empresas no es más que un estudio detallado de las características actuales de la misma para compararla con otras y en la mayoría de los casos se apoyan de esas comparaciones para hacer mejoras dentro de ella.

Origen del término

El término inglés benchmark proviene de las palabras bench (banquillo, mesa) y mark (marca, señal). En la acepción original del inglés la palabra compuesta sin embargo podría traducirse como medida de calidad. El uso del término provendría de la Inglaterra del siglo XIX, cuando los agrimensores hacían un corte o marca en una piedra o en un muro para medir la altura o nivel de una extensión de tierra. El corte servía para asegurar un soporte llamado bench, sobre el cual luego se apoyaba el instrumento de medición, en consecuencia, todas las mediciones posteriores estaban hechas por la posición y altura de dicha marca...

El valor del Benchmarking

---

La importancia del benchmarking no se encuentra en la detallada mecánica de la comparación, sino en el impacto que pueden tener estas comparaciones sobre los comportamientos. Se puede considerar como un proceso útil de cara a lograr el impulso necesario para realizar mejoras y cambios.

Además que es de uso muy importante para la planeación estratégica.

Enlaces externos

• Babco
• Benchmark Linux – COMO.
• benchmarkhq, buen compendio de recursos
• Benchmarking
• 3DMark06, 3DMark05, 3DMark03, 3DMark01, Aquamark, Super PI benchmark
• FutureMark
• Lineamientos para compras basadas en pruebas de rendimiento para compradores de PC en agencias gubernamentales 1er. Trimestre, edición 2006.
• The Standard Performance Evaluation Corporation (SPEC)
• Transaction processing performance counsil