La resolución viene determinada por la longitud de la palabra digital (número de bits), es decir por las agrupación de ceros y unos con que se va componiendo (codificando) la señal.

La codificación más simple utilizaría una resolución de 1 bit. Con un bit (dado que se usa el sistema binario que son potencias de dos: 2ⁿ) sólo se pemite (durante la cuantificación) seleccionar entre dos valores (2¹): o cero o uno. Esta pobre codificación podría servir para indicar encendido (0) o apagado (1), si =(0) o no = (1), verdadero = (0) o falso = (1)...etc, siguiendo el espíritu del álgebra de Boole.

Por ejemplo, la norma para la televisión digital establece una resolución de 8 bits (1 byte) por muestra, lo que significa que cada muestra tomada quedará representada por una palabra de 8 bits. Como 8 bits suponen 256 (2⁸) posibilidades, con lo que el diccionario imaginario del códec estaría formado por 256 palabras. En un supuesto simple:

• 00000000 = Equivaldría al blanco.
• 11111111 = Equivaldría al negro.

• Las 254 combinaciones restantes (00000001, 00000011...) corresponderían al resto de colores y a los grises.

Otro ejemplo, el CD-Audio, que emplea modulación por impulsos codificados (PCM) sin compresión, tiene una resolución de 16 bits. Esto significa que existen 65536 (2¹⁶) valores distintos para aproximar cada muestra.

Como consecuencia del ruido de cuantificación que necesariamente introduce el proceso de cuantificación, el número de escalones de codificación determina el rango dinámico (relación señal/ruido máxima) de la señal que se puede digitalizar íntegramente (esto es, en todo su rango; desde el nivel de su ruido hasta la señal más potente en toda su duración). Para asegurar el registro completo de una señal, la relación señal a ruido de cuantificación del cuantificador (que depende básicamente del número de niveles de cuantificación) debe ser igual o superior a la del cuantificador y se debe ajustar el nivel RMS de la grabación (atenuando o amplificando todo el conjunto de señal y ruido) de modo tal que el nivel RMS del ruido de la señal quede justo por encima del nivel del ruido de cuantificación. Por tanto y como ejemplo, si se desea cuantificar íntegra una señal con una relación señal a ruido máxima de 70 dB, es necesario emplear un mínimo de 12 bits (4096 niveles) en la cuantificación y aunque más niveles de cuantificación harán más fácil realizar el ajuste del nivel RMS de la señal a grabar (permite más tolerancia a los errores en el ajuste de la ganancia, algo particularmente importante en aquéllos casos donde no se puede predecir con exactitud qué niveles máximos se alcanzarán durante la cuantificación), cuantificar una señal bien ajustada con más niveles de cuantificación de los necesarios no resultará en una mejor reconstrucción posterior.

Por otro lado, en la práctica existe un límite en el número de niveles de cuantificación que se debe emplear para cuantificar una señal: el ruido térmico del propio convertidor A/D. Los mejores convertidores comerciales logran, fuera del laboratorio y a temperatura ambiente normal, relaciones máximas señal a ruido térmico de poco más de 120 dB. Esto significa que hacer uso de convertidores de más de 20 bits no ofrece ninguna ventaja práctica, excepto el de permitir grabar cada muestra en un número entero de bytes en el caso de los convertidores de 24 bits y evitar la necesidad de añadir dither (el ruido térmico, mucho más potente que el de cuantificación en este caso, ya haría el papel del dither). Para estos caso, los bits menos significativos sólo tomarán valores en función del más puro azar y no tendrán relación alguna con la señal a cuantificar.

Véase también

• Codificación digital