El Cedazo

Hemos dedicado los últimos capítulos de la serie a mostrar cómo representar números solamente con 1s y 0s. En este capítulo vamos a ver cómo representar otro tipo de información: el texto.

Pero antes de continuar, quiero dedicar una líneas a animarte. Es posible que estés un poco preocupado porque parece que nos estamos desviando del tema, dejando de lado el funcionamiento del ordenador, para centrarnos en aspectos demasiado formales, quizá demasiado técnicos… Si esa es tu impresión, no desistas, sigue adelante. Lo que hemos visto en los últimos capítulos es una base para que, cuando más adelante veamos cosas más complejas, podamos centrarnos en dichos detalles complejos y dar por sabidas estas cosas. Haz un pequeño acto de confianza en mí y piensa que toda esta aproximación es parte de un meticuloso plan para dominar el mun… para que entiendas cómo funciona el ordenador.

Además, esta entrada en concreto tiene muchas batallitas, mucha historia, así que será, eso espero, hasta divertida.

El caso es que ya sabemos cómo representar y operar con números, tanto enteros como de coma flotante.^[1] Pero una parte no despreciable del trabajo que queremos hacer con un ordenador es procesar texto.

No debemos pensar solamente en un procesador de textos explícito, como pueden ser el Word de Microsoft o el Writer de LibreOffice, sino en el almacenaje, procesado y presentación de cualquier información textual: una página web como la que estás leyendo ahora, los nombres de los menúes en cualquier programa, las celdas con etiquetas en una hoja de cálculo, un email… Es obvio que el texto es importante. Pero como todo en los ordenadores, el texto no puede estar compuesto más que por 0s y 1s, de modo que tenemos que buscar la forma de representar texto en forma binaria.

Advierto de que no vamos a ver todos los sistemas posibles, y menos en profundidad. Solo vamos a ver cómo son conceptualmente y a nombrar los más importantes.

Todos los sistemas utilizados para representar texto se basan en una simple tabla de correspondencia. Por ejemplo, podríamos inventarnos un sistema como:

La tabla debe tener tantas entradas como letras queramos representar en nuestro método. Supongo que no te sorprende, a estas alturas de la serie, si te digo que para la representación binaria se suelen usar 8 bits, y a veces 16 bits, 24 bits, 32 bits,… dependiendo del estándar que sigamos.

Así, si lo que quiero es representar la palabra “BACA”,^[2] en nuestro particular sistema inventado, pondríamos 0000 0001 0000 0000 0000 0010 0000 0000. Fácil, ¿verdad?

El más utilizado de los sistemas de representación binaria es el ASCII (American Standard Code for Information Interexchange, código estándar americano para el intercambio de información). A menudo se le llama “texto plano”, por ser el más extendido de todos, pero ojo: eso del “texto plano” es una arbitrariedad, no es una definición precisa. Simplemente, cuando decimos “texto plano” todo el mundo sobreentiende que nos referimos a ASCII. A menudo se le llama también US-ASCII (algo así como “el ASCII de United States”, “el ASCII de Estados Unidos”), luego veremos por qué. También se le llama a veces ASCII7 o ASCII-de-7-bits… de nuevo, luego veremos por qué.^[3]

En ASCII cada carácter se representa con 7 bits, según la siguiente tabla:

Así, si lo que queremos es representar la frase “hola mundo”, lo que haríamos es poner:

1101000 1101111 1101100 1100001 0100000 1101101 1110101 1101110 1100100 1101111

Fíjate en que tiene códigos distintos para las letras mayúsculas que para las minúsculas, de modo que que una “A” no es lo mismo que una “a”. Fíjate también en que tiene representación en forma de carácter de los números. Es decir, el carácter 0110101 es el carácter “5″, pero eso no es lo mismo que el cinco representado en binario (que sería 0000101). Y también hay representación para los caracteres especiales más habituales, como el punto, la coma, el signo más, el guión, el ampersand, etc.

Debes darte cuenta de que hay algunos caracteres que no son realmente letras, sino lo que se llama caracteres de control. Esos caracteres están codificados en la tabla, aún cuando es poco probable que alguna vez se almacenen, por ejemplo en un fichero de Word. Piensa por ejemplo en el carácter número 8 (0001000), que significa BS (backspace, borrar). En un fichero de texto el usuario va añadiendo letras y escribe “hola muns”. Como se ha equivocado, pulsa la tecla “borrar” de su teclado, pero lo que se hace no es almacenar el BS, sino quitar la última letra del fichero y dejar “hola mun”. ¿Para qué sirve entonces el carácter 8, el BS? Por ejemplo, puede servir para el teclado: cuando el usuario pulse la tecla “borrar”, el teclado le manda al ordenador 0001000.^[4]

Existen muchos otros caracteres de control, y la mayoría no tienen un significado tan claro como este. Unos representan el retorno de carro, como el 13; otros indican un tabulador, como el 9; otros incluso significan literalmente “nada”, como el 0. Y la gran mayoría en realidad ni siquiera tienen uso hoy en día: son recuerdos de secuencias de control que antaño se necesitaban para aparatos obsoletos, pero hoy ya no.

Es posible que te preguntes por qué se usan 7 bits, cuando decimos que 8 es un número más habitual. El motivo es doble: por un lado, quienes inventaron esto se dieron cuenta de que con 7 bits, con 127 combinaciones, no solo tenían suficiente, sino que incluso les sobraban huecos para meter caracteres de control. Y por otro, dado que los antediluvianos sistemas de transmisión de la época eran relativamente poco fiables, pensaron que podían utilizar ese bit que sobraba como bit de paridad (no vamos a ver esto; si sabes lo que es, enhorabuena, y si no, no vamos a interrumpir la explicación, porque no nos hace falta para el resto de la serie).

El caso es que este ASCII está tan extendido que no solo es la base para los demás sistemas que veremos, sino que incluso cuando más adelante hagamos bloques más complejos, diremos que codifican según ASCII y nos valdrá para el ejemplo.

Esto estaba bien, funcionaba… salvo que no hablaras inglés, claro. Si por ejemplo eras de Zaragoza y lo que querías escribir en tu fichero era “¿Cómo estás?”, tenías un problema. Porque la tabla ASCII podía representar fácilmente los caracteres “normales”, pero no podía representar caracteres con tilde, el símbolo de apertura de interrogación, la c-con-cedilla (Ç), ni muchos otros, como la Ñ, sin ir más lejos. Así que a alguien se le ocurrió que podía aprovechar que los sistemas de transmisión ya eran mucho mejores para prescindir del bit de paridad, y utilizar ese bit adicional para tener otros 128 caracteres adicionales que añadir a la tabla. Por ejemplo, a alguien se le ocurrió que, en adición a la tabla ASCII estándar podía poner la siguiente:

No solo tenía ahora espacio suficiente para esos caracteres adicionales, sino que hasta le sobraba espacio para poner algunos caracteres más chulos, como los superíndices, las formas geométricas… en fin, una idea excelente.

Sí, excelente. Salvo que no hubo “alguien” que tuviera esa idea. La tuvo tooooodo el mundo. Cada fabricante propuso su tabla (la que hemos puesto arriba es la que se llama CP850, Code Page 850, propuesta por IBM y usada antaño por Microsoft en sus sistemas para Europa). Todas parecidas, todas con la misma idea… pero todas distintas. Y no solo pienses en distintos fabricantes, sino incluso en distintos países. Para un europeo, la e-con-tilde puede ser importantísima, pero para un japonés… pues no le sirve para mucho. Él necesita sus propios símbolos. Peor aún: incluso si tuviera su propia tabla, 256 caracteres son demasiado pocos para la mayoría de los idiomas asiáticos. E incluso en distintos modelos del mismo fabricante: dicho fabricante (sí, uno de tres letras, azules para más detalles, por ejemplo) usaba una tabla en sus sistemas grandes y otra distinta en sus sistemas microinformáticos. En fin, un caos de cuidado.

Finalmente la ISO estandarizó todo esto en sus normas ISO-8859-1, ISO-8859-2, ISO-8859-3… Seguía habiendo un montón de normas distintas para los distintos países, pero al menos todos los fabricantes usaban la misma. A estas cosas se las llamó ASCII extendido (o dependiendo del contexto, simplemente ASCII) y al ASCII original se le llamó ASCII-de-7-bits o US-ASCII o simplemente ASCII-original. Por si te lo encuentras por ahí, la ISO-8859-15 es la habitual en los países occidentales.

Aquello funcionó, más o menos, pero seguía echándose en falta un sistema que los unificara a todos, que permitiera representarlos todos ellos de forma uniforme. Entonces es cuando se inventó Unicode.

No vamos a ver Unicode en detalle, porque es complicadísimo. Simplificándolo, puedes pensar en Unicode como la tabla de ASCII, pero con miles de caracteres posibles, y que por lo tanto no se representa con solo 8 bits, sino con muchos más. Además, esas tablas tienen distintas formas de codificación, que llamamos UTF-8, UTF-16,… e incluso algunas de ellas tienen sub-formas. No vamos a verlas en detalle (y, además, lo que estamos contando es una simplificación muy burda), pero quédate con la idea de que es posible representar un carácter como un chorro determinado de bits, siempre que nos pongamos todos de acuerdo en cuál es el chorro de bits que corresponde con cada carácter.

No puedo terminar el capítulo sin nombrar uno de los mejores artículos que se ha escrito jamás sobre este tema: The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!). Tras ese título tan largo se esconde “el mínimo absoluto que todo desarrollador de software definitiva e indudablemente debe conocer sobre Unicode y los códigos de caracteres (¡Sin excusas!)”. Fue escrito por Joel Spolsky hace casi diez años, pero sigue siendo válido. Si te defiendes con el inglés, léelo y te prometo que no te arrepentirás por haber perdido el tiempo.

En el próximo artículo terminaremos este interludio sobre representación con otras notaciones que no son binarias, pero que nos será muy útiles.

1. Hemos dejado fuera intencionadamente los números imaginarios, porque no es habitual que los ordenadores los manejen explícitamente, sino que simplemente mantienen por separado la parte real y la parte imaginaria, y listo. [↩]
2. Sí, Baca, con B. Es ese artefacto que se pone encima de la carrocería de los automóviles para llevar bultos. Baca. [↩]
3. Hubo otros códigos similares, como por ejemplo el EBCDIC de IBM, pero que, a pesar del evidente empuje de sus promotores, no se impusieron. Bueno, no se impusieron en otros ordenadores que no fueran los mainframes de IBM: en ese ecosistema el 99% o más del texto sigue estando codificado en EBCDIC. [↩]
4. Ojo: un teclado moderno real no funciona exactamente así. Solo es un ejemplo académico. [↩]

The Computador mágico XII – Representación binaria IV: texto by , unless otherwise expressly stated, is licensed under a Creative Commons Attribution-Noncommercial-No Derivative Works 2.5 Spain License.