https://retina.elpais.com/retina/2018/01/10/tendencias/1515589047_263668.html

Las armas autónomas no sólo existen ya, sino que, como bien dice el artículo, son mucho más baratas, fáciles de entrenar, fiables y eficaces que un batallón de marines o de SEALs o de lo que sea. Todo el mundo en la pomada dice que “no hay que preocuparse, puesto que la decisión la toma en último término un humano”, se supone que informado y ético. Ya, sí, pero… ¿hasta cuando?

Hace tiempo que las compañías del tipo HFT (High Frequency Trading) se están haciendo de oro simplemente por ser capaces de detectar una orden “legítima” (sea enviada por un operador humano o cibernético), por ejemplo de comprar chorrocientos millones de acciones de Industrias ACME (bip, bip), y simplemente ellos la ejecutan una centésima de segundo antes que el operador legítimo, a quien le revenden las acciones un centimillo más caras. Como no publican datos no se sabe muy bien cuánta pasta ganan estas compañías HFT, pero se sospecha que mucho miles de millones.

Hace ya un par de años que Paul Krugman comentaba que se había construido un túnel de no sé cuántos kilómetros, a un precio exorbitante, para conectar con un cable de fibra óptica creo que Chicago con Nueva York, y así arañar unas décimas de segundo a la conexión entre ambos centros financieros. No hubo el menor problema para hallar financiación para esta obra, así que puedes imaginar cómo van a amortizarla.

De todos modos, siempre ha habido intentos de maipular le mercado, con o sin AlphaFinances. Aquí en España hace dos o tres años hubo una intervención masiva de órdenes de venta justo un minuto antes del cierre del mercado, provocando una baja de más de dos puntos del Ibex 35 en ese corto espacio de tiempo. Resulta que ese día vencía una garantía de un fondo referenciado al Ibex, que por ese par de puntitos se ahorró un pastón tremendo en compensaciones. Y lo bueno es que de los millones de acciones puestas a la venta de golpe no se llegaron a vender casi ninguna, pues no había contrapartida, por lo que la operación le salió, a quien fuera, casi gratis. El día siguiente se retiraron las órdenes y todo volvió a la normalidad. Por cierto, se investigó durante meses y meses… y no se sancionó a nadie, a pesar de que era bastante evidente quién había sido el originario del asunto.

Por otra parte, en mi opinión es muuuuy sencillo evitar todo esto, al menos en el sector financiero: retrasar la ejecución de las órdenes simplemente un minutillo de nada. La orden se lanza y se queda esperando un minutito en el limbo hasta que se casa y se ejecuta. Y se acabaron los listos y los HFTs y toda la parafernalia, o al menos se les complicaría muchísimo el trabajo. Pero, claro, a ver quién es el guapo que toma tal medida…

En realidad a mí me preocupan mucho más otro tipo de IAs: las que controlan sistemas críticos en tiempo real: controladores aéreos, semáforos, radares, sonares, energía, etc. Con el tiempo se demostrará que son mucho más eficientes que los humanos gestionando los sistemas, y algún capullo decidirá ahorrarse algunos sueldos dándoles el control total de su ámbito. Y a partir de ahí… a rezar por que nunca se equivoquen.

Eso es lo que me da miedo, porque todo informático de pro sabe que “Si algo puede ir mal, irá mal”, y además, “Si algo no puede nunca ir mal, irá mal de todos modos”. Eso es lo que me preocupa.

Eso.

Gracias por tu acertado comentario.

Los programas de trading automático ya causaron algún que otro disguto en el pasado al sincronizarse en las ordenes y provocar bajadas expextaculares en cotizaciones de bolsa.

Actualmente no solo se ha refinado más los programas sino que se están llegado a perrerias de instalar el software (los bots, en denitiva) en instalciones y servidores virtuales lo más proximos posible al ordenador de la bolsa correspondiente para reducir el tiempo de latencia y arañar unas millonesismas de segundo al competidor y parece que en bancos y financieras contratan más a ingenieros y matemáticos que a economistas y abogados.

Por eso habra que tentarse la ropa si de pronto un Alpha-Finances empieza a montar un pollo de narices. La anécdota de la jugada “inutil” que tanto ha sorprendido a los expertos y que después se mostró crucial puede quedar en nada si lo comparamos a lo que puede hacer en el mundo real ¿y si la compra de acciones de tal empresa puede ser una tonteria para el analista y meses más tarde empieza a subir como la espuma porque sus presumibles competidores caen inexplicablemente?.

Por otra parte si dejamos la amenaza de Skynet para pasado mañana, la verdadera amenaza de estos sistemas es la eliminación de miles de puestos de trabajos que los expertos llaman “empleo de calidad”. Ya no se iran a la calle los empleos de “cuello azul” sino muchos de los del “cuello blanco”. El coche será montado por robots que ajustan muy bien los tornillos y los cordones de soldadura, sino que tambien será diseñado por un software que en cuestión de dias te dá varias variantes de un modelo para el mandamás elija y de paso te hace gratis las pruebas de aerodinámica.

¿Tendria Tony Stark un programa llamado Alphan-desing al que con solo decirle cuatro paramétros y el color te diseña y fabrica en cuestión de horas un chulo traje de Ironman?

Tu opinión, completamente válida y bien argumentada, por supuesto, es la por así llamarla “opinión conservadora”, sin ningún significado despectivo. Me recuerda muchísimo a la opinión mayoritaria, casi unánime que se respiraba en el mundillo ajedrecístico-informático a principios de los noventa, tal como dije en el artículo:

“por muy bien que llegue a jugar un ordenador, pasarán muchas décadas antes de que sea capaz de ganar a un maestro, y no digamos a un Gran Maestro… ¡o al Campeón del Mundo! Y había incluso quien decía que nunca jamás se produciría tal evento…“.

Luego la realidad mostró que en unos pocos años las máquinas sí que ganaron a los grandes maestros. A todos. Hace muchos años que ningún maestro está dispuesto a jugar un match con una máquina, ni aunque le den un par de peones de ventaja.

Lo que quiero decir con esto es que la tecnología basada en el deep-learning está avanzando a una velocidad inimaginable hace unos años. Por ejemplo, el reconocimiento facial está llegando a unos niveles en los que será perfectamente posible lo que se veía en la película “Minority Report”: que vayas por la calle, en el autobús o donde sea y cada vez que pases delante de una cámara te diga “Hola, señor Ryback, tengo una oferta personalizada para Vd…”. La tecnología ya lo permite, de hecho, si no lo hacen ya es porque aún no han almacenado suficientes caras, pero si seguimos subiendo fotos a Picasa o a Facebook o a donde sea, o usando nuestra cara para desbloquear el móvil, en unos mese o años lo veremos.

No tengo yo nada claro que una IA (o, si quieres, un programa de ordenador bien programado y entrenado) no sea capaz de analizar situaciones nuevas para ella y tomar una decisión válida basada en su experiencia y situaciones similares. Eso es lo que hace un humano cada día, por supuesto. De hecho, eso ha pasado en las partidas de Alphazero y Stockfish; dudo mucho que en el entrenamiento se haya encontrado con esas posiciones concretas que se han dado en ellas. Lo que ha hecho es ver las cosas con la mentalidad de un gran maestro humano, buscando situaciones en las que a largo plazo obtiene ventaja. Pero encontrando soluciones concretas que todo el mundo duda mucho de que un humano las encontrara en un tiempo razonable. Y, analizando las partidas que se han publicado no he encontrado a ningún maestro que diga que Stockfish ha fallado en la elección de sus jugadas en los finales. Si le faltaba el libro de finales, se ha notado poco. Y, al contrario, la técnica que ha demostrado Alphazero en esas situaciones ha sido poco menos que perfecta, según dicen los que saben. Sin libro de finales ni gaitas.

Cierto es que sólo se conocen diez partidas de esas cien, y la única forma de poder conocer el potencial es que se libere Alphazero y el personal lo ponga a jugar con la última versión de Stockfish o con Carlsen, qué sé yo, pero lo que se sabe hasta ahora es para dejar sin habla a tipos como el analista de Carlsen, nada menos, que debe ser uno de los tipos más conocedores de ese deporte que hay en el mundo. Tras analizar las diez partidas ha declarado que es “un ajedrez de ciencia-ficción”. Lo mismo dicen Judith Polgar y otros grandísmos jugadores.

En fin, lo que yo pienso es que las IAs (o programas que aprenden solitos) están aprendiendo mucho más de lo que la mayor parte de la humanidad supone, porque… a saber qué algoritmos estarán desarrollando en la NSA, o en su equivalente china o rusa o coreana, o en cualquier gran empresa tecnológica o no, o en el garaje de un iluminado, futuro Bill Gates o Mark Zuckerberg, que estará trabajando en algo que ahora a nadie le importa y que dentro de diez años tendrá seis mil millones de usuarios, como fue el caso de Facebook, o de Whatsapp, o del iPhone. Y me da miedo. Con o sin razón, pero me lo da.

Llegará un momento (de hecho creo que ya ha llegado) en que gestionar una problemática concreta será imposible para los humanos y se dejará que sean las máquinas quienes tomen las decisiones. Esperemos que siempre las tomen bien, porque, según dónde, basta con que se equivoquen una vez para que no haya oportunidad de que lo hagan por segunda vez…

Feliz Año a todos.

Hola a todos

Desde el máximo respeto que se merece Macluskey y los demás, permitidme la libertad de creer del todo incorrectas casi todas vuestras conclusiones y comentarios. Es más, aseguro tal cosa aún teniendo la certeza que mis conocimientos de informática y ajedrez son bastante inferiores a los suyos (ahí, chorreando litros de chulería aún sin ser de Madrid).

Partamos de lo esencial: las máquinas no pueden ser inteligentes tal como se entiende esa palabra, punto. La mal llamada “inteligencia artificial” es una invención surgida por la necesidad de llamar la atención por parte de quienes trabajan en computación avanzada. Es el mismo motivo que tu mismo explicas sobre el titular del artículo del señor Leontxo García. El recurso más escaso de las personas es su tiempo y si pretendemos “robarle” una parte de éste debemos usar un buen cebo, sobre todo en esta época saturada de continuos estímulos. Quien no actúe así verá como su trabajo, por bueno que sea, cae en el pozo negro de la irrelevancia y el olvido. No es casualidad que a ese tipo de titulares los llamen “clickbait”.

Pero hay más efectos derivados de llamar “inteligencia artificial” a los avances en esos campos. Por motivos culturales asociamos las menciones a esa tecnología a la infinidad de obras de ciencia ficción en donde aparecen “IAs” con unas capacidades tremendas. Esas obras tienen mucho más de ficción que de ciencia, pero librarse de ese paralelismo inconsciente es complicado. Así pues, lo habitual es que al leer sobre “inteligencia artificial” estemos más predispuestos a asombrarnos y a dejar volar la imaginación.

Hay que recordar también que la mayoría de avances en este campo se están dando en empresas que invierten cifras astronómicas y por lo tanto esperarán un rédito, aunque sólo sea mejorando su imagen para que suban las acciones. Por lo tanto los comunicados de los resultados obtenidos están llenos de un cierto auto-bombo y exagerado optimismo. Añadamos al cóctel la infinidad de gurús de medio pelo dispuestos a arrodillarse ante cualquier cosa que parezca tecnología punta y que llenan Internet de ruido mediático amarillista (el PC iba a hacer desaparecer el papel, los portátiles al PC, las tablets a los portátiles y la IA a los humanos).

Todo esto provoca lo que, en mi opinión, es una disminución colectiva de la objetividad y análisis crítico con el que se afrontan estos temas; incluso en gente con conocimientos y la cabeza bien amueblada. Luego, para evitar ese estado de “embriaguez tecnológica”, yo propongo llamar las cosas por un nombre más adecuado: análisis artificial profundo. Eso es lo que hacen todos esos algoritmos: Analizar una situación dada con una profundidad que hasta ahora no se lograba con ordenadores y que, por limitaciones puñeteras del Mundo Real®, los humanos no podemos lograr por nuestra cuenta.

Vayamos ahora al meollo del asunto y aquí sí que hay algo en lo que coincido bastante con Macluskey: El resultado de AlphaZero es un rapapolvo a la forma de programar hasta ahora en muchos campos. Pero no porque hayan descubierto un modo mejor como cree él, sino porque han demostrado que existen alternativas. Hay campos en computación en donde la gente se había vuelto muy acomodaticia e indolente. Eso es algo muy malo para el desarrollo de la ciencia pues hace que se estanque en terrenos ya trillados. AlphaZero ha sido como una bofetada en la cara que te despierta del suelo en donde te crees el rey del mambo. Pero no nos equivoquemos, AlphaZero NO es mejor jugando al Ajedrez que Stockfish, juega distinto que no es lo mismo. Y por ese mismo motivo creo que donde un humano no puede ganar a Stockfish, sí que podría ganar a AlphaZero.

¿Por qué creo esto? Pues porque AlphaZero sólo sabe jugar en la medida que previamente haya ido encontrándose con situaciones de las que recuerda como sacar ventaja. Si un jugador humano le sale con un movimiento que no se espera y no conoce, no podrá evaluarlo correctamente (de hecho, es mucho peor evaluando nuevas opciones que no Stockfish) y puede perder estrepitosamente. De hecho, si se diese ese caso, sucedería exactamente lo mismo que AlphaZero le hizo a Stockfish en esa jugada tan comentada que has mencionado (y con la que también hubiese hecho morder el polvo a un Gran Maestro)

¿Al fin y al cabo, cómo jugaban hasta ahora los mejores ordenadores? Pues cogían el conocimiento que teníamos los humanos y le aplicaban una velocidad de cálculo que un humano no puede llegar ni a acercarse; por eso no podíamos batirlos ya. Existían análisis de apertura y de finales, con un límite de jugadas porque si no la cantidad de posibilidades es tan monstruosa que resultaba inabarcable. Así que en medio de esos dos extremos, los programas hasta ahora jugaban basándose en algoritmos de toma de decisiones, que eran la traducción del conocimiento humano. Pero eso nunca ha significado que la nuestra fuese la mejor forma de jugar, sólo la mejor de las conocidas.

¿Qué ha sucedido con AlphaZero? Pues que por primera vez, a un sistema informático de tan TREMENDA potencia, se le ha dicho literalmente “juega como te dé la puñetera gana”. El resultado era de esperar, ha encontrado opciones de juego desconocidas hasta ahora porque requerían de un análisis en profundidad que ni un humano (por limitaciones naturales) ni otras máquinas (por estar atados a cadenas de toma de decisión) no podían lograr. Macluskey cree que el Stockfish estaba algo limitado por el asunto del tiempo y en cambio la ausencia de tablas de finales no fue tan relevante. Yo creo todo lo contrario, que lo de las tablas de finales fue echo expreso para evitar el punto débil de AlphaZero (y así tener una victoria más rotunda que diese más bombo al asunto). Estoy seguro que cuando se analicen el centenar de partidas aparecerán victorias de AlphaZero conseguidas con finales sub-óptimos que hubiesen sido derrotas de lo contrario (por ser finales sobradamente conocidos y estudiados). Pero a falta de esos finales pre-programados, los algoritmos de Stockfish fueron aún peores que los del AlphaZero porque ya venían confundidos de muchas jugadas atrás.

Si ponemos a dos Stockfish a enfrentarse entre sí, lo más probable es que salgan tablas una tras otra en la mayoría de casos porque su forma de jugar está prefijada. Si hiciésemos lo mismo con dos AlphaZero independientes (cada cual realizando su “aprendizaje” por separado), nos encontraríamos muchas tablas, pero también un porcentaje significativo de victorias para cada una. Cuando una de las dos máquinas saliese con una jugada que la otra no hubiese desarrollado dentro del azar de su “aprendizaje” previo, sería una ventaja enorme. Por ese mismo motivo creo que un humano puede ganar a AlphaZero. Y un humano que empiece a aprender de las nuevas jugadas “poco ortodoxas” que salgan de AlphaZero será capaz de partirle los bits a cualquier Stockfish hasta que nuevas versiones de éste no incluyan algoritmos para evaluar adecuadamente estas nuevas formas de desarrollar el juego.

Pero lo que ha demostrado AlphaZero no es inteligencia. Lo que ha demostrado es que existen otras soluciones de juego hasta ahora no descubiertas (que no es poco eh, tiene su señor mérito). También nos ha demostrado una vez más que es malo obcecarse en solucionar un problema desde un único punto de vista; que hay que estar abierto siempre a alternativas que partan desde cero o casi. Pero AlphaZero (ni ningún algoritmo de ese tipo) no es capaz de encontrar una respuesta que no estuviese ahí delante de nuestras narices, no será capaz de comprender lo que encuentre si no se le ha codificado previamente. Por ejemplo, estos algoritmos son muy buenos encontrando correlaciones entre montones ingentes de datos. Pero sólo un humano sabrá decirle si ahí existe causalidad.

Habéis mencionado un ejemplo hipotético en donde un programa “inteligente” buscaba el MEJOR desempeño de una compañía eléctrica. Dijisteis que el resultado dependería de si se le priorizaba la compañía, la sociedad, el medio ambiente… Incorrecto todo ello: el resultado dependería de cómo le describiésemos al programa el concepto “mejor”. A partir de ahí, lo único que haría el programa sería aplicar potencia bruta de cálculo pero con una estrategia distinta a las usadas hasta ahora. Eso no es inteligencia, lo sería si la máquina plantease todos los escenarios posibles y encontrase por si sola los que resultasen “mejor”. Y eso que el concepto “mejor” es algo que en muchos casos se podrá cuantificar y por lo tanto interpretar por la máquina. Como nos metamos en el pantano de los conceptos abstractos como las emociones, a esa IA o cualquier otra le saltan los plomos.

Pongamos otro ejemplo: la conducción autónoma. Te puedes permitir que un programa se tire dos meses aprendiendo a jugar a ajedrez, como mucho pagarás un buen sablazo de factura de la luz. ¿Pero te puedes permitir el lujo de tener dos meses aprendiendo a conducir a una máquina equivalente a AlphaZero? Antes no hubiese aprendido a salir del aparcamiento ya habría atropellado a alguien y enviado al chatarrero multitud de coches. Inviable totalmente, las “IA” de los coches autónomos requieren unas reglas fijas de comportamiento, luego no son inteligentes en absoluto. Pero las situaciones que nos podamos encontrar en carretera son infinitas (basta ver los vídeos de dashcam rusos en Youtube), eso NO se puede pre-programar y muchos sucesos son tan poco frecuentes que no podemos asegurar que un “deep learning” se hayan enfrentado a ellos durante su “aprendizaje”. Por eso ya ha habido incidentes y accidentes con coches autónomos; y más que habrá.

Las máquinas pueden ayudarnos en situaciones concretas para mejorar nuestra conducción (asistentes de frenado de emergencia, de estabilidad…); realizando tareas con una velocidad o una precisión que el conductor humano a menudo no podrá igualar. Pero no existe (ni existirá con los conocimientos actuales y a medio plazo) ninguna máquina que pueda substituir el razonamiento libre de un humano al mando. Otra cosa es que las máquinas no muestren los comportamientos nocivos que muchas personas tienen al volante, pero eso no las convierte ni en inteligentes ni en mejores (sólo en menos trogloditas que algunos conductores). Una máquina sólo te puede quitar la faena en dos supuestos: o bien es un trabajo repetitivo, monótono y previsible que se puede definir con reglas claras y sencillas o bien no estás haciendo tu trabajo (pensar) sino limitándote a aplicar las soluciones que otros ya encontraron antes.

Saludos a todos los que hayáis sobrevivido hasta el final de mi ladrillo y feliz año nuevo.

Efectivamente, los humanos somos así: creamos un programa que hace nuestro trabajo, lo diseñamos para que lo haga bien y rápido, y llega un momento que nosotros, directamente, no sabemos cómo hacer el trabajo que antes hacíamos y ahora hace una máquina. Y eso lleva a no cuestionar ninguna de las propuestas o acciones que lleva a cabo la IA, y con el tiempo, la IA se convierte poco menos que en un dios, o ale menos en su oráculo.

Si además tenemos una IA autodidacta que está diseñada para aprender de forma no supervisada… ¿quién sabrá cómo está evolucionando? Esperemos, como es tu postura, que dicha evolución sea siempre manteniendo los valores mínimos y que todo sea para bien.

Lo que pasa es que en mis mucho años de informático he visto de todo, y sobre todo cómo las Leyes de Murphy se cumplen siempre de forma inexorable. Tardarán más o menos, pero se cumplen siempre. Para los que no las conozcan, son:

1) Todo lo que puede ir mal, irá mal.

2) Aquello que no puede ir mal, irá mal, no obstante.

3) Cuando todo parece ir bien, Vd. ha olvidado algo.

Feliz Año 2018!!