A intelixencia artificial non segue a lóxica do progreso científico

Escribimos moitas veces en MT sobre investigadores e profesionais que proclaman os sistemas de aprendizaxe automática como "caixas negras" (1) incluso para aqueles que os constrúen. Isto dificulta a avaliación dos resultados e a reutilización dos algoritmos emerxentes.

As redes neuronais -a técnica que nos proporcionan robots intelixentes de conversión e xeradores de texto enxeñosos que mesmo poden crear poesía- seguen sendo un misterio incomprensible para os observadores externos.

Son cada vez máis grandes e complexos, manexan enormes conxuntos de datos e utilizan matrices de computación masivas. Isto fai que a replicación e análise dos modelos obtidos sexa custosa e ás veces imposible para outros investigadores, agás para grandes centros con grandes orzamentos.

Moitos científicos son ben conscientes deste problema. Entre eles está Xoel Pino (2), presidente de NeurIPS, a principal conferencia sobre reproducibilidade. Os expertos baixo a súa dirección queren crear unha "lista de verificación de reproducibilidade".

A idea, dixo Pino, é animar aos investigadores a ofrecer aos demais unha folla de ruta para que poidan recrear e utilizar o traballo xa feito. Podes marabillarte coa elocuencia dun novo xerador de texto ou a destreza sobrehumana dun robot de videoxogos, pero mesmo os mellores expertos non teñen nin idea de como funcionan estas marabillas. Polo tanto, a reprodución de modelos de IA é importante non só para identificar novos obxectivos e direccións de investigación, senón tamén como unha guía puramente práctica de uso.

Outros están tentando resolver este problema. Os investigadores de Google ofreceron "tarxetas modelo" para describir en detalle como se probaron os sistemas, incluíndo resultados que apuntan a posibles erros. Investigadores do Instituto Allen de Intelixencia Artificial (AI2) publicaron un artigo que pretende estender a lista de verificación de reproducibilidade de Pinot a outros pasos do proceso experimental. "Mostra o teu traballo", instan.

Ás veces falta información básica porque o proxecto de investigación é propiedade, sobre todo dos laboratorios que traballan para a empresa. Porén, con máis frecuencia, é un sinal de incapacidade para describir métodos de investigación cambiantes e cada vez máis complexos. As redes neuronais son unha área moi complexa. Para obter os mellores resultados, moitas veces requírese un axuste fino de miles de "botóns e botóns", que algúns chaman "maxia negra". A elección do modelo óptimo adoita asociarse cunha gran cantidade de experimentos. A maxia tórnase moi cara.

Por exemplo, cando Facebook intentou replicar o traballo de AlphaGo, un sistema desenvolvido por DeepMind Alphabet, a tarefa resultou extremadamente difícil. Os enormes requisitos computacionais, millóns de experimentos en miles de dispositivos durante moitos días, combinados coa falta de código, fixeron que o sistema sexa "moi difícil, se non imposible, de recrear, probar, mellorar e estender", segundo os empregados de Facebook.

O problema parece estar especializado. Porén, se pensamos máis aló, o fenómeno dos problemas de reproducibilidade de resultados e funcións entre uns equipos de investigación e outros socava toda a lóxica de funcionamento da ciencia e dos procesos de investigación que nos coñecemos. Como regra xeral, os resultados de investigacións anteriores pódense utilizar como base para investigacións posteriores que estimulen o desenvolvemento do coñecemento, a tecnoloxía e o progreso xeral.