A medida que los modelos de IA se hacen más grandes, la cantidad de dinero y energía La necesidad de formarlos se ha convertido en un tema candente. Un nuevo enfoque que reescribe uno de los componentes fundamentales de la disciplina podría ofrecer una posible solución.

Desde entonces GPT-3 demostró los significativos saltos en el rendimiento que se pueden lograr simplemente incrementando de los modelos, los líderes de la industria de la IA han estado acumulando recursos en la formación redes neuronales cada vez más masivas .

Pero esto cuesta grandes cantidades de dinero, requiere recursos informáticos masivos y utiliza enormes cantidades de energía. Esto se considera cada vez más un problema, no solo por las implicaciones medioambientales, sino también porque dificulta la competencia de las empresas de IA más pequeñas y, en consecuencia, concentra el poder en manos de los líderes del sector.

Ahora, sin embargo, investigadores de la Universidad de Oxford han esbozado un nuevo enfoque que podría ly reducir el tiempo de entrenamiento a la mitad. Lo hacen reescribiendo uno de los ingredientes más fundamentales de los sistemas actuales de IA basados en redes neuronales: la retropropagación.

How a neural network processes data is governed by the strength of the connections between its various neurons. So to get them to do useful work, you first need to adjust these connections until they process the data the way you want them to. You do this by training the network on data relevant to the problem using a process called backpropagation, which is split into two phases.

El paso hacia adelante consiste en alimentar los datos a través de la red y conseguir que haga predicciones. En el paso hacia atrás, las mediciones de la exactitud de estas predicciones se utilizan para volver a recorrer la red y averiguar cómo debe ajustarse la fuerza de las distintas conexiones para mejorar el rendimiento. Repitiendo este proceso muchas veces con muchos datos, la red va trabajando gradualmente hacia una configuración óptima de conexiones que resuelva el problema en cuestión.

Este proceso repetitivo es la razón por la que se tarda tanto en entrenar la IA, pero los investigadores de Oxford pueden haber encontrado una manera de simplificar las cosas. I n a preimpresión publicada en arXiv , ellos de describir un nuevo enfoque de formación que elimina por completo el pase hacia atrás . En su lugar, su algoritmo hace estimaciones de cómo los pesos tendrán que sea alterado en el pase hacia adelante, y resulta que estas aproximaciones son lo suficientemente cercanas como para lograr un rendimiento comparable al de la retropropagación.

Los investigadores demostraron que este método puede utilizarse para entrenar una gran variedad de algoritmos de aprendizaje automático, pero que, al tratarse sólo de un paso hacia delante, puede reducir el tiempo de entrenamiento hasta la mitad.

Es un simple truco matemático, Andrew Corbett de la Universidad de Exeter en el Reino Unido le dijo a Nueva Ciencia , but co a ayudar a resolver uno de los retos más acuciantes a los que se enfrenta la IA en la actualidad. «Es algo muy, muy importante de resolver, porque es el cuello de botella de los algoritmos de aprendizaje automático», dijo.

Sin embargo, está por ver hasta qué punto es aplicable este enfoque. En su artículo, los investigadores muestran que la diferencia en los costes de ejecución se reduce a medida que aumenta el número de capas de una red neuronal, lo que sugiere que la técnica puede tener rendimientos decrecientes con modelos más grandes.

Sin embargo, los investigadores también señalan que han identificado una serie de oportunidades para ajustar la forma en que funcionan los algoritmos estándar de aprendizaje automático para que se adapten mejor a su método, lo que podría dar lugar a nuevas ganancias de rendimiento.

La investigación también podría contribuir a resolver un misterio actual de la inteligencia humana. Las redes neuronales artificiales siguen siendo una de nuestras mejores herramientas para investigar cómo aprende el cerebro, pero ha Hace tiempo que se sabe que la retropropagación no es biológicamente plausible debido a la falta de conectividad hacia atrás entre las neuronas. Un enfoque de aprendizaje que sólo requiere un paso hacia adelante puede ayudar a arrojar luz sobre cómo nuestro cerebro resuelve el problema del aprendizaje.

Crédito de la imagen: Pexels / 9144 imágenes


¿Busca formas de adelantarse al ritmo del cambio? Replantea lo que es posible. Únase a una cohorte exclusiva de 80 ejecutivos en el emblemático Programa Ejecutivo (PE) de Singularity, un programa de transformación del liderazgo de cinco días de duración y totalmente inmersivo que altera las formas de pensar existentes. Descubra una nueva mentalidad, un conjunto de herramientas y una red de compañeros futuristas comprometidos con la búsqueda de soluciones para el rápido ritmo de cambio en el mundo. Haga clic aquí para obtener más información y presentar su solicitud hoy mismo.