Las redes neurales binarizadas prometen un aprendizaje rápido y preciso de las máquinas

Las redes neurales binarizadas prometen un aprendizaje rápido y preciso de las máquinas, Cloud Pocket 365
La eliminación de bits y piezas a lo largo de las ramas de la codificación en los algoritmos de aprendizaje de la máquina puede reducir la complejidad en los árboles de decisión y aumentar el rendimiento predictivo. Crédito: Nathan Johnson | Laboratorio Nacional del Noroeste del Pacífico

Como cualquiera con un pulgar verde sabe, la poda puede promover una vegetación próspera. Un recorte por aquí, un recorte por allá, y el crecimiento puede ser controlado y dirigido para una planta más vigorosa. El mismo principio se puede aplicar a los algoritmos de aprendizaje de la máquina. La eliminación de bits y piezas a lo largo de las ramas de codificación en esos algoritmos puede reducir la complejidad en los árboles de decisión y aumentar el rendimiento predictivo. Los investigadores del Laboratorio Nacional del Noroeste del Pacífico (PNNL) del Departamento de Energía de los Estados Unidos han hecho precisamente eso. Explorando con redes neuronales binarizadas (BNNs), usaron principios de poda para reducir significativamente la complejidad de la computación y las demandas de memoria. Los BNNs son primos cercanos de las redes neuronales profundas, que requieren grandes cantidades de computación. Pero las BNN difieren de manera significativa: utilizan bits individuales para codificar cada neurona y parámetro, usando mucha menos energía y potencia para el cómputo. Poda para un crecimiento más rápido Los investigadores reconocieron el valor potencial de los BNN para el aprendizaje automático a partir de aproximadamente 2016. Si se construyen o se podan de la manera correcta, consumen menos energía de computación y son casi tan precisas como las redes neuronales profundas. Esto significa que las BNN tienen más potencial para beneficiar a los entornos con recursos limitados, como los teléfonos móviles, los dispositivos inteligentes y todo el ecosistema de la Internet de las Cosas. Aquí es donde la poda entra en juego. A medida que la investigación de las redes neuronales ha crecido en los últimos años, la poda ha ganado más interés entre los investigadores informáticos. “La poda es actualmente un tema candente en el aprendizaje de la máquina”, dijo el científico informático del PNNL, Ang Li. “Podemos añadir software y codificación de arquitectura para empujar la poda hacia una dirección que tendrá más beneficios para el rendimiento de los dispositivos de computación. Estos beneficios incluyen menores necesidades de energía y menores costos de computación”

Las redes neurales binarizadas prometen un aprendizaje rápido y preciso de las máquinas, Cloud Pocket 365
A medida que la investigación de las redes neuronales ha ido creciendo en los últimos años, la poda ha ido ganando más interés entre los investigadores informáticos, según el científico informático del PNNL, Ang Li. Crédito: Andrea Starr | Laboratorio Nacional del Noroeste del Pacífico

Poda para la precisión Li formaba parte de un grupo de investigadores del PNNL que recientemente publicó resultados en el Instituto de Transacciones de Ingenieros Eléctricos y Electrónicos sobre Sistemas Paralelos y Distribuidos que mostraban los beneficios de la poda selectiva. La investigación demostró que podar los bits redundantes de la arquitectura BNN condujo a un BNN fuera de serie construido a medida, llamado O3BNN-R. Su trabajo muestra que un modelo BNN altamente condensado -que ya podía mostrar cualidades de supercomputación de alto rendimiento- puede reducirse aún más significantly sin pérdida de precisión. “Las redes neuronales binarizadas tienen el potencial de hacer que el tiempo de procesamiento de las redes neuronales sea de alrededor de microsegundos”, dijo Tong “Tony” Geng, un candidato a doctorado de la Universidad de Boston que, como interno del PNNL, ayudó a Li en el proyecto O3BNN-R. “La investigación del BNN se dirige en una dirección prometedora para hacer que las redes neuronales sean realmente útiles y se adopten fácilmente en el mundo real”, dijo Geng, que se reincorporará al personal del PNNL en enero como becario de investigación postdoctoral. “Nuestro hallazgo es un paso importante para realizar este potencial.” Su investigación muestra que este BNN fuera de servicio puede podar, en promedio, el 30 por ciento de las operaciones sin ninguna pérdida de precisión. Con un ajuste aún más fino, en un paso llamado “regularización en el entrenamiento”, el rendimiento puede mejorar un 15 por ciento adicional. Poda para el poder Además de estas contribuciones de BNN a la Internet de las cosas, Li también señaló los posibles beneficios de la red de energía. La implementación de un BNN modificado también podría proporcionar un impulso al software existente que protege contra los ciberataques cuando se despliega en la red eléctrica, ayudando a los sensores existentes a detectar y responder a un ataque, dijo Li. “Básicamente”, dijo Li, “estamos acelerando la velocidad de procesamiento en el hardware”

Cita

: Las redes neuronales binarizadas muestran la promesa de un aprendizaje rápido y preciso de la máquina (2020, 24 de noviembre) recuperado el 24 de noviembre de 2020 de https://techxplore.com/news/2020-11-binarized-neural-networks-fast-accurate.html

Este documento está sujeto a derechos de autor. Aparte de cualquier trato justo con el propósito de estudio o investigación privada, no parte puede ser reproducida sin el permiso escrito. El contenido se proporciona sólo con fines informativos.
Quizás también te interese  Es mentira que relaciones nacidas en apps de citas "no son duraderas", según estudio
Ir al contenido