Un equipo de AMD experimentó con la portabilidad rápida de grandes modelos de lenguaje hacia GPUs de cliente utilizando su nuevo software HRX Loom y un flujo de trabajo impulsado por agentes de inteligencia artificial.
El objetivo fue transferir 50 modelos populares de Hugging Face a hardware local en un tiempo récord. Lograron completar esta tarea en aproximadamente tres días gracias al esfuerzo combinado del software y el rendimiento del hardware.
La prueba se realizó utilizando la plataforma Ryzen AI Max "Strix Halo". Este experimento demuestra la viabilidad de ejecutar modelos avanzados de IA directamente en equipos de escritorio o portátiles sin depender exclusivamente de servicios en la nube.
Esta iniciativa resalta las mejoras en la gestión de software para acelerar el desarrollo y despliegue de inteligencia artificial local, facilitando a los usuarios finales el acceso a herramientas de código abierto populares.
Fuente: Phoronix