El auge de AI Edge surgió en gran medida de la mayor demanda de poder de inferencia disponible para el usuario, y las organizaciones buscan cada vez más implementar algoritmos y modelos de IA en dispositivos Edge locales.
En la actualidad, el panorama de los chips de IA está dominado en gran medida por un puñado de proveedores que desarrollan aceleradores para soportar cargas de trabajo cada vez mayores en el centro de datos. Sin embargo, a medida que crece el Edge, surgen oportunidades para que nuevas empresas se desvíen de la arquitectura del centro de datos.
SiMa (pronunciado See-ma) es una de esas empresas que actualmente está generando revuelo en el mercado de Edge AI, con la esperanza de hacerse un hueco en el espacio situado por encima de dispositivos de menor potencia, como los chips telefónicos, y por debajo de los equipos de centros de datos significativamente más potentes.
Fundada en 2018 por el exdirector de operaciones de Groq, Krishna Rangasayee, la empresa con sede en San José, California, apunta al segmento de mercado de consumo energético entre 5 W y 25 W. Hasta el momento, ha desarrollado un sistema de aprendizaje automático en chip (MLSoC) de Edge integrado que, según afirma, permite a los clientes ejecutar aplicaciones completas en un chip.
Hasta la fecha, la compañía ha recaudado 270 millones de dólares en financiación y ha lanzado la segunda generación de su oferta en septiembre de 2024, con muestras que estarán disponibles para los clientes en el cuarto trimestre de este año.
Si bien no se han hecho públicos todos los clientes de SiMa, a principios de este mes anunció una asociación con la organización de fabricación TRUMPF, que utilizará los chips para desarrollar láseres impulsados por IA.
Cuando DCD habló con el vicepresidente senior de ingeniería y operaciones de SiMa, Gopal Hegde, a principios de julio de 2024, reveló que el chip de segunda generación basado en la tecnología de proceso de 6 nm de TSMC llegaría a la empresa en cuestión de días.
Hegde es un veterano de la industria de chips y un emprendedor en serie que se unió a SiMa hace cuatro años después de una temporada en Marvell, que había adquirido una startup para la que había trabajado anteriormente.
Nos cuenta que SiMa apunta específicamente al mercado Edge integrado, que la compañía describe como la capa que se encuentra entre la nube y los dispositivos personales.
SiMa cree que este segmento vale actualmente alrededor de 40 mil millones de dólares y, dentro de ese mercado, la compañía está buscando aplicaciones en atención médica, comercio minorista inteligente, vehículos autónomos, gobierno y robótica.
“La IA realmente ha despegado en los centros de datos y en la nube, pero han pasado casi 10 años para que eso suceda”, afirma Hegde. Y sostiene que esto también ha sucedido con Edge AI, donde un conjunto único de requisitos ha hecho que la industria avance con relativa lentitud.
Hegde identifica tres desafíos principales: costo, facilidad de implementación y falta de experiencia. Hegde dice que SiMa es diferente de otras empresas de AI Edge en el mercado porque, además de intentar abordar los problemas relacionados con el costo y la experiencia, su solución de software Palette proporciona un enfoque sin código para el desarrollo de aplicaciones de aprendizaje automático de Edge.
“En realidad, nos estamos centrando en la infraestructura de software necesaria para implementar la IA y el aprendizaje automático, que es la principal diferencia entre nosotros y muchas otras empresas”, afirma. “Muchos de nuestros competidores fabrican silicio excelente y, en muchos casos, su silicio puede ser mejor que el nuestro. Pero nadie tiene un software similar al nuestro y nadie está intentando resolver el problema de forma tan exhaustiva como nosotros para satisfacer las necesidades de nuestros clientes”.
Estas necesidades de los clientes incluyen los desafíos que plantean las cargas de trabajo de IA cada vez más complejas, a las que, según Hegde, la mayoría de los proveedores de chips han reaccionado "añadiendo más hardware [a la carga de trabajo] y esperando que el problema desaparezca".
Desafortunadamente, dice, esa no es una opción para los clientes de SiMa porque no pueden implementar, por ejemplo, la próxima GPU Blackwell de 1 kW de Nvidia en Edge, ya que la mayoría de los dispositivos implementados para fines de inteligencia artificial en Edge tienen un consumo de energía de uno a dos dígitos. Por supuesto, Nvidia también tiene sus propias ofertas de Edge, incluida la GPU Nvidia A2 de 40-60 W.
“No estamos haciendo que el silicio sea más complejo, pero estamos mejorando la capacidad de procesamiento y de aprendizaje automático”, afirma Hegde. “Con nuestro chip de segunda generación, hay el doble de capacidad de procesamiento en comparación con la primera generación, por lo que puede admitir aplicaciones mucho más complejas, y la forma en que resolvemos el problema es con software”.
Para SiMa, la “innovación clave” tiene mucho que ver con la forma en que desarrolla su software de cadena de herramientas de compilación, que permite a la empresa ejecutar redes de manera muy eficiente sin tener que implementar más hardware.
Según él, este enfoque contrasta directamente con el de algunas de las principales empresas de chips, como Nvidia, Intel y AMD, que simplemente “añaden más núcleos de GPU al problema… o memoria más cara”, lo que acaba haciendo que el hardware sea más complejo, consuma más energía y sea más caro. En cambio, al implementar software, SiMa tiene una forma mucho más eficiente de programar y ejecutar instrucciones de aprendizaje automático en paralelo.
“Estamos cruzando los dedos para mejorar el rendimiento por vatio de este chip y estamos viendo una mejora de más del 50 por ciento”, afirma Hegde. “En comparación con nuestra generación anterior en la plataforma de emulación, durante la vida útil del producto en los últimos dos años, hemos mejorado el rendimiento en más del 30 por ciento simplemente haciendo ajustes de software”.
Como resultado, en los próximos 12 meses, la compañía espera ver una mejora de aproximadamente el doble del rendimiento por vatio.
Compitiendo con Nvidia
Es casi imposible hablar de chips de IA sin mencionar a Nvidia, y aunque Hegde dice que es difícil no ver al gigante de las GPU como un competidor, simplemente por su absoluto dominio, en última instancia, las dos compañías apuntan a dos bases de clientes muy diferentes, con la solución de Nvidia de menor consumo de energía que ofrece el mismo consumo de energía que la oferta absolutamente superior de SiMa.
Y si bien Nvidia ha estado estableciendo récords de evaluación comparativa de rendimiento MLPerf para cargas de trabajo en la nube, Hegde dice que el rendimiento de la compañía no se compara con el rendimiento de Edge.
En agosto de 2023, SiMa hizo su primera presentación en MLPerf en la ronda v3.1 y compitió con el kit Jetson Xavier NX de Nvidia (10-40 W) en la prueba de evaluación comparativa cerrada Edge ResNet50. SiMa pudo demostrar una mejor latencia, eficiencia energética y rendimiento general.
“Cuando [Nvidia] ejecuta cargas de trabajo de Edge, en realidad no funcionan muy bien porque no están optimizadas para Edge”, afirma Hegde. “Por eso, fuimos a MLPerf básicamente para competir con ellos y, en tres presentaciones (SingleStream, MultiStream y Offline), los superamos en todas las oportunidades”.
Hegde dice que Nvidia ya no participa en la categoría cerrada de Edge, y en cambio centra sus esfuerzos en otras presentaciones donde la compañía continúa estableciendo récords.
Sin embargo, si bien es posible que SiMa ya haya superado a Nvidia en su propio terreno, a diferencia de otras empresas emergentes de chips AI Edge que han comenzado a considerar una futura entrada en el centro de datos, Hegde señala que ese no es un camino que SiMa esté considerando.
“Nuestra ambición es ser un actor clave en el mercado de Edge integrado y queremos lograrlo abordando los tres problemas principales de los que hablamos: costo, facilidad de uso e implementación, y acelerando una aplicación completa de extremo a extremo.
“En los tres casos, lo que estamos haciendo es muy diferente a lo que hace Nvidia y muy diferente a lo que hacen todos nuestros competidores”.
"Muchos de nuestros competidores fabrican silicio excelente y, en muchos casos, su silicio puede ser mejor que el nuestro, pero nadie tiene un software similar al nuestro y nadie está intentando resolver el problema de forma tan exhaustiva como nosotros para satisfacer las necesidades de nuestros clientes".
El enfoque de SiMa contrasta directamente con el de algunas de las principales compañías de chips, como Nvidia, Intel y AMD, que simplemente incorporan más núcleos de GPU al problema... o memoria más cara.