Groq

Groq es una empresa que ofrece chips de inteligencia artificial de alto rendimiento y servicios en la nube, centrada en inferencias de IA de latencia ultra baja. Según su página, desde el lanzamiento de su producto GroqCloud en febrero de 2024 ha sido utilizado por más de 467.000 desarrolladores, y su tecnología cuenta con el respaldo de Yann LeCun, científico jefe de IA en Meta. La página también menciona una financiación de 640 millones de dólares liderada por BlackRock que situó la valoración de la empresa en 2,8 mil millones. Su ventaja práctica para los desarrolladores es la migración sin problemas desde otros proveedores, que según la página requiere solo tres líneas de cambio de código, y la compatibilidad con los endpoints de OpenAI. Admite modelos de código abierto como Llama, Mixtral, Gemma y Whisper, y menciona créditos de API gratuitos.

- Ejecutar modelos de IA con inferencia de latencia muy baja.

- Migrar desde otro proveedor con pocos cambios de código.

- Usar modelos de código abierto como Llama o Whisper.

- Integrar la inferencia en tu aplicación mediante API.

- Desarrolladores que despliegan modelos de IA.

- Empresas con cargas de inferencia altas.

- Equipos de investigación que necesitan rapidez.

El servicio en la nube depende de la infraestructura de Groq, así que una incidencia en sus sistemas afecta a tu aplicación. Aunque la migración es sencilla gracias a la compatibilidad con los endpoints de OpenAI, hay que ajustar el código y monitorizar el rendimiento para confirmar que los resultados son los que esperas. Los créditos de API gratuitos permiten probar, pero el uso intensivo implica coste. Por último, la página menciona datos de financiación y usuarios que corresponden al momento de su redacción y pueden haber cambiado, así que conviene consultar fuentes actualizadas antes de tomar decisiones.