DBRX és un model de llenguatge gran (LLM) de codi obert desenvolupat per l'equip de Mosaic ML a Databricks, publicat el 27 de març de 2024. Es tracta d'una combinació de models de transformador, amb 132.000 milions de paràmetres en total. 36 mil milions de paràmetres (o 4 experts actius) estan actius per a cada testimoni. El model llançat es presenta en una versió de model de base o en una variant ajustada per instruccions.
DRBX supera altres models destacats de codi obert, com ara LLaMA 2 de Meta, Mixtral de Mistral AI i Grok de xAI i models de font propera com GPT-3.5 en diversos punts de referència que van des de la comprensió del llenguatge, la capacitat de programació i les matemàtiques. A partir del 28 de març de 2024, això fa que DBRX sigui el model de codi obert més potent del món.
Va ser entrenat en 2,5 mesos en 3.072 Nvidia H100 connectats per 3,2 terabytes per segon d'ample de banda (InfiniBand), per un cost d'entrenament de 10 milions de dòlars.
Referències
Categoria:Models de llenguatge gran