阿里通義千問開源首個MoE模型

據阿里通義千問消息，3月29日，通義千問團隊開源首個MoE模型，名爲Qwen1.5-MoE-A2.7B。它僅有27億個激活參數，但性能可與當前公認最先進的70億參數模型（Mistral7B、Qwen1.5-7B等）相媲美。