Баланс экспертов: Теория эффективного распределения нагрузки в больших моделях ИИ

Новая работа предлагает теоретическую основу для оптимизации распределения нагрузки в разреженных моделях Mixture-of-Experts, обеспечивая стабильную работу и высокую производительность.



