Новый технический документ под названием «Опрос: Совместное проектирование аппаратного и программного обеспечения в эпоху больших языковых моделей» был опубликован исследователями из Университета Дьюка и Университета Джонса Хопкинса.
Абстрактный
«Быстрое развитие больших языковых моделей (LLM) существенно изменило сферу искусственного интеллекта, продемонстрировав замечательные возможности обработки естественного языка и развиваясь в сторону мультимодальной функциональности. Эти модели все чаще интегрируются в различные приложения, оказывая влияние как на исследования, так и на промышленность. Однако их разработка и внедрение сопряжены с серьезными проблемами, включая необходимость в обширных вычислительных ресурсах, высокое энергопотребление и сложную оптимизацию программного обеспечения. В отличие от традиционных систем глубокого обучения, LLM требуют уникальных стратегий оптимизации обучения и вывода, ориентированных на эффективность на уровне системы. В этой статье рассматриваются подходы к совместному проектированию аппаратного и программного обеспечения, специально разработанные с учетом уникальных характеристик и ограничений больших языковых моделей. В этом опросе анализируются проблемы и влияние программ LLM на исследования аппаратного обеспечения и алгоритмов, изучаются оптимизация алгоритмов, проектирование аппаратного обеспечения и инновации на системном уровне. Он направлен на обеспечение всестороннего понимания компромиссов и соображений, связанных с вычислительными системами, ориентированными на LLM, тем самым направляя будущие достижения в области искусственного интеллекта. Наконец, мы суммируем существующие усилия в этой области и намечаем будущие направления по реализации методологий совместного проектирования на уровне производства для следующего поколения больших языковых моделей и систем искусственного интеллекта.
Найдите технику бумага здесь. Октябрь 2024 г.
arXiv:2410.07265v1,
https://doi.org/10.48550/arXiv.2410.07265
Авторы: Цун Го, Фэн Чэн, Чжисю Ду, Джеймс Кисслинг, Джонатан Ку, Шию Ли, Зиру Ли, Мингюань Ма, Тергель Молом-Очир, Бенджамин Моррис, Хаосюань Шань, Цзинвэй Сунь, Юиту Ван, Чиюэ Вэй, Сюэин Ву, Юхао Ву, Хао Фрэнк Ян, Цзинъян Чжан, Цзюньяо Чжан, Цилинь Чжэн, Гуанглэй Чжоу, Хай (Хелен) Ли, Иран Чен.
