Опрос: Подходы к совместному проектированию аппаратного и программного обеспечения, адаптированные к программам LLM

Новый технический документ под названием «Опрос: Совместное проектирование аппаратного и программного обеспечения в эпоху больших языковых моделей» был опубликован исследователями из Университета Дьюка и Университета Джонса Хопкинса.

Абстрактный
«Быстрое развитие больших языковых моделей (LLM) существенно изменило сферу искусственного интеллекта, продемонстрировав замечательные возможности обработки естественного языка и развиваясь в сторону мультимодальной функциональности. Эти модели все чаще интегрируются в различные приложения, оказывая влияние как на исследования, так и на промышленность. Однако их разработка и внедрение сопряжены с серьезными проблемами, включая необходимость в обширных вычислительных ресурсах, высокое энергопотребление и сложную оптимизацию программного обеспечения. В отличие от традиционных систем глубокого обучения, LLM требуют уникальных стратегий оптимизации обучения и вывода, ориентированных на эффективность на уровне системы. В этой статье рассматриваются подходы к совместному проектированию аппаратного и программного обеспечения, специально разработанные с учетом уникальных характеристик и ограничений больших языковых моделей. В этом опросе анализируются проблемы и влияние программ LLM на исследования аппаратного обеспечения и алгоритмов, изучаются оптимизация алгоритмов, проектирование аппаратного обеспечения и инновации на системном уровне. Он направлен на обеспечение всестороннего понимания компромиссов и соображений, связанных с вычислительными системами, ориентированными на LLM, тем самым направляя будущие достижения в области искусственного интеллекта. Наконец, мы суммируем существующие усилия в этой области и намечаем будущие направления по реализации методологий совместного проектирования на уровне производства для следующего поколения больших языковых моделей и систем искусственного интеллекта.

Найдите технику бумага здесь. Октябрь 2024 г.

arXiv:2410.07265v1,
https://doi.org/10.48550/arXiv.2410.07265
Авторы: Цун Го, Фэн Чэн, Чжисю Ду, Джеймс Кисслинг, Джонатан Ку, Шию Ли, Зиру Ли, Мингюань Ма, Тергель Молом-Очир, Бенджамин Моррис, Хаосюань Шань, Цзинвэй Сунь, Юиту Ван, Чиюэ Вэй, Сюэин Ву, Юхао Ву, Хао Фрэнк Ян, Цзинъян Чжан, Цзюньяо Чжан, Цилинь Чжэн, Гуанглэй Чжоу, Хай (Хелен) Ли, Иран Чен.

ЧИТАТЬ  Проектирование высокотехнологичных рабочих пространств: ключ к повышению привлекательности и гибкости в гибридную эпоху

Source

Оцените статью
Своими руками