Подпишитесь на наши ежедневные и еженедельные информационные бюллетени, чтобы получать последние обновления и эксклюзивный контент, посвященный передовым технологиям искусственного интеллекта. Узнать больше
Тенсент раскрытый «Хунюань3D 2.0», система искусственного интеллекта, которая за считанные секунды преобразует отдельные изображения или текстовые описания в подробные 3D-модели. Система превращает обычно длительный процесс, который может занять у опытных художников дни или недели, в быструю автоматизированную задачу.
Вслед за своим предшественником, эта новая версия модели доступна как проект с открытым исходным кодом для обеих версий. Приятное лицо И GitHubделая технологию немедленно доступной разработчикам и исследователям по всему миру.
«Создание высококачественных 3D-ресурсов — это трудоемкий процесс для художников, поэтому автоматическая генерация становится долгосрочной целью для исследователей», — пишет исследовательская группа компании в пресс-релизе. технический отчет. Модернизированная система построена на основе своей предшественницы, но при этом значительно улучшена в скорости и качестве.
Как Hunyuan3D 2.0 превращает изображения в 3D-модели
Hunyuan3D 2.0 использует два основных компонента: Хунюань3D-ДиТ создает базовую форму, в то время как Хунюань3D Живопись добавляет детали поверхности. Система сначала создает несколько 2D-видов объекта, а затем объединяет их в полную 3D-модель. Новая система наведения гарантирует совпадение всех видов объекта, решая общую проблему в 3D-моделях, создаваемых искусственным интеллектом.
«Мы располагаем камеры на определенной высоте, чтобы захватить максимальную видимую область каждого объекта», — объясняют исследователи. Этот подход в сочетании с методом смешивания различных точек зрения помогает системе улавливать детали, которые часто упускают другие модели, особенно верхние и нижние части объектов.
Быстрее и точнее: что отличает Hunyuan3D 2.0
Технические результаты впечатляют. Hunyuan3D 2.0 создает более точные и визуально привлекательные модели, чем существующие системы, в соответствии со стандартными отраслевыми измерениями. Стандартная версия создает полную 3D-модель примерно за 25 секунд, а меньшая и более быстрая версия работает всего за 10 секунд.
Что отличает Hunyuan3D 2.0, так это его способность обрабатывать как ввод текста, так и изображения, что делает его более универсальным, чем предыдущие решения. В системе также представлены инновационные функции, такие как «адаптивное управление без классификаторов» и «гибридные входные данные», которые помогают обеспечить согласованность и детализацию создаваемых 3D-моделей.
Согласно опубликованным тестам, Hunyuan3D 2.0 достигает КЛИП ноты 0,809, что превосходит альтернативы с открытым исходным кодом и собственные альтернативы. Технология вносит значительные улучшения в синтез текстур и геометрическую точность, превосходя существующие решения по всем стандартным отраслевым параметрам.
Главным техническим достижением системы является ее способность создавать модели высокого разрешения, не требуя огромных вычислительных мощностей. Команда разработала новый способ повышения детализации, сохраняя при этом управляемость требований к обработке — общее ограничение других систем 3D-ИИ.
Эти достижения важны для многих отраслей. Разработчики игр могут быстро создавать тестовые версии персонажей и окружения. Интернет-магазины смогут представлять товары в 3D. Киностудии могли бы более эффективно просматривать спецэффекты.
Tencent поделилась почти всеми частями своей системы через Hugging Face. Теперь разработчики могут использовать этот код для создания 3D-моделей, которые работают со стандартным программным обеспечением для проектирования, что делает его практичным для немедленного использования в профессиональной среде.
Хотя эта технология знаменует собой значительный прогресс в автоматизированном создании 3D, она поднимает вопросы о том, как художники будут работать в будущем. Tencent рассматривает Hunyuan3D 2.0 не как замену художникам-людям, а как инструмент, который решает технические задачи, в то время как создатели сосредотачиваются на художественных решениях.
Поскольку 3D-контент становится все более важным в играх, покупках и развлечениях, такие инструменты, как Hunyuan3D 2.0, предполагают будущее, в котором создавать виртуальные миры будет так же просто, как и описывать их. Предстоящей задачей может быть не создание 3D-моделей, а решение, что с ними делать.
Source
