Команда из двух человек в Hugging Face разрабатывает модели ИИ, подобные ChatGPT

Стартап Hugging Face сформировал команду H4 из двух разработчиков, которая занимается созданием чат-ботов на основе открытых моделей ИИ.

Что известно

По словам инженера Льюиса Танстолла (Lewis Tunstall), после выхода ChatGPT они начали экспериментировать с использованием open source библиотек и моделей для повторения такого функционала. Основным направлением H4 является обучение моделей взаимодействию с людьми.

Команда уже представила несколько доработанных языковых моделей, в том числе Zephyr-7B-α и Falcon-40B. Для их обучения используется кластер из более 1000 видеокарт Nvidia A100. 

H4 также исследует методы выравнивания моделей и создает инструменты для их тестирования.

H4 сознательно остается небольшой, чтобы быть гибкой и адаптироваться к быстро меняющемуся ландшафту ИИ. При этом она сотрудничает с другими исследовательскими группами Hugging Face.

Команда стремится расширить возможности сообщества open source ИИ, выпуская код и данные для обучения чат-моделей. Коммерциализация их работы не является целью H4, отметили разработчики.

Источник: TechCrunch