Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали нейросеть ReBased для ускоренной обработки длинных текстов. Новая технология сокращает расходы на использование ИИ практически без потерь в качестве, сообщили в Т-Банке.

"В основе открытия лежит новая архитектура языковых моделей, названная ReBased. <…> Ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. <…> Они также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%", - говорится в сообщении.

Новая архитектура в своей основе содержит модель Based, которая была представлена учеными Стэнфорда в декабре 2023 года. При этом специалисты лаборатории обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. "Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. <…> И мы, и они занимаемся поиском оптимальных архитектур. Мы ценим их вклад в развитие технологий и рады возможности участвовать в научном диалоге такого уровня", - рассказал исследователь обработки естественного языка в T-Bank AI Research Ярослав Аксенов.

Отмечается, что нейросеть ReBased способна снизить издержки на использование ИИ для специализированных задач. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов. "В перспективе это позволит шире применять языковые модели в бизнесе, сейчас их использование ограничивают высокие затраты на вычислительные мощности. Кроме того, снижение потребления энергии в области вычислений, особенно в больших центрах обработки данных, поможет уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов", - уточнили в Т-Банке.

Результаты исследования были признаны мировым научным сообществом и представлены на 63-й Международной ежегодной конференции по компьютерной лингвистике, которая проходит в Бангкоке с 11 по 16 августа 2024 года. Это главная научная конференция в области обработки естественного языка в мире. Работу цитировали Принстонский университет и Университет Карнеги - Меллона.

О лаборатории

Лаборатория T-Bank AI Research известна своими исследованиями в наиболее перспективных областях ИИ, включая обработку естественного языка, компьютерное зрение и рекомендательные системы. В прошлом году ученые представили самый эффективный среди мировых аналогов алгоритм для обучения и адаптации искусственного интеллекта. Команда курирует исследовательские лаборатории T-Bank Lab в МФТИ и Omut AI в Центральном университете и помогает талантливым студентам совершать научные открытия.