RuSciBench: открытый бенчмарк для оценки семантических векторных представлений научных текстов на русском и английском языках

Распространение открытий и знаний в научном сообществе – важная задача. Большая часть научных статей в мире написана на английском языке, что делает сложным обмен научными знаниями в странах, где большая часть населения не владеет английским языком свободно. В современном мире машинный перевод и языковые модели помогают решить эту проблему, но отсутствие или малое количество данных на выбранном языке не позволяют тренировать и валидировать модели. Чтобы решить эту проблему, мы предлагаем первый бенчмарк для оценки качества работы моделей для получения семантических векторных представлений научных статей на русском и английском языках. Он состоит из данных русской электронной библиотеки научных статей eLibrary. Мы также предлагаем набор задач, которые можно использовать для тренировки различных моделей на наших данных и приводим подробный сравнительный анализ результатов передовых моделей на нашем бенчмарке.