RuOpinionNE-2024 -- соревнование по извлечению кортежей мнений из русскоязычных новостных текстов

Ссылка на соревнования в системе Codalab

⏰ Даты и график проведения соревнования

📈 Таблица результатов

📰 Telegram канал соревнований

Содержание

• Краткое описание
  • Кортеж мнения
  • Пример
• Формат данных
  • Пример чтения данных
• Соревнования на Codalab
  • Базовый подход
• Организаторы
• Источники
• Ссылки

Краткое описание

⚠️ Внимание: Полное описание представлено на платформе Codalab. Настоящее описание несет ознакомительный характер.

RuOpinionNE-2024 является продолжением тестирования RuSentNE-2023, в котором требовалось извлечение тональности предложения по отношению к заданной именованной сущности. Ключевые отличительные особенности постановки настоящей задачи приведены в формате указания входной и выходной информации.

Рисунок: пример извлечения кортежей мнений соревнования RuOpinionNE-2024; сущности входного текста не являются параметрами задачи, а лишь размечены визуально.

Входная информация включают в себя текст представляющий собой предложение из новостного текста с упомянутыми именованными сущностями.

Выходная информация настоящих соревнований предполагает извлечение кортежей мнений. В следующем подразделе рассмотрим более подробно формат представления кортежа мнений.

Кортеж мнения

Для заданного текста, кортеж мнения представляет собой структуру, состоящую из последовательности четырех значений:

1. источник мнения: автор, именованная сущность текста (подстрока исходного текста), либо пустой;
2. объект мнения: именованная сущность в тексте (подстрока исходного текста);
3. тональность: положительная/негативная;
4. языковое выражение: аргумент, на основании которого принята результирующая тональность (одна или несколько подстрок исходного текста);

Пример

⚠️ Внимание: Полное описание форматирования предложений представлено на платформе Codalab. Настоящее описание несет ознакомительный характер.

Для входного предложения и размеченных в нем именованных сущностей:

Премьер-министр Италии Маттео Ренци заявил, что с уходом Фо «страна потеряла крупнейшую фигуру культурной жизни»

Должен быть порожден следующий кортеж мнения:

(Маттео Ренци, Фо, pos, крупнейшую фигуру культурной жизни)

Данные соревнования

Коллекция включает в себя набор следующих файлов:

• train.jsonl -- обучающие данные.
• validation.jsonl -- данные валидационного этапа.
  • 🆕 validation_labeled.jsonl -- размеченные данные валидационного этапа.
• test.jsonl -- данные финального тестирования.

Полное описание формата представлено на платформе Codalab.

Соревнования на Codalab

Полное описание постановки задачи на платформе Codalab

Скрипт оценки результатов

Пример посылки (Скрипт генерации случайной разметки)

Базовый подход

См. описание в тексте статьи задачи.

Result Analysis

To evaluate your submissions for the Development stage, you have to navigate to analysis folder for the related scripts:

1. analysis_gold_in_pred.py -- seeks for the etalon labeling in the submissions.
2. analysis_pred_not_in_gold.py -- seeks for the opinions that are a part of submissions but not presented in etalon labeling.
3. analysis_pretty.py -- merges all the outputs from the (1) and (2) into the pretty format suitable for uploading at Google Spreadsheets.

Input. All the submissions are expected to be placed in submissions folder in .zip format.

Output. Scripts are dedicated to produce *.tsv files suitable for uploading at spreadsheet. The analysis_pretty.py merges all the prior composed files into a single *.tsv.

Tip: you can zip labeled data to see the related annotation alongside with your.

Организаторы

• Лукашевич Наталья Валентиновна (МГУ им. М.В. Ломоносова)
• Nicolay Rusnachenko (Bournemouth University)
• Лапаницына Анна Максимовна (МГУ им. М.В. Ломоносова)
• Ткаченко Наталья Максимовна (МГУ им. М.В. Ломоносова)

Источники

Официальная информация по конференции Dialogue-2025

Репозиторий ранее проводимых соревнований RuSentNE-2023

Ссылки

TODO: Paper Reference once issued.