+0,009 локально, −0,01 на сервере
Один из ансамблей улучшился на holdout и ухудшился на сервере. Сравниваю подзадачи и среду запуска.
Так изменилась macro F1 определения типа контента у одного из ансамблей двух логистических регрессий в экспериментах Mediascope. На отложенной выборке стало лучше, после отправки на сервер — хуже. Этот вариант откатили. Другие конфигурации проверялись отдельно, поэтому переносить результат на все ансамбли нет смысла.
В локальном коде были три показателя: F2 для видеоинтенции, macro F1 для типа контента и token F1 для названия. Общий балл складывался с весами 0,35 / 0,30 / 0,35. Смотрю и на отдельные части: выигрыш в одном поле может скрыть ошибку в другом.
Например, «смотреть фильмы вечером» относится к видео, но названия произведения здесь нет. Пустое поле будет полезнее случайного фильма. Это отдельная задача для HasTitle.
Локальные 20% данных использовались и для оценки, и для настройки порогов. Такой holdout постепенно участвует в выборе решения. Независимому финальному тесту нужен другой набор.
Ещё проверяю окружение: возвращаются ли исходные индексы строк, доступны ли библиотеки, есть ли сеть. Внешний LLM не помогал в песочнице без интернета, даже когда локально давал прибавку.
Два направления решения и результаты описал в кейсе Mediascope.