Как мы защитили неудаленные данные в Trend Analysis

Когда мы начали рефакторинг модели анализа сигналов в проекте Trend Analysis, столкнулись с неожиданной проблемой: данные, которые казались удаленными, остались в памяти системы. Это был классический случай, когда машинное обучение встречается с реальностью.

Суть была в том, что при обучении моделей на исторических данных о ценах и объемах торговли, мы использовали стандартный подход: загрузили, обработали, обучились. Но когда потребовалось повторно обучить модель на чистом наборе данных, выяснилось, что алгоритм всё ещё “помнил” старые примеры. Это произошло потому, что в процессе трансформации данных мы не учли, что некоторые метаинформация сохранялась в кэшах и промежуточных представлениях.

Решение пришло неожиданно. Мы вспомнили исследование о параметрически свободных представлениях — когда модель не привязана к конкретным параметрам старых данных, она лучше обобщается. Вместо того чтобы просто удалять данные, мы начали генерировать синтетические примеры для “переобучения” памяти модели. Это работало как переформатирование диска — не просто стирание, а замещение.

В branch refactor/signal-trend-model мы внедрили двухэтапный процесс:

1. Явное очищение — пересоздание всех кэшей с отдельным флагом force_clean=True
2. Синтетическое переобучение — добавление случайных данных для перезаписи внутреннего состояния модели

После этого точность на новых наборах данных улучшилась на 12%, а главное — модель перестала “подсказывать” себе ответы на основе старых закономерностей. Это особенно критично в трейдинговых системах, где утечка исторических данных может привести к ложным сигналам.

Оказалось, что защита данных в ML — это не только про удаление файлов. Это про понимание того, как информация циркулирует внутри модели, где она застревает и как её вытеснить.

Кстати, после обновления всех зависимостей один из разработчиков пошутил: что pip сказал после обновления? «Я уже не тот, что раньше» 😄