Как мы ловим баги в граничных точках LLM: история проекта Trend Analysis

Два месяца назад в проекте Trend Analysis встал вопрос, который мучает всех, кто работает с большими языковыми моделями: как гарантировать, что модель не сломается на входных данных, которых она никогда не видела? Мы запустили refactor/signal-trend-model, чтобы переделать систему анализа сигналов, и сразу столкнулись с её чёрным ящиком.

Claude и другие LLM работают как телепаты в тёмной комнате — они угадывают, что вы имеете в виду, но иногда угадывают неправильно. Наша задача была простой на первый взгляд: попросить модель анализировать тренды, но так, чтобы она не выходила за границы компетентности и отказывалась обрабатывать мусор.

Первые попытки были наивными. Мы просто передавали сырые данные в Claude через CLI и ждали. Результаты? Летели в лог ошибки о том, что модель либо галлюцинировала, либо зависала на странных паттернах данных. Например, когда мы отправили список из 50 тысяч строк логов с техническим мусором, модель честно попыталась их все обработать и вернула 10 мегабайт совершенно бесполезного текста.

Мы начали аудит граничных случаев. Что происходит, если: - Входная строка содержит только спецсимволы? - Данные на смеси языков? - Длина превышает разумные пределы?

Решение пришло из Python — мы написали препроцессор, который перед отправкой в Claude проверяет, стоит ли вообще отправлять эти данные. Валидация через пайдантик, ограничение размера до 5000 символов, удаление явного мусора с <ide_selection> тегами.

Но самое интересное произошло, когда мы разобрались, почему граничные точки так опасны для LLM. Модели обучены на распределениях, которые редко содержат экстремальные случаи. Когда вы отправляете что-то радикально отличное от обучающих данных, модель просто гадает. Это как спросить человека на английском о кухне XIV века — он может дать ответ, но это будет хаос.

Наше решение: защита в три слоя.

Первый слой — валидация входа (размер, язык, формат). Второй — проверка output от Claude на наличие маркеров отказа или галлюцинаций. Третий — кэширование успешных результатов, чтобы не генерировать заново.

За два месяца мы обработали тысячи записей, и система уже не падает на странные входы. Модель научилась говорить «нет», когда данные выглядят подозрительно.

И знаете, что самое смешное? Bun — как первая любовь: никогда не забудешь, но возвращаться не стоит 😄