Управление моделью машинного обучения¶
По умолчанию CodeScoring использует собственную модель машинного обучения чтобы снизить количество ложных срабатываний при поиске секретов. С помощью ручной разметки найденных секретов можно дообучить модель и улучшить результаты поиска на собственном исходном коде.
Для того, чтобы дообучить модель, необходимо перейти в раздел Settings -> Workmode и нажать на кнопку Run now в секции Secrets ML model management. Для активации возможности дообучения модели необходимо разметить минимум 1000 найденных секретов как истинно-положительные или ложно-положительные.
После дообучения можно сравнить результаты поиска секретов и на их основе либо принять пользовательскую модель (Accept training), либо вернуться к базовой модели (Purge user model).
В секции управления пользователю выводится информация о текущем состоянии модели:
- Current ML Model Type – тип использованной модели (базовая или пользовательская);
- Base model accuracy – точность поиска на основе размеченных находок. Истинно-положительные находки берутся за единицу, ложно-положительные — за ноль. Итоговая точность – это среднее значение всех результатов, представленное в процентах.
- User model accuracy – точность поиска с использованием пользовательской модели;
- Latest training model accuracy – точность поиска с использованием последнего дообучения;
- Is training possible – возможность дообучения модели на основе текущей разметки;
- TP/FP/Total count – истинно-положительные, ложно-положительные и все находки.
Важно: если дообучение модели невозможно – это значит, что разметка недостаточно полная. В таком случае необходимо обозначить большее количество находок как истинно-положительных или ложно-положительных.