Управление моделью машинного обучения¶
По умолчанию CodeScoring использует собственную модель машинного обучения чтобы снизить количество ложных срабатываний при поиске секретов. С помощью ручной разметки найденных секретов можно дообучить модель и улучшить результаты поиска на собственном исходном коде.
Для того, чтобы дообучить модель, необходимо перейти в раздел Настройки -> Режим работы и нажать на кнопку Запустить в секции Секреты: управление моделью. Для активации возможности дообучения модели необходимо разметить минимум 1000 найденных секретов как истинно-положительные или ложно-положительные.
После дообучения можно сравнить результаты поиска секретов и на их основе либо принять пользовательскую модель (Принять результат дообучения), либо вернуться к базовой модели (Удалить пользовательскую модель).
В секции управления пользователю выводится информация о текущем состоянии модели:
- Тип ML модели – тип использованной модели (базовая или пользовательская);
- Точность базовой модели – точность поиска на основе размеченных находок. Истинно-положительные находки берутся за единицу, ложно-положительные — за ноль. Итоговая точность – это среднее значение всех результатов, представленное в процентах.
- Точность пользовательской модели – точность поиска с использованием пользовательской модели;
- Точность дообучения модели – точность поиска с использованием последнего дообучения;
- Дообучение возможно? – возможность дообучения модели на основе текущей разметки (с указанием причины в случае невозможности дообучения);
- TP/FP/Всего – истинно-положительные, ложно-положительные и все находки.
Важно: если дообучение модели невозможно – это значит, что разметка недостаточно полная. В таком случае необходимо обозначить большее количество находок как истинно-положительных или ложно-положительных.