Проект - Автоматизация анализа и классификации информации

Компания занимается анализом заработных плат и других HR-данных для страховых компаний, банков, телекомов и других крупных организаций

Описание

Компания занимается анализом зарплат на основе данных, которые предоставляют различные организации.

Клиенты регулярно передают Excel-файлы, содержащие штатное расписание компании

Для анализа эти данные необходимо привести к единому классификатору должностей и уровней квалификации.

Далее подготовленную информацию необходимо представить клиентам в виде отчета позволяющего фильтровать данные в множестве разрезов.

Файлы штатных расписаний могли содержать несколько тысяч строк (5000+).
Классификация выполнялась вручную специалистами, в результате накапливались человеческие ошибки.
Классификация и последующая проверка выполнялась несколько недель.
Всё это мешало масштабированию компании.

Создание системы позволяющей работать множеству пользователей и клиентов с различными ролями (клиент, администратор, менеджер и т.д.).
Каждая роль должна иметь личный кабинет с возможностью приглашать(либо запрашивать приглашение) и откликаться или отклонять приглашения.
Различные роли имеют различные настройки профиля, а также настраиваемую цветовую палитру.
Клиенты должны иметь возможность загружать информацию на анализ, которая автоматически отправляется менеджеру для обработки.
Данные обрабатываются с помощью Искусственного Интеллекта и становятся доступны клиенту в виде Отчета.
Отчет позволяет клиенту фильтровать данные по множеству параметров а также выгружать нужные разрезы в XLS и PDF

Выявлены основные роли пользователей (администратор, менеджер, клиент и т.д.) и разработан соответствующий функционал и ограничения для каждой.

Разделение прав доступа по ролям обеспечивает безопасность и конфиденциальность данных.

Для автоматизации анализа и классификации штатных расписаний и должностей был применен ИИ.

Использовалась современная мощная модель для семантического анализа данных и сопоставления с общим классификатором.

Как работает

Данные загружается из Excel-файла
Очищаются и нормализуются
Текстовые элементы названий департаментов и должностей переводятся в векторное представление (embeddings)
Выполняется поиск наиболее близких значений в общем классификаторе
Для каждого элемента автоматически определяется код области и уровень должности
Результат сохраняется в базу данных

Обучение модели

Для получения наилучшего результата проведено обучение модели на исторических реальных данных, разбитых по отраслям предметной области.

Точность классификации составляет более 90%.

На текущем этапе компания получила:

Обработка данных: Время обработки данных и подготовки отчета сократилось в 4 раза.