– Проблема заключается в том, что за день дрон может сделать около 10 000 снимков, и даже при условии, что их будут просматривать около 30 человек, это может занять около 8 часов, за это время человеческий глаз может устать и упустить важные моменты. Для того чтобы ускорить обработку снимков и увеличить шанс на нахождение человека можно использовать нейросеть, – рассказал выпускник специальности «Информационные системы и технологии» СГУГиТ и основной разработчик Вадим Архипов.
Работа, которую выполнял выпускник, была посвящена обучению нейросети для поиска людей по фотоснимкам, полученным с беспилотного летательного аппарата. В процессе выполнения работы был проведен анализ предметной области, который включал в себя изучение проблематики, анализ существующих решений (проект Lacmus, решение от Билайн), разработку требований к ПО, анализ основных параметров глубокого обучения. Также подготовлены фотоснимки для обучения нейронной сети, обучена модель RT-DETR с помощью фреймворка Ultralytics на датасетах Lacmus Drone Dataset и Vis Drone Dataset, спроектировано и разработано кроссплатформенное (для ОС Windows и Linux) приложение на Python 3.12 с помощью библиотеки пользовательского интерфейса DearPyGUI для работы с обученной нейросетью, а также проведена оценка точности и скорости нейросети на реальных данных. Итоговая точность модели составила 95% на датасете LaDD.
В результате выполнения работы была обучена нейросеть для поиска людей по фотоснимкам, полученным с БПЛА, а также разработан прототип приложения, имеющий следующий функционал: открытие изображений; обработка изображений; просмотр изображений; просмотр количества открытых и распознанных изображений, найденных объектов; изменение цветовой схемы; выбор ускорителя для нейросети.
Разработка позволит ускорить и упростить обработку фотоснимков, а также позволит повысить шансы на обнаружение потерявшегося человека.