Разработчик использует дрон и ИИ для поиска и распознавания SOS-сообщений

Вот классная история о использовании дронов во благо! Разработчик использует аэрофотоснимки, сделанные дроном DJI Mavic Pro (DJI, Amazon) в сочетании с программным обеспечением искусственного интеллекта (ИИ) для распознавания SOS-сообщений, нарисованных на улицах Пуэрто-Рико.

Поиск и распознавание SOS-сообщений с помощью дрона

Путь разработчика от участия в хакатоне Call for Code до открытия кода для дронов в качестве одного из первых проектов Code and Response

Педро Круз, IBM Developer Advocate и основатель DroneAid

20 сентября 2017 года ураган Мария обрушился на мой родной город, Пуэрто-Рико. Пережив рекордный ураган 5-й категории и лично пострадав от его последствий, я решил сделать своей миссией создание технологий, которые могли бы помочь смягчить воздействие ураганов на наш остров.

Реклама — прокрутите дальше для просмотра контента

Вдохновленный Call for Code

Можете ли вы представить себе попытку спланировать спасательные операции для более чем трех миллионов человек? Больше всего пострадали жители сельских районов, в том числе община в Умакао, Пуэрто-Рико. Жители этой общины были разочарованы тем, что помощь была обещана, но так и не пришла. Поэтому община объединилась и нарисовала на земле «воду» и «еду» в качестве SOS, в надежде, что вертолеты и самолеты увидят их сообщение. Для меня было грустно и неприятно видеть, что реальность за пределами столичного района была иной. Жизни были под угрозой.

Перенесемся в август 2018 года. Менее чем через год после урагана я посетил хакатон Call for Code в Баямоне, Пуэрто-Рико. Меня заинтересовал этот глобальный вызов, который предлагает разработчикам создавать устойчивые решения для помощи сообществам в подготовке к стихийным бедствиям, реагировании на них и восстановлении после них.

SOS-сообщения после урагана вдохновили меня разработать DroneAid — инструмент, который использует визуальное распознавание для обнаружения и подсчета SOS-иконок на земле по видеопотокам с дронов, а затем автоматически наносит на карту экстренные потребности, зафиксированные на видео, для служб быстрого реагирования. Я считал, что дроны могут стать идеальным решением для быстрой оценки ущерба с воздуха, и они могли бы помочь в захвате изображений, которые затем могли бы обрабатываться системами компьютерного зрения на основе ИИ. Сначала я думал использовать технологии OCR (оптическое распознавание символов) для обнаружения букв. Проблема с этим подходом в том, что у всех разный почерк. Если мы хотим, чтобы это работало на других языках, это будет очень сложно.

После нескольких часов программирования я изменил направление и решил упростить визуальное распознавание, чтобы оно работало со стандартным набором иконок. Эти иконки могут быть нарисованы аэрозольной краской, мелом или даже размещены на ковриках. Дроны могут обнаруживать эти иконки и сообщать службам быстрого реагирования о конкретных потребностях сообщества в еде, воде и медикаментах. Я написал первую версию DroneAid на том хакатоне и занял первое место. Это достижение побудило меня продолжать. Фактически, я присоединился к IBM в качестве полноправного разработчика-адвоката.

DroneAid — это гораздо больше, чем просто код, написанный на хакатоне. Он превратился в проект с открытым исходным кодом, который я рад сегодня анонсировать. Я в восторге от того, что IBM обязуется применять наше решение в рамках Code and Response — уникальной программы компании стоимостью 25 миллионов долларов, посвященной созданию и развертыванию решений на основе технологий с открытым исходным кодом для решения крупнейших мировых проблем.

Открытие кода DroneAid через Code and Response

DroneAid использует подмножество стандартизированных иконок, выпущенных Организацией Объединенных Наций. Эти символы могут быть предоставлены в комплекте для ликвидации последствий стихийных бедствий заранее или воссозданы вручную из имеющихся материалов. Дрон может обследовать территорию на предмет этих иконок, размещенных на земле людьми, семьями или общинами для обозначения различных потребностей. Когда DroneAid обнаруживает и подсчитывает эти изображения, они наносятся на карту в веб-панели управления. Эта информация затем используется для приоритизации действий местных властей или организаций, которые могут оказать помощь.

С технической точки зрения, это означает, что модель визуального распознавания с ИИ обучается на стандартизированных иконках, чтобы знать, как обнаруживать их в различных условиях (например, искажены ли они, выцвели или при слабом освещении). Инструмент аннотирования IBM Cloud упрощает обучение ИИ с использованием IBM Cloud Object Storage. Эта модель применяется к потоку изображений в реальном времени, поступающих с дрона во время обследования территории. Каждый кадр видео анализируется на наличие изображений. Если они обнаружены, их местоположение фиксируется и они подсчитываются. Наконец, эта информация наносится на карту, указывающую местоположение и количество нуждающихся.

Систему можно запускать локально, следуя инструкциям в репозитории исходного кода, начиная с простого дрона Tello (DJI, Amazon) в качестве примера. Можно использовать любой дрон, способный захватывать видеопоток, поскольку модель машинного обучения использует Tensorflow.js в браузере. Таким образом, мы можем захватывать поток с любого дрона и применять к нему вывод. Затем эту архитектуру можно будет применять к более крупным дронам, различным типам визуального распознавания и дополнительным системам оповещения.

Приглашаем всех разработчиков к сотрудничеству в сообществе DroneAid с открытым исходным кодом

Это было долгое путешествие, и я чувствую, что мы только начинаем. Давайте объединимся, чтобы помочь сократить число жертв, своевременно доставлять пострадавшим то, что им нужно, и уменьшить общее воздействие стихийных бедствий на сообщество.

Наша команда решила открыть код DroneAid, потому что я считаю важным сделать эту технологию доступной как можно большему числу людей. Подход со стандартизированными иконками может использоваться во всем мире во многих сценариях стихийных бедствий (например, ураганы, цунами, землетрясения и лесные пожары), а участие разработчиков в постоянном обучении программного обеспечения может помочь повысить нашу эффективность и расширить возможности использования символов. Мы создали основу для разработчиков для создания новых приложений и представляем себе использование этой технологии для развертывания и управления парком дронов сразу после наступления стихийного бедствия.

Теперь, когда вы понимаете, как DroneAid может быть использован для помощи нуждающимся сообществам, присоединяйтесь к нам и внесите свой вклад здесь: https://github.com/code-and-response/droneaid

Эта статья также была опубликована в блоге IBM Developer.

Оставайтесь на связи!

Если вы хотите быть в курсе всех последних новостей, эксклюзивных материалов, слухов и обзоров о дронах, подписывайтесь на нас в Twitter, Facebook, YouTube, Instagram или подпишитесь на нашу ежедневную рассылку, которая выходит каждый будний день в 18:00 по восточному времени.

Покупайте свой следующий дрон напрямую у производителей, таких как DJI, Parrot, Yuneec или у розничных продавцов, таких как Adorama, Amazon, B&H, BestBuy, DroneNerds или eBay. Используя наши ссылки, мы получим небольшую комиссию без каких-либо дополнительных затрат для вас. Спасибо, что помогаете DroneDJ расти!