Позиционирование в помещении с помощью нейросети по сигналу Wi-Fi. Интерактивная карта склада в 1С с показом позиции

Программирование - Инструментарий

позиционирование по Wi-Fi нейросети карта склада план помещения геопозиционирование нейронная сеть

47
Данная публикация содержит в себе редактор и интерактивную карту склада или иного помещения, на которой в реальном времени отображается позиция устройства, координаты которого вычисляются по уровням сигнала нескольких роутеров Wi-Fi. В статье и приложенным к ней разработкам предлагаются инструменты и методика для реализации вычисления точной геопозиции внутри помещений с помощью нейронной сети. Конфигурация написана на релизе 1С:Предприятие 8.3.12.1412, клиентское приложение имеет минимальный уровень совместимости SDK -16.

Интерактивная карта

Прежде чем приступать к позиционированию нужно обеспечить визуализацию. Карта должна быть не просто растровой картинкой, на ней должны быть объекты (стеллажи и т.д.). Это нужно для постоянной подстройки точности позиционирования по данным от WMS-системы. Значит нужен визуальный редактор по типу векторного который свяжет объекты WMS-системы с планом помещения.

Для создания такого редактора использовал внешнюю компоненту NativeDraw из публикации //1c-club.pro/public/378415/

С ней очень удобно работать, но вот только я не нашел как получить координаты мыши относительно Холста. Доступны общие координаты на экране, но холст занимает часть экрана. Поэтому пришлось немного поколхозить – т.к. мне нужны координаты точки на холсте то перед началом работы с редактором обработка просит провести калибровку. Нужно указать координаты левого верхнего и правого нижнего угла (тут имеется ввиду углы прямоугольника, обведенные черной рамкой). Предполагается что работа с картой будет проводиться при окне 1С раскрытом на полный экран, т.е. коодинаты холста не будут смещаться никогда, иначе позиция мыши относительно холста будет неверной.  Тогда можно провести повторную калибровку и для этого есть кнопка «Сбросить калибровку». В целом это единственное затруднение. Может его можно обойти по другому и кто то подскажет как?

Работа с картой построена на добавлении 3х видов объектов: ячеек (имеются ввиду стеллажи вид сверху), меток и просто текстовых надписей. При добавлении ячейки можно задать количество ячеек, размер на карте, направление в котром они будут отрисованы и нумероваться. При добавлении текста и меток указывается текст. Когда добавляется объект – происходит добавление строки в таблицу объектов (справа) а потом отрисовка на карте. Можно работать с объектом через таблицу – например поменять координаты X и Y и тогда объект сдвинется. Или удалить объект, например ячейку в центре ряда.

Также чтобы не рисовать схему на чистом листе удобно «подложить» реальную фотку плана склада. Для этого используется кнопка «Установить фон карты»

В таблице есть галка «отправить на ТСД» и «Название ТСД». Это выбор мест на карте которые будут отпрвлены на клиент, а название – как оно будет отображаться на ТСД на первичном обучении. Оно заполняется по умолчанию и его можно подредактировать чтобы оператору было понятнее. Когда есть эта пометка на карте такие объекты выделяются красным. Кстати тут подумалось что из этого получился бы неплохой «морской бой» т.к. ячейки с красным выделением очень похожи на «ранен»))

В целом получается что все объекты карты просто хранятся в таблице и их можно в любой момент отредактировать. В базу они записываются в Хранилище значений и потом из него достаются. Как в векторных редакторах.

 

Получился редактор, который можно еще развить и использовать в различных целях. Если кому то не интересно позиционирование, но он хочет например визуализировать лог перемещений кладовщика по ячейкам то достаточно передавать в «лог координат» координаты ячеек. Перемещение можно изобразить в виде многоугольника. В текущем редакторе текущее положение отображается в виде зеленого кружочка.

 

Позиционирование

Для позиционирования используется принцип измерения уровня сигнала от роутеров Wi-Fi расположенных в разных разнесенных точках помещения. В текущей реализации мне было достаточно 3х роутеров. Повысится ли точность измерения если добавить еще роутеров – возможно да.

Самое интересное начинается при обработке этой информации. Как я выяснил для подобного позиционирования используется 2 принципа: 1) триангуляция (такой метод использует Cisco) 2)метод паттернов – запоминание состояния сигналов во всех точках. Мне было интересно предложить и испробовать свой метод.

Сначала нужно пояснить особенности задачи:

1-я особенность заключается в том, что на складе постоянно меняется заполняемость стеллажей это влияет на уровень сигнала. Так, коробки с чем то металлическим являются препятствием и сильно ослабляют сигнал. А завтра их уберут и уровень сигнала в той же точке будет совсем другим. Но нам то надо показать на карте то же самое место...

2-я особенность заключается в том что мы постоянно получаем точные данные от WMS о сканировании ячеек. А ячейки привязаны к конкретным координатам. Т.е. мы постоянно получаем точные данные для корректировки. Как видно 2я особенность позволяет бороться с 1й и это существенно влияет на методику.  Если делать систему без учета этой особенности то она будет не очень достоверной.

Сначала я хотел сделать триангуляцию с постоянной корректировкой данных от сканирования ячеек. Но потом подумал «это же очень похоже на обучение с подкреплением» и решил проверить как поведет себя простейший перцептрон из моего же поста с обработкой этих данных.

 

Для того чтобы иметь возможность постоянно снимать данные с ТСД, параллельно работая в другой программе я сделал нативного клиента для андроид устройств, который имеет свой web-сервер для приема запросов от 1С (используется NanoHTTPD https://github.com/NanoHttpd/nanohttpd) Подобная технология «очень тонкий клиент на Android+ обмен HTTP запросами» очень хорошо себя показала как замена связки RDP+1C. Ну и возможностей у нативного приложения конечно несравнимо больше чем у 1С мобильной платформы. Данное решение можно рассматривать как пример такого рода взаимодействия на котром можно строить другие решения, тот же WMS-клиент или клиент для службы доставки.

Для работы надо установить приложение на устройство (скачав apk-файл из статьи или из маркета). При первом запуске надо зайти в настройки и отсканировать 3 сети которые будут передавать сигнал. Можно и вручную SSID забить. Далее включить сервер в приложении и в принципе все. Приложение может быть перекрыто но сервер все равно работает.В приложении в настройках надо указать адрес сервиса как показано на картинке.

Со стороны 1С также публикуется веб сервис для приема запросов (в процессе обучения).

В 1С в константе надо указать адрес сервиса приложения без "http://":

 

Первичное обучение. Нужно выделить объекты по которым надо получить координаты. И нажать кнопку «Запустить первичное обучение на ТСД». На ТСД появится такой диалог.

Далее надо переходить (ногами) к точкам указанным на экране и отправлять данные в 1С нажимая на кнопку. В результате в 1С данные будут записаны в регистр «Лог координат» с пометкой «Первичное обучение». Собственно это и есть данные для обучения. После того как точки кончатся на клиенте всплывет тост о том что обучение закончится. В 1С надо нажать кнопку «Обучить сеть в 1-й раз». После этого можно включать показ координат и пользоваться картой.

Переобучение. В процессе работы в 1С поступают данные о сканировании ячеек, это значит что терминал находится рядом с этой ячейкой и эти координаты можно считать эталоном. Такие данные записываются в «Лог координат» с заполненным полем «Адрес» . Вместе с этим записывается уровень сигнала с роутеров. По этим данным можно периодически переобучать сеть. Для переобучения в тестовой базе есть кнопка «Переобучить сеть»

Ну и собственно результат. Нажав на кнопку «Включить показ положения» запускается обработчик ожидания который периодически посылает запрос клиенту, получает данные о сигнале, отправляет в 1С, 1С это пропускает через нейросеть которая выдает координаты X и Y на карте и рисуется зеленый кружок.

 

Области применения

 

  • Как API для приложения клиентов в торговых центрах для того, чтобы покупатели могли ориентироваться в ТЦ/магазинах. Например мебельных, строительных – там где большая территория
  • Размещение товара в торговом зале/складе по принципу «товаровед поставил метку – отправил задание – исполнителю высветилось место назначения/маршрут»
  • Складские территории с сложной топологией для облегчения ориентирования
  • Как технология для автоматизированных складов

 

Итоги

Я специально не стал писать о том какая сеть используется, сколько скрытых слоев и нейронов и т.д. Это все достаточно индивидуально и может быть настроено в обработке под конкретное помещение. Также можно использовать другие архитектуры или другие мат. методы, можно пользоваться сервисами Azur например или кому что нравится. Как показали отзывы к моей статье про нейросети в сообществе есть люди отлично разбирающиеся в вопросе. Единственное что можно порекомендовать – точки для обучения должны охватывать в том числе границы объекта – т.е. если это комната  то померить в 4й углах и где нибудь в центре.

 В результате испытаний была достигнута неплохая точность и стабильность. Надо заметить что позиционирование хорошо работает когда сигнал каждого из роутеров изменяется в широком диапазоне - т.е. они удалены на достаточное расстояние и равноудалены друг от друга. В целом результаты котрые выдает сеть получаются адекватными. Я не могу написать точность в метрах или сантиметрах, т.к. моя методика не оперирует данными в этой размерности. Нейросеть оперирует пикселями на экране и величиной dBm. Магия нейросети как раз позволяет не разбираясь в методах триангуляции, не имея карты с физическими размерами и оперируя такими абстрактными вещами как dBm и пиксели на картинке построить между ними зависимость. На данной технической инфраструктуре можно построить и другие  методы обработки данных в т.ч. и классическую триангуляцию.

47

Скачать файлы

Наименование Файл Версия Размер
Демо база с обработкой "Карта склада"
.dt 268,13Kb
10.08.18
8
.dt 268,13Kb 8 Скачать
apk-файл
.apk 1,22Mb
08.08.18
6
.apk 1,22Mb 6 Скачать

См. также

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. nyam-nyam 09.08.18 10:48 Сейчас в теме
Никак не могу придумать зачем это может понадобиться на практике., хотя если ещё калькулятор калорий прикрутить и запись треков с показом на карте...
2. neikist 09.08.18 10:53 Сейчас в теме
(1) В смысле? Как раз для ориентирования по складу. Ну или для ремонтников поиск конкретного оборудования в цехах. И еще куча вариантов.
5. nyam-nyam 09.08.18 11:29 Сейчас в теме
(2)На сколько я понял, поиск идёт некого терминала, который считывает коды со стелажей и товара. Так что поиск нужен будет только в случае если терминал где-то оставит сотрудник. Оборудование в цехах - ну если только сломанного робота беглеца искать, остальное оборудование либо стационарное, либо тот же терминал, у которого есть хозяин.. :)
6. neikist 09.08.18 11:40 Сейчас в теме
(5) Угу, стационарное, а как это стационарное оборудование найти если помещение 100x50 метров, и станков сотни? Я скорее говорю не про применимость конкретного решения, а про концепт определения координат внутри помещений по косвенным признакам.
8. nyam-nyam 09.08.18 11:44 Сейчас в теме
(6)Концепт хорош, спору нет. Интересно узнать что сподвигло автора на разработку кроме академического интереса.
10. informa1555 732 09.08.18 11:52 Сейчас в теме
(8) Хотелка заказчика. Чисто эксперимент получится или нет. Такая организация склада сырья что адреса конечно есть но ориентироваться в "вон та куча песка" или "вон тот брус" сложновато
3. informa1555 732 09.08.18 11:11 Сейчас в теме
(1) Когда то я занимался теплицами и очень не хватало этого. Сейчас я занимаюсь проектом с большими территориями с наземным хранением и это необходимо. Ну а глобально, если в процессе наработается хорошая точность, то это шаг к автоматизированным складам с небольшими затратами - ну знаете где людей нет, вкалывают роботы)) Ну это так, мечты. Разработкой позиционирования занимаются многие, как я писал Cisco, Нокия занималась да много кто. Это вроде как нужная штука.
EvgenURNN; +1 Ответить
4. neikist 09.08.18 11:19 Сейчас в теме
(3) Не думали еще дополнительно для большей точности механизмы инерциальной навигации прикрутить?
9. informa1555 732 09.08.18 11:47 Сейчас в теме
(4) Честно говоря даже не знал про такое. Если можно скиньте ссылки?
11. neikist 09.08.18 11:56 Сейчас в теме
(9) к сожалению несмотря на широту кругозора - он у меня в стиле "слышал о многом, но краем уха")) Так что все мои знания ограничиваются тем что есть такой способ навигации, и он когда то даже использовался на практике, причем как бы не на механике сделали отображение на бумажной карте текущее. (и вроде как иногда и сейчас используется)
12. nyam-nyam 09.08.18 12:50 Сейчас в теме
(4) Инерциальная навигация в данном случае не подходит - нет акселерометра и гироскопа чтобы вычислять ускорение и угловые скорости. Но если мониторинг идёт постоянно, то можно ещё сделать проверки "скачков", чтобы не было как в навигаторах в центре Москвы - то ты едешь по Тверской, то бах - и в Шереметьево.
7. nyam-nyam 09.08.18 11:41 Сейчас в теме
(3)Если можно по подробнее о теплицах - что там на WiFi и требует позиционирования? Про большие территории - опять же отслеживать перемещение сотрудников по их терминалам? Чтобы не спали в тихих уголках? :) Скорее актуально для поиска несанкционированных WiFi устройств.
13. zakiap 11.08.18 13:42 Сейчас в теме
Прикрути создание карты покрытия WiFi сигнала, чтобы в живую можно видеть уровень сигнала WIFI в виде закрашиваемых зон по складу, будет более актуально для контроля устойчивого покрытия
informa1555; +1 Ответить
14. informa1555 732 11.08.18 14:29 Сейчас в теме
(13) Отличная идея! Так и сделаю
15. nafa 643 15.08.18 09:34 Сейчас в теме
Идея замечательная. Но все же про точность хотелось бы подробнее. Вы пишете что расчет идет в пиксеклях, но Вы же знаете размер картинки и соответствнно можете перевести его на метры ?
informa1555; +1 Ответить
16. informa1555 732 15.08.18 10:38 Сейчас в теме
(15) Да я пробовал так. При 1 пикселе =11 см примерно, разбег по 1 оси от 0 до 7-8 пикселей примерно. Основная масса примерно в +/-5-6 пикселей попадает. Опять же при условии что стеллажи нарисованы точно там где они есть+сканируют адрес с примерно одинакового расстояния (контроль производится при сканировании адресов) Думаю что точность можно увеличить экспериментируя с сетью.
17. nafa 643 15.08.18 14:48 Сейчас в теме
Очень хороший показатель.
18. CheBurator 3569 28.08.18 17:35 Сейчас в теме
Оставьте свое сообщение