Знак объезд препятствия слева: Дорожный знак 4.2.2 Объезд препятствия слева

6. Выводы

В этой статье мы представляем новый метод обхода препятствий, ODG-PF, который позволяет избегать препятствий очень эффективно и безопасно. Хотя AFPFM является усовершенствованием, позволяющим избежать проблемы локальных минимумов, его коэффициент привлекательного поля следует регулировать при изменении окружающей среды.Как и в случае с обычным PFM, когда транспортное средство находится в узком пространстве, отталкивающее поле становится сильным; поэтому значение должно быть большим. В противном случае робот застрянет на локальном минимуме или пойдет к цели очень неэффективно.

Моделирование и эксперименты показали, что движение транспортных средств с ODG-PF было очень стабильным. Кажется, что это стабильное движение происходит по двум причинам. Одна из причин заключается в том, что он сначала обнаруживает и определяет препятствия, а не напрямую вычисляет отталкивающее поле из данных о расстоянии, а другая заключается в том, что он находит угол с минимальными значениями из функции полного поля.Таким образом, ODG-PF не имеет проблемы с локальными минимумами, которая заставляет транспортное средство застревать в определенных точках.

Еще одним достоинством ODG-PF является то, что он избегает статических и движущихся препятствий без каких-либо регулировок. В выполненных сценариях движущихся препятствий использовавшееся транспортное средство не столкнулось ни с какими статическими или движущимися препятствиями, а вместо этого уклонилось от них, используя тот же метод. Это также неплохой момент, поскольку не нужно выполнять какие-либо трудоемкие действия, такие как обработка изображений или обработка компьютерного зрения.ODG-PF может быть легко имплантирован в систему реального времени, потому что накладные расходы при его расчетах относительно невелики.

Доступность данных

Читатели могут получить доступ к данным через домашнюю страницу: http://cml.korea.ac.kr.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов в отношении публикации этой статьи.

Благодарности

Эта работа была поддержана Программой фундаментальных научных исследований через Национальный исследовательский фонд Кореи (NRF), финансируемой Министерством образования (NRF-2016R1D1A1B01016071 и NRF-2016R1D1A1B 03936281), а также частично Brain Korea 21 Plus Project в 2018 году.

Избегание препятствий — Robolink Basecamp

Для этого занятия вам потребуются оба передних ИК-датчика. На этот раз вместо того, чтобы останавливаться и ждать, пока препятствие будет устранено, вы скажете Зуми повернуть немного влево или вправо, чтобы обойти, в зависимости от того, какой датчик сработал.

Инициализировать заголовок

В начале программы установите заголовок на 0. Вы можете создать переменную с другим именем, например, угол или направление, но в этом примере мы будем использовать заголовок.Причина, по которой вы будете использовать переменную, заключается в том, что ваше направление будет постоянно меняться в зависимости от того, какие препятствия встречаются на пути Зуми!

 заголовок = 0 

Для всех наших программ очень важно установить нулевой курс, чтобы убедиться, что вы начинаете двигаться прямо!

Изменить заголовок

В этой миссии ваша цель — повернуть немного влево, если срабатывает ваш правый датчик, и немного вправо, если срабатывает ваш левый датчик. Если срабатывают оба датчика, что-то прямо впереди! Зуми нужно будет сделать полный 180, чтобы избежать тупика.Вместо того, чтобы вызывать turn_left () или turn_right (), вы дадите указание Zumi изменить направление, добавляя или вычитая градусы. Например:

, если front_right_ir <100:
заголовок = заголовок + 30 

Поскольку срабатывание правого датчика означает, что мы идем на влево , вам нужно добавить градус, а не вычесть. Вернитесь к урокам гироскопов, если вам нужна помощь в запоминании абсолютных углов.

Псевдокод

 установить курс на ноль
проверить ИК-датчики
если срабатывает передний правый датчик, измените курс на положительный градус, чтобы повернуть налево
иначе, если срабатывает передний левый датчик, измените направление на отрицательный градус, чтобы пойти направо
иначе, если оба датчика срабатывают, остановитесь, немного измените направление и измените курс на 180 (положительный или отрицательный)
продолжай прямо с новым заголовком
повторить!
 

Логические операторы

Прежде чем приступить к написанию кода, обратите внимание, что третий оператор if проверяет, запускаются ли оба.В Python вы должны использовать операторы и , как и в английском языке!

, если front_right_ir <100 и front_left_ir <100:
# Введите здесь код для остановки, реверса и изменения направления на 180 

В []:

 # Напишите здесь свой код!

заголовок = 0
zumi.reset_gyro ()

для x в диапазоне (1000):
    # Заявления

zumi.stop () 

python - отслеживание линии и предотвращение препятствий с помощью ePuck [Webots]

Итак, я пытаюсь запрограммировать очень простое поведение предотвращения столкновений, следуя линии, используя датчики земли и расстояния робота E-puck.Программа робота была написана на Python, а моделирование выполняется на Webots. Робот должен двигаться вперед по линии, пока передние датчики расстояния не обнаружат препятствие, затем повернуть в направлении, свободном от препятствий, а затем вернуться к линии. Что-то вроде того. Итак, я пытаюсь воспроизвести то же поведение, но когда робот приближается к препятствию, он застревает и не пытается его избежать. Когда я удаляю любую строку, следующую за частью кода, или часть избегания препятствий, соответствующий результат работает, но одновременно они не работают.Я видел некоторые коды, написанные на C, но я не знаком с языком программирования C. Пожалуйста, не отправляйте меня на просмотр руководств, так как я уже следил за ними. Мой код:

  "" "line_following_behavior controller." ""


из контроллера импорт робота, датчика расстояния, двигателя
импортировать numpy как np

# ------------------------------------------------- ------
# Инициализировать переменные

TIME_STEP = 64
MAX_SPEED = 6,28

скорость = 1 * MAX_SPEED

# создать экземпляр робота.
robot = Робот ()

# получить временной шаг текущего мира.timestep = int (robot.getBasicTimeStep ()) # [мс]

# состояния
состояния = ['вперед', 'turn_right', 'turn_left']
current_state = состояния [0]

# счетчик: используется для поддержания активного состояния в течение нескольких циклов
counter = 0
counter_max = 5

# ------------------------------------------------- ------
# Инициализировать устройства

# датчик расстояния
ps = []
psNames = ['ps0', 'ps1', 'ps2', 'ps3', 'ps4', 'ps5', 'ps6', 'ps7']
для i в диапазоне (8):
    ps.append (robot.getDistanceSensor (psNames [i]))
    ps [i] .enable (временной шаг)

# наземный датчик
gs = []
gsNames = ['gs0', 'gs1', 'gs2']
для i в диапазоне (3):
    gs.append (robot.getDistanceSensor (gsNames [i]))
    gs [i] .enable (временной шаг)


# моторов
leftMotor = robot.getMotor ('мотор левого колеса')
rightMotor = robot.getMotor ('мотор правого колеса')
leftMotor.setPosition (float ('inf'))
rightMotor.setPosition (float ('inf'))
leftMotor.setVelocity (0,0)
rightMotor.setVelocity (0,0)


# ------------------------------------------------- ------
# Основной цикл:
# - выполнять шаги моделирования, пока Webots не остановит контроллер
в то время как robot.step (timestep)! = -1:
    # Обновить показания датчика
    psValues ​​= []
    для i в диапазоне (8):
        psValues.добавить (ps [i] .getValue ())

    gsValues ​​= []
    для i в диапазоне (3):
        gsValues.append (gs [i] .getValue ())

    # обнаруживать препятствия
    right_obstacle = psValues ​​[0]> 80,0 или psValues ​​[1]> 80,0 или psValues ​​[2]> 80,0
    left_obstacle = psValues ​​[5]> 80,0 или psValues ​​[6]> 80,0 или psValues ​​[7]> 80,0

    # инициализировать скорость двигателя на 50% от MAX_SPEED.
    leftSpeed ​​= скорость
    rightSpeed ​​= скорость
    # изменять скорость в соответствии с препятствиями
    если left_obstacle:
        # Поверните направо
        leftSpeed ​​= скорость
        rightSpeed ​​= -скорость
    elif right_obstacle:
        # Поверните налево
        leftSpeed ​​= -speed
        rightSpeed ​​= скорость
    
    

    # Данные датчика процесса
    line_right = gsValues ​​[0]> 600
    line_left = gsValues ​​[2]> 600

    # Реализуем конечный автомат следования строк
    если current_state == 'вперед':
        # Действие для текущего состояния
        leftSpeed ​​= скорость
        rightSpeed ​​= скорость
        # при необходимости обновить текущее состояние
        если line_right, а не line_left:
            current_state = 'Turn_right'
            counter = 0
        elif line_left, а не line_right:
            current_state = 'поворот_влево'
            counter = 0
            
    если current_state == 'turn_right':
        # Действие для текущего состояния
        leftSpeed ​​= 0.8 * скорость
        rightSpeed ​​= 0,4 * скорость
        # при необходимости обновить текущее состояние
        если counter == counter_max:
            current_state = 'вперед'

    если current_state == 'turn_left':
        # Действие для текущего состояния
        leftSpeed ​​= 0,4 * скорость
        rightSpeed ​​= 0,8 * скорость
        # при необходимости обновить текущее состояние
        если counter == counter_max:
            current_state = 'вперед'

    # приращение счетчика
    счетчик + = 1
    
    #print ('Counter:' + str (counter), gsValues ​​[0], gsValues ​​[1], gsValues ​​[2])
    print ('Счетчик:' + str (счетчик) + '.Текущее состояние: '+ current_state)

    # Обновить опорные скорости для двигателей
    leftMotor.setVelocity (leftSpeed)
    rightMotor.setVelocity (rightSpeed)
  

12 Дроны для предотвращения столкновений и объяснения по обнаружению препятствий

Дроны с датчиками обнаружения препятствий и предотвращения столкновений становятся все более распространенными как в потребительском, так и в профессиональном секторе. В этом году у нас довольно много дронов с технологией предотвращения столкновений.

Эта технология обнаружения и предотвращения препятствий началась с датчиков, обнаруживающих объекты перед дроном.

Теперь последние дроны от DJI, Walkera, Yuneec и других имеют передние, задние, нижние и боковые датчики предотвращения препятствий.

На момент написания есть всего 2 дрона, у которых есть все 6 направлений обнаружения препятствий.

В этой обновленной статье мы кратко рассмотрим лучшие дроны с технологиями обнаружения препятствий и предотвращения столкновений. Мы также даем вам краткий обзор типов используемых датчиков обнаружения препятствий, включая информацию о программных алгоритмах и технологии SLAM, которая используется для интерпретации изображений, сканируемых датчиками.

Здесь также есть ссылки и информация, если вы хотите создать свою собственную систему предотвращения столкновений своими руками.

Удивительно, но производители дронов используют не один тип датчиков обнаружения препятствий.

Мы видим, что для обнаружения препятствий и обхода препятствий используются датчики стереозрения, монокулярного зрения, ультразвуковые, инфракрасные, времяпролетные и лидарные датчики. Производители объединяют эти различные датчики вместе, чтобы создать системы обнаружения препятствий и предотвращения столкновений.

Приведенные ниже дроны для предотвращения препятствий содержат от 1 до 6 направлений технологии обхода препятствий. Мы рассмотрим этот список более подробно в этой статье.

• Skydio 2
• Kespry 2
• DJI Mavic Air
• Walkera Vitus
• DJI Mavic Pro
• DJI Mavic 2 Pro & Zoom
• Yuneec Typhoon H / Hager 5
Phantom
• DJI Matrice 200
• DJI Inspire 2
• Autel Evo

Как вы можете видеть, DJI, ведущий потребительский и профессиональный производитель дронов с примерно 70% рынка, также лидирует, когда дело доходит до предотвращения препятствий. дроны.

Для сравнения всех вышеперечисленных дронов следует отметить, что у нового Skydio 2, а также у DJI Mavic Pro 2 и Mavic 2 Zoom лучшая система предотвращения препятствий.

Skydio 2 был выпущен только в октябре 2019 года. Он имеет перекрывающееся визуальное восприятие, что означает полное обнаружение препятствий. Он использует линзу super fisheye для обзора на 360 ° для истинного всенаправленного обзора, включая обнаружение препятствий сверху и снизу. Skydio 2 был специально разработан для отслеживания людей и объектов.

Mavic 2 имеет обнаружение препятствий со всех 6 сторон дрона.Mavic 2 также может облетать препятствия спереди или сзади. Более подробная информация о системе обнаружения препятствий Mavic 2 приведена ниже. DJI Mavic Pro 2 и Mavic 2 Zoom, выпущенные в августе 2018 года, оснащены новыми камерами и превосходной стабилизацией. Щелкните ссылку выше, чтобы посмотреть видео об этих последних квадрокоптерах DJI Mavic 2.

Следующим лучшим является система предотвращения препятствий DJI Phantom 4 Pro. Он имеет 5 направлений обнаружения препятствий и 4 направления уклонения от препятствий, что является выдающимся достижением.Он также имеет множество интеллектуальных режимов полета, сверхплавную стабильность и лучшую камеру 4k.

Каждый дрон отличается от более дорогих дронов, которые использовались для коммерческих инспекций, фотограмметрии и создания фильмов.

Одним из лучших способов обнаружения препятствий и предотвращения столкновений на небольшом дроне является DJI Mavic Air и Mavic Air 2, выпущенный в апреле 2020 года.

Обе модели Mavic Air имеют 3 направления предотвращения столкновений: вперед, назад и зондирование вниз.Это система распознавания и избегания была первой из небольших дронов, которая обнаруживала препятствия, а затем облетела объект.

Mavic Air обладает потрясающими инновационными технологиями и представляет собой потрясающий малогабаритный дрон. Вы можете прочитать полный обзор Mavic Air здесь, а новый Mavic Air 2 впечатляет еще больше. Вы можете прочитать полный обзор Mavic Air 2 здесь, в котором есть несколько потрясающих видеороликов.

Ниже я более подробно расскажу о технологии обнаружения препятствий и предотвращения столкновений Mavic Air, а также о других дронах, описанных выше.

У дронов с системами предотвращения столкновений так много преимуществ и преимуществ.

Все хотят меньше падений дронов. Владельцу дрона очень легко увлечься полетом. Если вы потеряете ориентацию или концентрацию, вы можете легко отлететь назад или вбок на объект. Можно даже врезаться в препятствие, особенно при полете на большие расстояния.

Почти все дроны имеют вид от первого лица, которые передают видео с камеры дрона обратно на пульт дистанционного управления, смартфон или планшет. Однако можно потерять эту видеопередачу.

Если вы пролетели достаточно далеко вне прямой видимости, без предотвращения препятствий будет невозможно безопасно вернуться домой без передачи видео. Нажатие кнопки «Вернуться домой» - единственный вариант, но если у вас нет возможности избегать препятствий, это может привести к аварии.

Дроны используются во многих общественных местах и ​​на мероприятиях, поскольку они снимают потрясающие фильмы с уникальных ракурсов. К сожалению, было несколько несчастных случаев, что нехорошо. Люди должны быть в безопасности на концертах или спортивных мероприятиях, поэтому использование дронов для предотвращения столкновений на этих мероприятиях является обязательным.

Мы видим фабрики и склады, которые хотят использовать дроны во многих сферах, таких как инспекции, подсчет запасов и логистика.

Летать в помещении сложнее. Меньше места и больше препятствий - самые большие проблемы. Многим дронам нужны пилоты, чтобы вручную летать в помещении. Благодаря датчикам предотвращения препятствий это позволит дронам автономно перемещаться в помещении.

Затраты на страхование профессиональной аэросъемки или мультиспектрального дрона могут быть довольно высокими.Мультикоптер высшего класса с дорогостоящим фотооборудованием может стоить до 50 тысяч долларов. Для этих дронов необходимо иметь страховку, а стоимость страховки высока. Наличие дрона с системами предотвращения столкновений с обнаружением препятствий снизит эти расходы на страхование.

Последние лучшие дроны сегодня оснащены камерами 4K и прекрасно снимают. Многие люди хотели бы иметь дрон, но боятся столкнуться с ним.Если пилот беспилотника врезается в дерево, это очень плохо, но если он врезается в человека, велосипедиста или машину, это может быть как катастрофическим, так и очень неприятным. Многие люди боятся, что они потерпят крушение при первом же полете, лишив их покупки.

Благодаря обнаружению препятствий и множеству функций безопасности, которые сегодня есть в дронах, мы должны увидеть, как гораздо больше людей будут заниматься полетами на дронах в качестве хобби или профессии. У дронов так много замечательных применений, и еще многое предстоит сделать.

Дроны с нами, чтобы остаться, и мы можем смотреть в будущее, в котором дроны автономно доставляют посылки, лекарства и пиццу к нашим дверям. Чтобы это произошло, нужно преодолеть так много проблем. Без сомнения, дроны должны быть на 100% безопасными. Они должны уметь избегать препятствий как в движении, так и в канцелярских принадлежностях.

Различные беспилотные летательные аппараты используют следующие датчики избегания препятствий по отдельности или вместе;

• Stereo Vision
• Ultrasonic (Sonar)
• Time-of-Flight
• Lidar
• Infrared
• Monocular Vision

Далее в этом посте дается краткое, легкое для понимания объяснение того, как работает каждый датчик.

Для беспилотного летательного аппарата, автомобиля или робота, который может обнаруживать объекты, а затем предпринимать действия, чтобы избежать препятствия, будь то остановка, объезд или над объектом, задействует множество сложных технологий, работающих вместе для интегрированная система. Это влечет за собой множество различных датчиков, программирование программного обеспечения, которое включает математическое моделирование, алгоритмы, машинное обучение и аспекты технологии SLAM. Давайте кратко рассмотрим эти различные технологии.

Ad: Оцените эту превосходную сделку DJI Mavic 2 Pro на Amazon.

Sensor Fusion - это процесс, посредством которого данные нескольких различных датчиков «объединяются» для вычисления чего-то большего, чем может быть определено одним одним датчиком. Слияние датчиков - это подкатегория слияния данных, также называемая слиянием мультисенсорных данных или слиянием сенсорных данных. Многие дроны DJI объединяют в своей системе предотвращения столкновений различные датчики.

Еще одна область, где используется сочетание датчиков, - это точное сельское хозяйство с использованием мультиспектральных датчиков на дронах.Технология получения изображений с помощью мультиспектрального дистанционного зондирования использует диапазоны волн зеленого, красного, красного и ближнего инфракрасного диапазонов для получения как видимых, так и невидимых изображений сельскохозяйственных культур и растительности.

Эти различные датчики предотвращения препятствий передают данные обратно в полетный контроллер, который запускает программное обеспечение и алгоритмы обнаружения препятствий. Контроллер полета имеет множество функций. Одним из них является обработка данных изображения окружающей среды, сканированных датчиками обнаружения препятствий в реальном времени.

Алгоритм уклонения от препятствий - это процесс или набор правил, которым необходимо следовать при вычислении данных от различных датчиков.Алгоритм представляет собой подробный пошаговый набор инструкций или формулу для решения задачи обнаружения всех типов объектов, как движущихся, так и неподвижных.

В зависимости от алгоритма он сможет сравнивать данные в реальном времени с сохраненными ссылочными изображениями объектов и даже может строить на этих изображениях.

Существует множество методов, которые можно использовать для обхода препятствий, включая то, как алгоритм обрабатывает данные. Наилучшая техника зависит от конкретной среды и различается для дрона для предотвращения столкновений и робота на заводе.

Вот хорошая веб-страница, на которой объясняются техники обхода препятствий. Это дает вам представление о технологиях и методах, которые используются для очень простого обнаружения объектов.

Алгоритм очень важен. У вас может быть лучший датчик обнаружения препятствий, но если программное обеспечение и алгоритм плохо написаны, данные с датчика не будут интерпретироваться неправильно, что приведет к ошибкам полета и падению дрона.

Одновременная локализация и картографирование или SLAM - чрезвычайно важная технология, когда дроны, автомобили и роботы обнаруживают и избегают препятствий.

SLAM - это процесс, с помощью которого робот или устройство могут создавать карту своего окружения и правильно ориентироваться на этой карте в режиме реального времени. Это непростая задача, и в настоящее время SLAM находится на переднем крае технологических исследований и разработок.

Технология SLAM сначала строит уже существующую карту своего окружения. Устройство, такое как дрон или робот, запрограммировано с уже существующими картами. Затем эта карта уточняется по мере того, как робот или дрон перемещается по окружающей среде.

Настоящая проблема этой технологии - точность.Измерения должны производиться постоянно, когда робот или дрон движется в своем пространстве, и технология должна учитывать «шум», который вносится как движением устройства, так и неточностью метода измерения.

SLAM - захватывающая технология, и вы можете узнать о ней больше в этой статье, озаглавленной «Что такое технология SLAM». Многие технологии обнаружения и обхода препятствий в дронах используют некоторые части SLAM. Монокулярное зрение - одна из таких технологий.

Каждый дрон будет иметь небольшие различия в том, что делать после обнаружения объекта. Датчики сканируют окрестности и передают эту информацию обратно в систему управления полетом, которая будет управлять алгоритмом уклонения от препятствий. Затем полетный контроллер будет направлять дрон в зависимости от интерпретации визуальных данных алгоритма, летать ли вокруг, над или просто зависать перед препятствием.

Эти датчики обнаружения препятствий могут делать больше, чем просто обнаруживать объекты и перемещаться вокруг них или предотвращать столкновение с препятствием. Все перечисленные выше дроны используют датчики зрения вместе с передовыми алгоритмами распознавания изображений, чтобы квадрокоптер мог распознавать и отслеживать объекты. Эти датчики и алгоритмы обнаружения препятствий могут обнаруживать людей, транспортные средства, животных и многие другие объекты, за которыми следует следовать.

На дронах DJI эта технология известна как ActiveTrack со следующими вариантами выбора:

Trace - Следуйте позади или впереди объекта, автоматически избегая препятствий.
Профиль - Облетайте объект под разными углами, чтобы получить профильные снимки объекта.
Прожектор - Держите камеру наведенной на объект, пока самолет летит практически в любом месте.

Ультразвуковые датчики под Phantom 4 и Mavic позволяют этим дронам отслеживать уровень земли в режиме отслеживания местности.Обычно эти дроны автоматически остаются на одной высоте над землей.

Далее мы дадим краткое объяснение, как работает каждый датчик обнаружения препятствий. У нас есть ссылки на другие статьи и видео, касающиеся датчиков стереозрения, инфракрасного, лидара, ToF, ультразвукового и монокулярного зрения.

Стереозрение работает аналогично трехмерному восприятию в нашем человеческом зрении.Стереоскопическое зрение - это вычисление информации о глубине путем объединения двухмерных изображений с двух камер с немного разных точек обзора.

Он начинается с определения пикселей изображения, которые соответствуют одной и той же точке физической сцены, наблюдаемой несколькими камерами. Затем можно установить трехмерное положение точки путем триангуляции с использованием луча от каждой камеры.

Чем больше идентифицируется соответствующих пикселей, тем больше трехмерных точек можно определить с помощью одного набора изображений.Методы корреляционного стереоизображения пытаются получить соответствия для каждого пикселя в стереоизображении, что приводит к созданию десятков тысяч трехмерных значений для каждого стереоизображения.

DJI использует стереозрение для предотвращения препятствий на передней части своих дронов. Они также комбинируют сенсоры Stereo Vision и Ultrasonic под своими дронами.

Вот короткое видео о том, как работает Stereo Vision.

Centeye создала прототип системы технического зрения, позволяющей маленьким дронам парить на месте без GPS и избегать столкновений с ближайшими препятствиями.

Эта система была протестирована на беспилотном летательном аппарате (БПЛА) «нано», который весит около унции и помещается на ладони. В нем используются чипы технического зрения Centeye RockCreek ™.

На видео ниже показаны примеры полетов в закрытом жилом помещении.

Ультразвуковой датчик отправляет высокочастотный звуковой импульс, а затем измеряет время, необходимое для отражения эха звука.Ультразвуковой датчик имеет 2 отверстия. Одно из этих отверстий передает ультразвуковые волны (как крошечный динамик), а другое отверстие принимает ультразвуковые волны (как крошечный микрофон).

Скорость звука в воздухе составляет примерно 341 метр (1100 футов) в секунду. Ультразвуковой датчик использует эту информацию вместе с разницей во времени между отправкой и получением звукового импульса для определения расстояния до объекта. Он использует следующее математическое уравнение:

Расстояние = Время x Скорость звука / на 2

• Время = время между передачей ультразвуковой волны и ее получением
• Вы разделите это число на 2, потому что звуковая волна должен перемещаться к объекту и обратно

Большинство дронов используют ультразвуковые датчики в нижней части дрона для обнаружения земли, а также для использования в режиме отслеживания местности.

Ультразвук используется во многих различных областях. Ультразвуковые устройства используются для обнаружения объектов и измерения расстояний. В медицине часто используется ультразвуковая визуализация или сонография. При неразрушающем контроле изделий и конструкций ультразвук используется для обнаружения невидимых дефектов.

Ультразвук имеет множество промышленных применений, от очистки, смешивания и ускорения химических процессов. Такие животные, как летучие мыши и морские свиньи, используют ультразвук для обнаружения добычи и препятствий.

Термин гидролокатор используется для оборудования, используемого для генерации и приема звука.Акустические частоты, используемые в сонарных системах, варьируются от очень низких инфразвуковых до чрезвычайно высоких ультразвуковых.

Ультразвуковой датчик HC-SR04 использует сонар для определения расстояния до объекта, как это делают летучие мыши. Он предлагает отличное бесконтактное определение дальности с высокой точностью и стабильными показаниями в простом в использовании корпусе. От 2 см до 400 см или от 1 дюйма до 13 футов.

На работу HC-SR04 не влияет солнечный свет или черный материал, как на дальномеры Sharp (хотя акустически мягкие материалы, такие как ткань, бывает трудно обнаружить).Поставляется в комплекте с ультразвуковым передатчиком и модулем приемника.

Вы можете прочитать полное руководство по ультразвуковому датчику HC-SR04 здесь.

ToF независимо регистрируют глубину, что позволяет использовать относительно простые алгоритмы уклонения от препятствий.Камеры ToF также обладают высокой точностью.

Time of Flight также называют «Flash Lidar», но эту технологию не следует путать с Lidar, о котором я расскажу ниже.

Как это работает. Камера ToF освещает всю сцену, включая объекты, с помощью импульсного или непрерывного источника света, а затем наблюдая за отраженным светом.

Измеряет время прохождения импульса от излучателя до объекта, а затем обратно после отражения от объекта. Поскольку скорость света известна, расстояние до всех точек препятствия можно легко вычислить.

Результатом этих вычислений является трехмерная карта диапазона глубин, созданная на основе одиночного снимка области или сцены. Это самая быстрая технология для захвата трехмерной информации.

Walkera Vitus использует датчики ToF для предотвращения столкновений на передней, левой и правой сторонах своего последнего карманного квадрокоптера.

Подробнее о множестве потрясающих применений датчиков ToF Flash Lidar на дронах можно прочитать здесь.

Датчик AMS ToF для обнаружения препятствий и предотвращения столкновений основан на запатентованной конструкции пикселей SPAD (однофотонный лавинный фотодиод) и время-цифровых преобразователях (TDC), которые имеют чрезвычайно узкая ширина импульса.Они могут измерять в реальном времени прямое время пролета инфракрасного луча VCSEL (лазерного) излучателя, отраженного от объекта.

Эта маломощная технология измерения времени пролета от AMS позволяет хост-системам точно измерять расстояния с очень высокой скоростью. Точные измерения расстояния используются в различных приложениях, включая обнаружение присутствия, распознавание лиц пользователя и современные камеры.

Датчики AMS используют сложные данные гистограммы и интеллектуальные программные алгоритмы в своих датчиках ToF, обеспечивая следующие функции:

• способны обнаруживать и нейтрализовать эффект покровного стекла.
• невосприимчивы к пятнам и перекрестным помехам, вызванным отражениями от покровного стекла.
• позволяют разместить большой воздушный зазор.
• обеспечивает точное определение расстояния независимо от цвета, отражательной способности и текстуры объекта.
• может измерять расстояние до нескольких объектов в поле зрения.

Инфракрасный (IR) датчик обнаружения препятствий работает в соответствии с принципом инфракрасного отражения для обнаружения препятствий.

Инфракрасный датчик предотвращения препятствий в основном состоит из инфракрасного передатчика, инфракрасного приемника и потенциометра. В соответствии с отражающим характером объекта, если нет препятствий, излучаемый инфракрасный луч будет ослабевать с увеличением расстояния и в конце концов исчезнет.

Если есть препятствие, когда инфракрасный луч встречает его, он отражается обратно в инфракрасный приемник. Затем инфракрасный приемник обнаруживает этот сигнал и подтверждает наличие препятствия впереди.

Чтобы ИК-датчик не спутался с видимым светом, инфракрасные детекторы работают с определенной частотой инфракрасного излучения, которое излучается излучателем, отражается от объекта, а затем улавливается приемником. Два устройства (излучатель и приемник) согласованы для достижения оптимальной чувствительности.

Когда нет объекта, инфракрасный приемник не принимает сигналов. Когда впереди находится объект, который блокирует инфракрасный свет, а затем отражает инфракрасный свет обратно на приемник.

Вот красивое короткое видео, в котором объясняется, как работает ИК-датчик препятствий.

Sharp GP2Y0A02YK0F измеряет расстояния в диапазоне от 6 до 60 дюймов (20–150 см) с использованием отраженного луча инфракрасного света. Используя триангуляцию для расчета измеренного расстояния, этот датчик может обеспечивать согласованные показания, на которые меньше влияют отражательная способность поверхности, время работы или температура окружающей среды.

Sharp GP2Y0A02YK0F выдает аналоговое напряжение, соответствующее расстоянию до отражающего объекта. Вы можете узнать больше об этом ИК-датчике расстояния Sharp здесь.

Очень популярный способ узнать об обнаружении препятствий - использовать плату электроники Arduino Nano и ИК-датчики предотвращения препятствий.

Лидарный датчик вычисляет расстояния и обнаруживает объекты путем измерения времени, которое требуется короткому лазерному импульсу для прохождения от датчика к объекту и обратно, вычисляя расстояние по известной скорости света .

Датчики высшего класса, такие как датчик Velodyne Lidar, используемый в автомобилях Google без водителя, объединяют несколько пар лазер / детектор (до 64) в один датчик, и каждый может пульсировать с частотой 20 кГц. Это позволяет выполнять измерения до 1,3 миллиона точек данных в секунду.

Различные приложения требуют разных требований к качеству данных. Однако для наиболее надежного обнаружения объектов абсолютно необходим обилие данных, что делает лидарные датчики идеальными для обнаружения препятствий.

Лидарные датчики на дронах имеют множество применений, и вы можете прочитать о лидарных датчиках на дронах здесь.

В коммерческом БПЛА Kespry 2.0 используются лидарные датчики для обнаружения препятствий и обхода препятствий.

В Vu8 используется фиксированный лазерный источник света, что значительно увеличивает надежность и экономичность датчика по сравнению с любым сканирующим LiDAR-решением.

Датчик Vu8 очень подходит для приложений навигации и предотвращения столкновений в полуавтономных и автономных транспортных средствах с водителем, таких как дроны, грузовики, тяжелое оборудование для строительства и горнодобывающей промышленности, челноки, автобусы и другие транспортные средства общественного транспорта.

Приложения, такие как Advanced Traffic Management System (ATMS), требующие больших расстояний, а также широкое поле обзора, также получат большую выгоду от нового предложения датчиков Vu8.

Модули Vu8 доступны сегодня в различных вариантах поля зрения по прейскурантной цене, начинающейся от 475 долларов США, со скидками.

Монокулярные датчики захватывают изображения через камеру с одним объективом. Это трехмерная реконструкция глубины из одного неподвижного изображения.

Восприятие глубины - это способность видеть вещи в трех измерениях и оценивать расстояние. Как люди, мы используем сигналы глубины, глядя на изображения, чтобы определять расстояния между объектами.Эти метки глубины могут быть бинокулярными или монокулярными.

Метки глубины также известны как графические метки глубины, и их много.

Примером монокулярной реплики является линейная перспектива. На фотографии железнодорожных путей, уходящих вдаль, кажется, что параллельные линии пути встречаются. Это дает нам визуальную перспективу расстояния.

Другой пример - просмотр двух одинаковых объектов. Объект, находящийся дальше, будет казаться меньше, даже если объекты все еще того же размера.

Еще один пример монокулярной реплики - объекты, которые находятся дальше, появляются выше на изображении и ближе к линии горизонта.

Монокулярные камеры довольно популярны и недороги. Алгоритмы, используемые для интерпретации данных изображения, позволяют камерам с монокулярным зрением создавать трехмерные изображения, определять расстояния между объектами и обнаруживать препятствия.

В очень упрощенном объяснении алгоритм сравнивает изображение, захваченное датчиком камеры монокулярного зрения, с его графическими подсказками глубины.Это звучит очень просто. Однако для обнаружения препятствий с помощью камер монокулярного зрения потребовались выдающиеся исследования.

Вот действительно потрясающая статья под названием Монокулярное визуальное картирование для избегания препятствий на БПЛА.

Дрон Parrot AR 2.0 имеет 2 монокулярные камеры. Одна обращена вперед, а другая - вниз. Фактически, большинство дронов оснащено монокулярной камерой. Однако почти все дроны не используют монокулярные камеры для обнаружения и уклонения от препятствий.

Однако многие исследователи используют монокулярные камеры, такие как дрон Parrot AR 2.0, для обнаружения объектов в реальном времени с помощью алгоритмов машинного обучения. Вот еще одна статья с видеороликами, в которых монокулярные камеры Parrot AR drone 2.0 используются для обнаружения и обхода препятствий с помощью монокулярного зрения.

Начнем с некоторых из самых популярных и новейших дронов с системой предотвращения столкновений, представленных сегодня на рынке.

ПРИМЕЧАНИЕ: Если вы покупаете дрон с функцией обнаружения препятствий и предотвращения столкновений, прочтите руководство, поскольку функция предотвращения препятствий может быть отключена в определенных режимах или не будет работать, если такие условия, как освещение или окружение, не подходят для конкретного препятствия. датчик избегания.

Вот 2 примера, когда технология предотвращения препятствий может не работать. При плохом освещении уклонение от препятствий может не работать или работать некорректно. В некоторых интеллектуальных режимах, таких как спортивный режим на Mavic, обнаружение препятствий отключено.

Skydio 2 был разработан специально для отслеживания людей и объектов.

Этот дрон также имеет исключительную технологию отслеживания движения и фантастическую камеру, позволяющую снимать потрясающее видео 4k со скоростью 60 кадров в секунду в качестве HDR.

Skydio 2 делает сверхчеткие фотографии с помощью 12-мегапиксельной HDR-камеры. Skydio 2 включает в себя множество интеллектуальных режимов съемки и съемки, включая Dronie, Hover, Angle Track, Orbit и Cable Cam.

Skydio 2 производится и поддерживается в США. Это настоящая американская история успеха. Основатели Skydio - ведущие аспиранты Массачусетского технологического института. В 2009 году они первыми разработали технологию автономных дронов. После Массачусетского технологического института они помогли запустить программу доставки дронов Google под названием Project Wing.Skydio была основана в 2014 году, а в 2018 году они выпустили Skydio R1.

Теперь, в 2019 году, у нас есть их последний инновационный дрон Skydio 2.

Skydio 2 - это огромный технологический скачок по сравнению со своим предшественником.

Он имеет время полета 23 минуты и исключительно легкий - всего 27,3 унции (775 граммов). Он может летать со скоростью 36 миль в час (58 км / ч). Его максимальный потолок составляет 15 000 футов, что довольно удивительно.Он также имеет дальность передачи 2,17 мили (3,5 км).

Есть 3 способа управлять Skydio 2. Вы можете летать с помощью маяка, приложения на вашем смартфоне или с помощью пульта дистанционного управления Skydio.

Для обнаружения препятствий Skydio 2 использует 45 мегапикселей визуального восприятия от шести цветных камер по 200 градусов. Визуальное покрытие Skydio 2 перекрывается и позволяет видеть все во всех направлениях со сверхвысоким разрешением и исключительной четкостью.

Чтобы понимать все визуальные данные и реагировать на эти визуальные эффекты, Skydio 2 имеет чрезвычайно мощный обрабатывающий мозг. Он использует NVIDIA Jetson TX2, которое является самым быстрым и энергоэффективным встроенным вычислительным устройством на базе искусственного интеллекта. С 256 ядрами графического процессора он способен выполнять 1,3 триллиона операций в секунду. Skydio 2 действительно летающий суперкомпьютер.

Автономный движок Skydio понимает, что происходит вокруг Skydio 2, предсказывает, что будет дальше, и принимает разумные решения несколько раз в секунду.Он использует камеры 6 x 4k для построения 3D-карты своего окружения, на которой изображены деревья, люди, здания и многое другое.

Понимая, что вы делаете, какие препятствия следует избегать и что будет дальше, Skydio 2 никогда не потеряет объект съемки.

Маяк Skydio обеспечивает невероятно качественное отслеживание по GPS. Он будет следовать за вами повсюду, даже если не может вас видеть. Skydio Beacon можно использовать вместе с приложением Skydio или как отдельное независимое устройство.

При использовании с приложением Skydio 2 не будет ограничен диапазоном Wi-Fi вашего телефона и сможет использовать сильный сигнал GPS Beacon для отслеживания объекта.

Skydio 2 имеет потрясающую камеру, созданную на основе сенсора Sony IMX577 и RedDragon ™ QCS605. Он способен снимать видео 4K со скоростью до 60 кадров в секунду с HDR.

Skydio 2 имеет специальный фоторежим для получения 12-мегапиксельных HDR-фотографий для различных вариантов съемки, включая одиночную, интервальную и другие.

Вот видео, которое показывает вам все потрясающие функции, включая предотвращение столкновений и режим «следуй за мной» на Skydio 2. У этого дрона определенно есть WOW-фактор.

Компания Kespry предоставляет коммерческие решения в области авиации, такие как инспекции и изыскания во многих секторах, включая горнодобывающую промышленность, телекоммуникации, строительство, страхование и кровельные работы.

Их решение включает Kespry 2.0 drone, программное обеспечение для картографирования и преобразования изображений в понятные данные для своих клиентов. Они также хранят данные для своих клиентов в облаке.

Kespry использует камеры с высоким разрешением, такие как Sony UMC-R10C с большим сенсором Exmor APS-C для детального захвата 20 мегапикселей цвета для точного расчета объемов, точного измерения расстояния и углов и безопасного определения опасностей или повреждений.

Kespry настраивает каждую камеру так, чтобы обеспечить максимальное качество изображения для определенных типов заданий.Изображения высокого разрешения с геотегами обрабатываются с помощью фотограмметрии в облаке Kespry.

Затем с помощью программного обеспечения для фотограмметрии создается одно ортофотоплан, чтобы предоставить высококачественные топографические карты, размерные и объемные данные, а также обширную бизнес-информацию.

Дрон Kespry 2.0 рассчитывает траекторию полета и летает автономно, используя датчики LiDAR, чтобы избегать препятствий. Kespry не вдавался в подробности о датчиках лидара, которые они используют.В целом, если вам нужен полноценный коммерческий дрон, стоит присмотреться к Kespry 2.0.

Новые Mavic 2 Pro и Mavic 2 Zoom, выпущенные только 23 августа 2018 года, могут обнаруживать объекты в 6 направлениях. Известный как всенаправленное обнаружение препятствий, квадрокоптер Mavic 2 может обнаруживать объекты слева, справа, вверх, вниз, вперед и назад.

Теперь вы можете подумать, что обнаружение препятствий со всех 6 сторон даст вам все возможности обнаружения.Это не тот случай. Всенаправленное обнаружение препятствий не полностью покрывает полную дугу окружности квадрокоптера в 360 градусов.

Тем не менее, это, безусловно, лучший дрон для обнаружения препятствий на рынке. Существуют мультироторные дроны, которые стоят в 10 раз дороже и не имеют обнаружения препятствий со всех сторон.

Mavic 2 Pro и Mavic 2 Zoom имеют датчики прямого, заднего, нижнего и бокового обзора, включая восходящие и нижние инфракрасные датчики.Все они обеспечивают всенаправленное обнаружение препятствий при достаточных условиях освещения.

Основными компонентами систем переднего, заднего и нижнего обзора являются шесть датчиков камеры, расположенных на носу, задней части и нижней части Mavic 2 Pro и Mavic 2 Zoom.

Система бокового обзора состоит из 2 камер, по одной с каждой стороны квадрокоптера Mavic 2.

Основными компонентами систем восходящего и нисходящего инфракрасного зондирования являются 2 трехмерных инфракрасных модуля, расположенных сверху и снизу дрона Mavic 2.

Система обзора вниз и система инфракрасного зондирования позволяют Mavic 2 очень точно удерживать текущее положение и зависать на месте. Система обзора и инфракрасного зондирования позволяет Mavic 2 летать в помещении или в других местах, где сигнал GPS недоступен.

Очень важно прочитать документацию, прилагаемую к любому приобретенному вами дрону, и особенно разделы по безопасности, такие как функции возврата домой.

Если у вас есть дрон с функцией обнаружения препятствий и предотвращения столкновений, очень важно понимать, как он работает и в каких ситуациях он не работает.

Приведенные ниже примечания относятся к Mavic 2, но все дроны будут иметь одинаковые режимы или условия, при которых обнаружение препятствий и предотвращение столкновений не работают.

Режим ATTI (Attitude) - Избегание препятствий недоступно в режиме ATTI, поскольку недоступна система Mavic 2 Vision.

S-Mode (Sport) - В спортивном режиме Mavic 2 системы обзора отключены, и Mavic 2 использует только GPS для определения местоположения.

RTH Предотвращение препятствий - Mavic 2 может обнаруживать и избегать препятствий во время автономного возвращения в домашнюю точку при условии достаточного освещения и сильного сигнала GPS.

Интеллектуальный режим Hyperlapse - Mavic 2 будет тормозить и зависать на месте только во время Hyperlapse.

Параллельный режим и подрежимы Spotlight - В ActiveTrack 2.0 есть несколько сюжетных режимов. В режимах Parallel и Spotlight Mavic 2 немедленно тормозит при обнаружении препятствия.

Режим POI - Mavic 2 будет тормозить и зависать на месте при обнаружении препятствия в режиме точек интереса

Системы бокового обзора - доступны только в ActiveTrack 2.0 и режиме штатива.

Mavic 2 Vision Systems - не может работать должным образом на поверхностях, на которых нет явных вариаций рисунка.

Скорость - Если Mavic 2 летит со скоростью более 31 мили в час (50 км / ч), система обзора не успевает затормозить и остановиться.

Слишком мало препятствий - Маленькие препятствия, такие как листья или электрические провода, слишком малы для обнаружения.

Дополнительный фонарь, расположенный на нижней стороне Mavic 2, улучшает видимость для системы нижнего обзора в условиях плохой освещенности.

Примечания по системам обнаружения препятствий Mavic 2

Существует множество причин и условий, в которых система видения и инфракрасного обнаружения не работает или не будет работать оптимально.Например, датчики зрения не работают в темноте или при плохом освещении.

Отражающие или прозрачные поверхности также могут вызвать проблемы с датчиками обзора и инфракрасного излучения. Это верно для всех систем технического зрения, а не только для Mavic 2.

Mavic 2 Pro и Mavic 2 Zoom имеют расширенную систему помощи пилотам (APAS). Система Mavic 2 APAS позволяет пользователям летать вперед и назад, избегая препятствий впереди и позади объекта.

APAS спланирует соответствующую траекторию полета, чтобы избежать этих препятствий в полете автоматически.

• Функция Mavic 2 APAS автоматически отключается в интеллектуальных режимах полета и возобновляет работу после выхода из интеллектуального режима полета.
• Доступно только при полете вперед и назад. Не работает при полете боком.
• Дрон Mavic 2 зависнет на месте, если он не сможет избежать препятствия.
• APAS может некорректно работать над водой или снегом.
• Mavic 2 APAS не будет правильно работать в очень темных (<300 люкс) или очень ярких условиях (> 10 000 люкс).
• Многие APAS работают некорректно в запретных для полетов зонах или на ограничениях полетов.

Новый Mavic Air, выпущенный только в январе 2018 года, может обнаруживать объекты в трех направлениях. Однако его система обзора вперед и назад намного умнее, чем у других дронов.Большинство дронов будет зависать только тогда, когда они чувствуют и движутся впереди. Mavic Air может выполнять пересчет и фактически облетать препятствие. Он будет зависать только в том случае, если ii не сможет изменить маршрут вокруг препятствия.

DJI Mavic Air имеет систему обзора вперед, назад и вниз, которая постоянно ищет препятствия спереди, сзади и снизу. Система обзора вперед и назад позволяет Mavic Air избегать столкновений, облетая препятствие или зависая перед ним.

FlightAutonomy 2.0 - это название интегрированной системы датчиков, алгоритмов и передовой технологии VIO DJI для Mavic Air. Эта функция FlightAutonomy позволяет Mavic Air ощущать окружающую обстановку и предпринимать действия, основываясь на чувствах.

В общих чертах, технология VIO или визуальной инерциальной одометрии объединяет информацию с камеры и инерциальных датчиков, в частности IMU, гироскопов и акселерометров, для точной оценки положения устройства, не полагаясь на системы спутниковой навигации.

Ad: Оцените это превосходное предложение DJI Mavic Air 2 на Amazon.

DJI Mavic Air использует передовую технологию VIO в своей мощной сенсорной системе FlightAutonomy 2.0. Он состоит из основной камеры на кардане, передних, задних и нижних датчиков двойного обзора, системы нисходящего инфракрасного зондирования, резервных модулей IMU и группы вычислительных процессоров.

Вместе эти датчики собирают информацию из окружающей среды и передают ее на высокопроизводительный процессор для более точного зависания и улучшения летных характеристик.

Система обзора вниз помогает Mavic Air сохранять текущее местоположение. Он может очень точно зависать на месте. Система Mavic Air Downward Vision также позволяет квадрокоптеру летать в помещении или в других средах, где отсутствует сигнал GPS.

Основными аппаратными компонентами системы Downward Vision являются 2 камеры, а также модуль 3D-инфракрасного излучения.

Mavic Air имеет совершенно новую технологию Advanced Pilot Assistance System (APAS).Система Mavic Air APAS позволит квадрокоптеру попытаться обойти препятствия перед ним, пока вы летите с помощью пульта дистанционного управления.

Другими словами, когда вы летите вперед, Mavic Air постоянно сканирует свое окружение на предмет потенциальных препятствий. Если Mavic Air обнаруживает объект или препятствие, он рассчитывает безопасный путь вокруг препятствия без остановки. Это совершенно новая технология, которой нет на других дронах DJI, Mavic Pro или Spark.

Если он не может рассчитать или найти безопасный путь, он остановится и зависнет на месте.

Типы используемых датчиков обнаружения препятствий;

• Датчики технического зрения.
• Ультразвуковые датчики.

Этот высокотехнологичный, простой в управлении дрон Mavic имеет функцию обнаружения препятствий и столкновения в двух направлениях. Он объединяет эти датчики, свою основную камеру и сложные алгоритмы в свою систему под названием FlightAutonomy для обнаружения и предотвращения препятствий.

FlightAutonomy состоит из 7 компонентов, включая 5 камер (передние и нижние датчики двойного обзора и основная камера), двухдиапазонное спутниковое позиционирование (GPS и ГЛОНАСС), 2 ультразвуковых дальномера, резервные датчики и группу из 24 мощных, специализированные вычислительные ядра.

Во время полета Mavic двойные датчики переднего и нижнего обзора измеряют расстояние между ним и препятствиями, делая снимки со всех четырех камер и используя эту информацию для создания трехмерной карты, которая точно сообщает ему, где находятся препятствия.

Для работы двойных датчиков переднего и нижнего обзора необходим видимый свет, и при ярком свете можно видеть впереди на расстояние до 49 футов (15 метров).

Функция Terrain Follow Mavic использует информацию о высоте, собранную бортовой ультразвуковой системой и его обращенными вниз камерами, чтобы вы летели на одной и той же высоте над землей, даже когда земля движется.

И ультразвуковые датчики, и датчики обзора необходимы для полетов в помещении или без сигналов GPS. Ультразвуковые и видеодатчики также используются для сверхплавного зависания и приземления.

Вот потрясающее видео, демонстрирующее технологию предотвращения препятствий Mavic Pro в действии. Также обратите внимание на сглаживание мушек и пленок Mavic Pro. Это также один из самых простых в управлении дронов.

Phantom 4 Pro - действительно выдающийся дрон.У него потрясающая камера 4k, и он очень стабильно летает. На самом деле, я недавно смотрел видео, где один из его пропеллеров был отрезан, но он все еще летел очень стабильно. Phantom 4 Pro также имеет множество автоматических интеллектуальных режимов полета, которые упрощают съемку;

• Активный трек (профиль, прожектор, круг)
• Путевые точки
• TapFly
• Режим слежения за ландшафтом
• Режим штатива
• Режим жестов.
• S-Mode (Спорт)
• P-Mode (Положение)
• A-Mode (Attitude)
• Режим для начинающих
• Блокировка курса
• Home Lock
• Предотвращение препятствий

Phantom 4 Pro V2 был восстановлен -выпущена в январе 2020 года с потрясающими новыми функциями.Вы можете прочитать полный обзор DJI Phantom 4 Pro V2 здесь, который включает функции, характеристики и ответы на наиболее часто задаваемые вопросы.

Phantom 4 Pro имеет 5 направлений обнаружения препятствий и 4 направления уклонения от препятствий с использованием следующих типов датчиков;

• Стерео видение.
• Инфракрасная система.

DJI объединяет вышеуказанные датчики в систему, которую они называют FlightAutonomy.

FlightAutonomy использует датчики стереовидения высокого разрешения, расположенные сзади, в дополнение к паре, размещенной спереди, а также инфракрасные сенсорные системы, расположенные слева и справа. Phantom 4 Pro использует систему навигации с 6 камерами.

Три набора датчиков двойного обзора образуют систему навигации с 6 камерами, которая постоянно работает для расчета относительной скорости и расстояния между Phantom 4 и объектом.

Используя эту сеть датчиков переднего, заднего и нижнего обзора, Phantom 4 Pro может точно зависать на месте без GPS при взлете в помещении, на балконах или даже при полете через окна с минимальным контролем со стороны пилота.

Phantom 4 Pro может летать в сложных условиях со скоростью до 31 мили в час (50 км / ч), избегая препятствий на своем пути. В режиме узкого зондирования Phantom 4 Pro сужает область зондирования, позволяя ему видеть больше деталей и летать через небольшие пространства.

Опять же, DJI использует датчики технического зрения Phantom 4 не только для предотвращения столкновений. Датчики используются для отслеживания и отслеживания объектов и людей в их автономных режимах полета.

Phantom 4 - отличный выбор для многих профессионалов, и его можно использовать для самых разных целей, таких как инспекции, визуализация 3D, профессиональная съемка фильмов и фотография. Это также очень конкурентоспособная цена.

Лучший комплект Phantom 4 V2 на Amazon.

Phantom 4 Pro V2 Combo напрямую от DJI.

Вот потрясающее видео системы предотвращения столкновений Phantom 4, тестируемой в автономных режимах полета. Phantom 4, без сомнения, обладает лучшей технологией предотвращения столкновений по сравнению с другими дронами.

Новый складной дрон Walkera Vitus очень стабильно летает и снимает потрясающее видео высокой четкости 4k и 12-мегапиксельные фотографии. Его легко носить с собой и очень легко летать. Walkera всегда использует множество технологий в своих дронах.

Vitus имеет 3 направления обхода препятствий, а также датчики для точного зависания.Датчики, которые он использует, следующие:

• Датчик времени пролета.
• Инфракрасный датчик.

3 высокоточных датчика ToF позволяют Vitus обнаруживать препятствия на расстоянии 16 футов (5 метров) в трех направлениях (спереди, слева, справа).

Инфракрасный датчик, а также камера с оптическим потоком в нижней части Vitus снимают изображения со скоростью 50 кадров в секунду для позиционирования и точного зависания. Этот инфракрасный датчик делает возможным полет в помещении без спутникового сигнала.

Voyager 5 - новейший профессиональный и коммерческий дрон от Walkera, который был выпущен только в начале 2018 года. Что мне нравится в Walkera, так это то, что они действительно вкладывают в свои дроны как можно больше инноваций. .

Квадрокоптер Voyager 5 объединяет множество систем безопасности полетов, включая двойной IMU, двойной компас и двойную систему GPS, чтобы сделать его намного более надежным и безопасным.

Voyager 5 оснащен 3-осевым бесщеточным подвесом новой конструкции, обеспечивающим более стабильную съемку.В нем используется передовая технология амортизатора на подвесе, которая значительно снижает вибрацию и движение во время полета, позволяя камере снимать стабилизированные и плавные кадры даже после увеличения фокусного расстояния.

Есть 3 варианта камеры для Voyager 5:

• Объектив с 30-кратным оптическим зумом.
• Тепловизор Инфракрасная камера.
• Камера ночного видения при слабом освещении.

Voyager 5 имеет технологию предотвращения столкновений спереди и вниз.

Передний инфракрасный модуль предотвращения препятствий, высотомер и модуль оптического позиционирования потока позволяют Voyager 5 лучше позиционировать и обнаруживать препятствия во время полета, что значительно снижает риски, связанные с авариями.

Voyager 5 может обнаруживать препятствия до 16 футов (5 метров) спереди с полем обзора 30 ° по горизонтали и ± 30 ° по вертикали.

Датчик обзора вниз на Voyager 5 работает с высоты менее 10 футов (3 метров). Поверхности должны иметь богатый рисунок и достаточное освещение.

Этот беспилотный летательный аппарат Yuneec Typhoon H и новейший дрон Typhoon H Plus используют технологию Intel RealSense для обнаружения препятствий и обхода препятствий. Он использует камеру Intel® RealSense ™ R200 с модулем, работающим от Intel Atom, для построения трехмерной модели мира, чтобы не дать «Тайфуну H» столкнуться с препятствиями. Он использует следующие датчики;

• Инфракрасный датчик лазерной камеры
• Датчик сонара

Эта технология RealSense способна запоминать окружающую среду, что еще больше повышает уровень предотвращения возможных столкновений.Система предотвращения столкновений Typhoon H не является реакционной. Если он однажды уклонится от препятствия, он запомнит его местонахождение и автоматически узнает, как избежать его в следующий раз.

Лазерная камера Intel RealSense IR излучает инфракрасный свет на место, где она собирается лететь. Основываясь на смещении узора из-за объектов в сцене, он может вычислить расстояние до объектов от камеры. Этот метод расчета глубины в целом известен как структурированный свет, и именно так работают другие 3D-камеры, такие как оригинальный Kinect.

Интеллектуальные передние датчики сонара позволяют Typhoon H автоматически останавливаться перед препятствиями, обеспечивая более безопасный и легкий полет. Например, если препятствие было слишком большим, как обрыв, и его невозможно избежать, то датчики сонара остановят Тайфун H перед обрывом.

В режиме «Следуй за мной» RealSense снимает видео во всех направлениях, чтобы избежать столкновений с объектами. Камера Intel® RealSense ™ R200 с модулем на базе Intel® Atom ™ создает трехмерную модель мира, позволяя вам сосредоточиться на объекте, не беспокоясь о столкновении с препятствиями.

DJI Matrice 200 - это новейший коммерческий беспилотный летательный аппарат от DJI, который имеет множество применений, включая осмотр линий электропередач, мостов, вышек сотовых телефонов и т. Д. Он очень адаптируется и может нести Zenmuse X4S, Камеры X5S, Z30 и XT.

Он также может нести камеру поверх квадрокоптера и 2 камеры под Matrice 200. Итак, у вас есть камера с зумом Zenmuse Z30 и тепловизионная камера, установленные под дроном.

Matrice 200 имеет множество двойных систем для отказоустойчивого резервирования, таких как двойная батарея, спутниковая навигация, защита IMU и IP43.Он также имеет множество интеллектуальных режимов полета, таких как точки интереса и ActiveTrack.

Для обнаружения препятствий и предотвращения столкновений DJI Matrice M200 объединяет в себе следующие датчики;

• Лазерный датчик времени полета
• Датчик стереозрения
• Ультразвуковой датчик

Камера с датчиком времени полета с лазерным лучом, направленная вверх, распознает объекты выше. Matrice 200 использует датчики Stereo Vision для обнаружения объектов впереди.Он также использует как стереовидение, так и ультразвуковой датчик, показанный ниже.

Система технического зрения состоит из 3 датчиков стереовидения и 2 ультразвуковых датчиков спереди и снизу.

На Matrice 200 расположены 2 инфракрасных лазерных датчика Time of Flight.

Вся эта система обзора постоянно сканирует на предмет препятствий, позволяя Matrice 200 перемещаться, объезжать или просто зависать перед препятствием.

DJI Inspire 2 - это мечта профессиональных кинематографистов и кинематографистов, поскольку он поддерживает множество функций, которые требуются взыскательным видеооператорам, включая управление двумя операторами и профессиональное сжатие видео.

В Inspire 2 добавлены функции, повышающие его надежность, с двойным резервированием ключевых модулей, таких как IMU и барометр. Интеллектуальная система управления полетом контролирует систему резервирования, предоставляя ей точные полетные данные.

Чтобы сделать съемку намного проще, Inspire 2 имеет следующие интеллектуальные режимы полета;

• Spotlight Pro
• Режим профиля
• Режим штатива
• Трансляция
• QuickSpin
• TapFly
• ActiveTrack

Все эти интеллектуальные режимы полета делают Inspire 2 очень простым в управлении и позволяют пилоту сконцентрируйтесь, чтобы создавать сложные драматические кадры.

Голливудский продюсер мог бы гордиться качеством пленки, производимой на Inspire 2. В Inspire 2 интегрирована новая система обработки изображений CineCore 2.1, способная записывать видео 5,2 и 6k в CinemaDNG, видео 5,2k в Apple ProRes и многое другое. CineCore 2.1 встроен в носовую часть самолета и работает с любой камерой, подключенной через специальный порт для подвеса.

Inspire 2 - единственный дрон, который вам понадобится для создания фильмов голливудского качества. Он поставляется с наземными подвесами, поэтому вы можете снимать 100% фильмов или документальных фильмов с помощью Inspire 2.Фактически, фильм под названием The Circle был снят на 100% с помощью Inspire 2. Качество этих фильмов просто потрясающее.

Inspire 2 использует следующие датчики в своей системе обзора и инфракрасного зондирования, чтобы обнаруживать препятствия и избегать их;

• Датчики стереозвука
• Ультразвуковой датчик
• Инфракрасный датчик

Основные компоненты системы обзора находятся на передней и нижней части Inspire 2, которая включает в себя 2 датчика стереозрения и 2 ультразвуковых датчика.

Инфракрасная сенсорная система состоит из 2 инфракрасных модулей в верхней части Inspire 2.

Системы переднего и нижнего обзора позволяют Inspire 2 обнаруживать препятствия на расстоянии до 98 футов (30 метров) впереди, обеспечивая защищенный полет на до 34 миль / ч (54 км / ч) при управляемом угле вертикального положения 25 °.

Направленные вверх инфракрасные датчики сканируют препятствия на высоте 16 футов (5 метров) над уровнем моря, обеспечивая дополнительную защиту при полете в закрытых помещениях. Системы обнаружения препятствий активны во время обычного полета, возврата домой и во всех интеллектуальных режимах полета.

DJI Inspire 2 - это дрон, о котором мы все мечтаем. Вы можете узнать больше о фантастических возможностях Inspire 2 в этом потрясающем обзоре DJI Inspire 2.

Ниже у нас есть красивый график, который показывает, где расположены датчики системы DJI Vision на Inspire 2.

Дрон для аэрофотосъемки Autel Evo - очень простой в управлении квадрокоптер, даже в помещении или в помещении. на малых высотах. EVO имеет потрясающее время полета - 30 минут и 4 секунды.Дальность видеосъемки 3 мили (7 км).

Благодаря технологиям динамического отслеживания, предотвращения препятствий и трехмерного картографирования EVO серьезно относится к безопасности и стабильности.

EVO включает в себя пульт дистанционного управления с 3,3-дюймовым OLED-экраном, на котором отображается критически важная информация о полете, или прямая трансляция HD-видео 720p, позволяющая видеть изображение с камеры без необходимости использования мобильного устройства.

Использование двух фронтальных камер, обеспечивающих бинокулярное зрение, EVO создает трехмерную среду и реагирует на препятствия на пути.Интеллектуальные алгоритмы постоянно работают во время автономного полета, принимая долгосрочные решения для планирования пути вокруг препятствий.

Два ультразвуковых датчика в паре с еще двумя камерами компьютерного зрения на днище EVO помогают защитить самолет от приземления на неровную поверхность. Используя функцию точной посадки, камеры в нижней части EVO будут захватывать эталонные изображения и использовать их во время возвращения домой, обеспечивая точную точность во время последовательности посадки.

В задней части самолета EVO оснащен ближним ИК-датчиком, который защищает вас при автономном полете назад.

Autel Evo Характеристики воздушной дрон-камеры

Autel Evo оснащен мощной воздушной камерой на 3-осевом стабилизирующем подвесе, которая записывает видео с разрешением 4k до 60 кадров в секунду и скоростью записи до 100 Мбит / с. в кодеке H.264 или H.265. Используя оптику из настоящего стекла, EVO делает потрясающие аэрофотоснимки с разрешением 12 мегапикселей и широким динамическим диапазоном для большей детализации и цвета.

• Разрешения: камера 4k / 12 МП
• FOV: 94 °
• Видео: 60 кадров в секунду
• Датчик: Sony CMOS 1/2.Матрица 3 ″
• Апертура: F2.8
• Обработчик изображения: Ambarella h3
• Поддерживаемые типы SD-карт: Micro-SD-карта до 128 ГБ Класс 10
• Форматы файлов: Фото: JPG, RAW, JPG + RAW

Режимы аэрофотосъемки Autel Evo:

• Одиночный снимок
• AEB - 3/5
• Серийная съемка - 3/5/7/14
• Промежуток времени - 2/5/7/10/20/30/ 60

Разрешение видео Autel Evo

• 4k 3840 x 2160
• 4k + 4096 x 2160
• 2.7k 2720 x 1530
• 1080P 1920 x 1080
• 720P 1280 x 720

Частота кадров видео: 240 кадров в секунду, 60 кадров в секунду, 48 кадров в секунду, 30 кадров в секунду и 24 кадров в секунду.

Не заканчивая, вот и запуск квадрокоптера Autel Evo. Это действительно фантастический квадрокоптер для обнаружения препятствий.

СТОЛКНОВЕНИЕ ИЗБЕЖАНИЕ ЛЕТА: МОМЕНТЫ РУЛЕВОГО УПРАВЛЕНИЯ И ПОВЕДЕНИЕ | Журнал экспериментальной биологии

1.Препятствия, приближающиеся на траектории полета, вызывают изменения позы и кинематики крыльев у привязанной летающей саранчи. Мы стремились подтвердить, что это поведение было поведением рулевого, путем измерения изменений в силе полета, связанных с их выполнением. Мы также исследовали координацию этих действий при выполнении маневров по предотвращению столкновений и влияние скорости или размера препятствия на время и величину реакции. 2. Саранча была привязана и подвешена в аэродинамической трубе на ортогонально расположенных листовых рессорах, на которых были установлены тензодатчики.Подъемный момент и момент рыскания можно было однозначно контролировать. Мы также наблюдали за поступательной силой, которая сочетала тангаж и тягу. Во время полета саранча снималась сзади на видео, а цели разных размеров (5 см x 5 см, 7 см x 7 см, 9 см x 9 см, 11 см x 11 см) перемещались к голове с разной скоростью (1, 2, 3 или 4 м / с. ). 3. Угловая асимметрия передних крыльев во время движения вниз с высоким правым передним крылом, а также движения живота и задних ног влево были временно связаны с увеличением крутящего момента рыскания влево.Когда левое переднее крыло высоко, движение живота и задней ноги вправо было временно связано с уменьшением момента рыскания влево. Поведение при уклонении от препятствий может быть связано либо с увеличением, либо с уменьшением составляющей шага / тяги. 4. Изменения ног, живота и взмахов крыльев в ответ на приближение препятствия были независимыми, но тщательно скоординированными. Более медленные подходы увеличивали величину ответов. Однако размер препятствия не повлиял на величину отклика.Более медленные и более крупные цели вызывали более раннюю реакцию (т. Е. Саранча реагировала, когда цели находились дальше от головы). 5. Мы пришли к выводу, что описанное нами поведение было поведением при рулевом управлении, которое направило бы животное вокруг препятствия на его траектории полета, и что было по крайней мере две стратегии предотвращения столкновения, связанные с замедлением или ускорением полета. Изменения ног, живота и взмахов крыльев формировали согласованную реакцию избегания, величина которой зависела от времени, доступного для ее развития.Далее мы пришли к выводу, что маневр не был инициирован в постоянное время до столкновения, и мы предлагаем, что стратегия уклонения заключалась в том, чтобы инициировать маневр, когда цели оказывались в поле зрения насекомого более 10 с.

Биологическая модель предотвращения столкновений, основанная на пространственной информации, полученной от детекторов движения, ведет к общим маршрутам

Цитата: Бертран О.Ю., Линдеманн Дж. П., Эгельхааф М. (2015) Биологически вдохновленная модель предотвращения столкновений на основе полученной пространственной информации от детекторов движения ведет к общим маршрутам.PLoS Comput Biol 11 (11): e1004339. https://doi.org/10.1371/journal.pcbi.1004339

Редактор: Вольфганг Эйнхойзер, Technische Universitat Chemnitz, ГЕРМАНИЯ

Поступила: 14.07.2014; Одобрена: 13 мая 2015 г .; Опубликовано: 19 ноября 2015 г.

Авторские права: © 2015 Bertrand et al. Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника

Доступность данных: Все исходные коды симулятор насекомых (CyberFly) будет доступен в ветке репозитория ivrender. Все исходные коды набора инструментов optic-flow будут доступны в репозитории CITEC / Uni-bielefeld.Все данные можно найти по адресу doi: 10.4119 / unibi / 2757868.

Финансирование: Проект финансируется Deutsche Forschungsgemeinschaft (DFG). Плата за публикацию была оплачена Deutsche Forschungsgemeinschaft и Фондом публикаций открытого доступа Билефельдского университета. Финансирующие организации не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили, что конкурирующих интересов не существует.

Введение

Любой, кто пытался ловить летающих мух, знаком с их удивительными характеристиками. За доли секунды мухи совершают скоростные повороты, чтобы избежать хищника или столкновения с препятствием. Решения об избежании столкновения производятся в мозгу мухи с очень ограниченными нейронными ресурсами [1, 2] и преобразуются в уклончивый поворот всего за несколько миллисекунд, что довольно быстро по сравнению с временем реакции человека [3]. Таким образом, летающие насекомые стали важной модельной системой для понимания минимальных вычислительных требований для задач пространственного видения, таких как предотвращение столкновений [4].Инженеры также ищут быстрые и дешевые алгоритмы предотвращения столкновений без использования дорогих устройств, например 3D лазерные дальномеры [5] или обширные вычисления, например Расчет оптического потока Лукаса-Канаде [6]. Любое движение агента, такого как насекомое или робот, вызывает видимое движение сетчатого изображения окружающей среды, то есть оптический поток. Оптический поток, наблюдаемый во время трансляций в статической среде, зависит от скорости агента, его близости к объектам и направления его движения.Когда агент движется быстро или близко к объектам, амплитуда оптического потока будет высокой. Напротив, вращающийся оптический поток зависит только от эго-движения агента и, таким образом, не зависит от пространственного расположения окружающей среды. Информация о близости объектов важна для определения направления уклонения от столкновения. Следовательно, поступательный оптический поток можно использовать для предотвращения столкновений. Мухи, а также другие насекомые и некоторые птицы демонстрируют стратегию активного взгляда, которая разделяет самодвижение на саккады (т.е. в основном вращение) и интерсаккады (т. е. в основном перевод) [7–15]. Считается, что амплитуда саккады у насекомого или птицы вызывается, по крайней мере, вблизи потенциальных препятствий, оптическим потоком, собранным во время трансляции, предшествующей саккаде.

Насекомые оценивают оптический поток с помощью элементарных детекторов движения (EMD) корреляционного типа, концепции, впервые введенной Райхардтом и Хассенштейном в 1950-х годах [16]. Характерным свойством EMD является то, что его выходной сигнал зависит не только от скорости, но и от свойств паттерна стимула, таких как его контраст и пространственная частота.Следовательно, ожидается, что близость, извлеченная из оптического потока, оцениваемого насекомыми, будет связана со свойствами текстур окружающей среды. Поэтому визуально-ориентированные задачи, основанные на оптическом потоке, такие как предотвращение столкновений, могут быть проблемой. Было предложено несколько механизмов предотвращения столкновений на основе поведенческих экспериментов на различных видах насекомых [14, 17–23]. Однако эти модели еще не продемонстрировали свою работоспособность в широком диапазоне условий или не используют оптический поток, измеряемый элементарными детекторами движения корреляционного типа.

В данной статье мы предлагаем модель предотвращения столкновений на основе EMD, которая будет показана как успешная в различных средах. Модель предотвращения столкновений можно разделить на три этапа обработки: (1) извлечение близости из оптического потока, (2) определение направления избегания столкновений по карте оценок близости, то есть куда идти, и (3) определение необходимость предотвращения столкновения, т.е. опасно ли не следовать в направлении предотвращения столкновения.Будет показано, что измерения близости пропорциональны псевдонорме оптического потока, независимо от направления движения, пока агент движется в плоскости и имеет сферический глаз. Направление и необходимость предотвращения столкновения будут вычислены посредством пространственного интегрирования близости. Алгоритм предотвращения столкновений, во-первых, будет протестирован с геометрическим оптическим потоком, то есть мерой оптического потока, независимой от текстуры объекта, чтобы построить тест и показать, что информации об оптическом потоке достаточно для решения проблемы.Затем будут использоваться EMD, и алгоритм будет оспариваться в различных средах. Наконец, мы покажем, что алгоритм предотвращения столкновений, основанный на EMD, может быть связан с направлением навигации, чтобы достичь заданного места, не сталкиваясь с препятствиями на траектории.

Результаты

Оптический поток и относительная близость

При приближении к удаленному объекту на высокой скорости ситуация может быть столь же опасной, как и при приближении к близкому объекту на более медленной скорости.Относительная близость, то есть близость, умноженная на скорость агента, может рассматриваться как мера того, как скоро агент столкнется с объектом, когда агент движется в направлении, где было выполнено измерение. Эта информация очень важна для предотвращения столкновений. Поскольку относительная близость связана с оптическим потоком, первым шагом алгоритма предотвращения столкновений является преобразование оптического потока в относительную близость. Поступательный оптический поток, то есть оптический поток, испытываемый во время коротких поступательных фаз самодвижения, смоделированных после межаккадных интервалов полета насекомых, определяется совместно самодвижением агента и трехмерной структурой окружающей среды.Независимое извлечение этих двух параметров, запутанных в поле оптического потока, является сложной задачей [24]. Мы покажем, что трехмерная структура окружающей среды может быть извлечена из поступательного оптического потока, если трансляция ограничена плоскостью, а глаз агента сферическим.

Поле оптического потока - это двумерное векторное поле, где каждый вектор - это видимая скорость объектов в глазах агента. Поле оптического потока, возникающее во время трансляции, является результатом произведения относительной близости объектов в окружающей среде и фактора, зависящего от угла между направлением самодвижения и направлением, в котором эти объекты видны («угол обзора»). .Преобразование, удаляющее фактор, зависящее от угла обзора, требуется для извлечения относительной близости из оптического потока. Зависимость этого фактора от угла обзора лучше всего можно понять, когда относительная близость постоянна для всего поля зрения, то есть когда агент находится в центре сферы и движется в экваториальной плоскости. Поле оптического потока для сферического глаза может быть выражено для каждой точки в поле зрения через вертикальную составляющую потока, то есть поток вдоль возвышения, и горизонтальную составляющую потока, т.е.е. течение по азимуту. Горизонтальная составляющая потока, возникающая при перемещении в экваториальной плоскости в центре сферы, увеличивается спереди в сторону (то есть на 90 ° от направления движения), а затем снова уменьшается по направлению назад (S1B Рис.). Горизонтальный поток не зависит от высоты (см. Текст S1, уравнение S5). Соответственно, вертикальная составляющая оптического потока уменьшается спереди в сторону, а затем снова увеличивается по направлению назад. Напротив, вертикальный поток не является симметричным из-за вращения вокруг направления движения и, следовательно, зависит от высоты (см. S1 Text, Eq.S5). Он увеличивается от экватора к полюсам (S1A рис.). Следовательно, горизонтальный поток и вертикальный поток имеют антагонистические изменения спереди назад. Из-за предположения, что движение агента ограничено экваториальной плоскостью, изменение вертикального потока с высотой не зависит от направления движения. Таким образом, это изменение может быть исправлено (см. S1 Text и S1C Fig). Интересно, что сумма квадрата горизонтального потока и скорректированного квадрата вертикального потока может быть показана как независимая от угла обзора (см. S1 Text, Eq.S8). Преобразование будем называть ретинотопически модифицированной нормой поля оптического потока. Когда агент не движется внутри сферы, результат этого преобразования не будет постоянным для каждого угла обзора, а будет равен произведению скорости ( v ) и близости ( μ ), то есть относительной близости. Оптический поток имеет две особые точки: фокус расширения (FOE) и фокус сжатия (FOC). В этих двух точках результат ретинотопически модифицированной нормы оптического потока будет нулевым, независимо от близости объектов.

Относительная близость может быть извлечена из оптического потока независимо от угла обзора, за исключением FOE и FOC. Эта проблема может быть решена путем комбинирования полей поступательного потока, возникающих из разных направлений поступательного движения и, таким образом, с разными ВОК и ВОЭ. Однако агент не может легко получить несколько полей поступательного потока с центром в данной точке мира. С другой стороны, близость к объектам не сильно отличается в реалистичных средах для двух достаточно близких точек пространства.Поэтому давайте рассмотрим агента, выполняющего перевод, состоящий из субтрансляций в разных направлениях движения, то есть комбинацию различных компонентов прямого и бокового движения (рис. 1, часть 1). Каждая суб-трансляция приводит к полю оптического потока, которое имеет свойства нормы, модифицированные ретинотопом. Компонент среднего оптического потока, полученный из серии субтрансляций, также имеет свойства модифицированной ретинотопом нормы, но не имеет особых точек (рис. 1, часть 3). Затем агент может вычислить относительную близость к объектам в пределах своего поля зрения, используя ретинотопически модифицированную норму усредненного квадрата оптического потока (рис. 1, часть 4).Когда близость объекта для направления взгляда изменяется во время трансляции, карта относительной близости будет размыта. Чем больше пространственная длина субтрансляций, тем сильнее размывается карта относительной близости. Этот эффект не обязательно вызывает проблемы для предотвращения столкновений, потому что размытая карта относительной близости по-прежнему представляет общую глубинную структуру окружающей среды, хотя и в несколько более крупном масштабе (рис. 2). На рис. 2 показана карта близости, рассчитанная на основе геометрического оптического потока в среде, содержащей два объекта.На более высокой скорости карта близости размывается из-за интеграции геометрического оптического потока с течением времени.

Рис 1. Набросок алгоритма от движения к САПР.

1) Движение агента состоит из серии перемещений в нулевой плоскости возвышения. 2) Поля оптического потока вдоль траектории содержат ВОЭ и ВОК. 3) Интегрированный по времени квадрат оптического потока не содержит ВОК и ВОЭ. На вставке показано 10-кратное увеличение в среднем направлении движения агента. 4) Карта близости рассчитывается на основе квадрата интегрированного во времени оптического потока.5) Карта близости, усредненная по высоте. 6) Расчет COMANV. Синий: отображение вертикально интегрированной карты близости в полярных координатах. Красный: векторная сумма вертикально интегрированных векторов близости (COMANV). Зеленый: вектор, направленный против COMANV.

https://doi.org/10.1371/journal.pcbi.1004339.g001

Рис. 2. Размытая относительная близость двух цилиндрических препятствий при высокой скорости агента.

Левая панель: карты близости, рассчитанные по оптическому потоку во время трансляции со скоростью 0.3 мс ⁻¹ и 3 мс ⁻¹ . Правая панель: Траектория со скоростью 3 мс ⁻¹ в сторону одного препятствия. Черный круг и черная линия обозначают голову и тело агента соответственно. Серые круги обозначают объекты, видимые сверху.

https://doi.org/10.1371/journal.pcbi.1004339.g002

Предотвращение столкновений с геометрическим оптическим потоком

Как только карта относительной близости известна, необходимо определить, в каком направлении агент должен двигаться, чтобы избежать столкновения (направление предотвращения столкновения, CAD) и насколько важно будет следовать в этом направлении (необходимость предотвращения столкновения, CAN).На основании этой информации определялась амплитуда необходимого саккадоподобного поворота. Чтобы установить эталон производительности этого алгоритма, он был разработан, во-первых, на основе геометрического оптического потока. Только форма окружающей среды по азимуту требуется для предотвращения столкновений при движении в плоскости. Следовательно, усреднение карты относительной близости по высоте не приводит к потере пространственного разрешения по азимуту (рис. 1, часть 5) и, таким образом, не должно влиять на характеристики предотвращения столкновений.Как будет показано ниже, это усреднение было особенно актуально, когда карта относительной близости оценивалась на основе откликов EMD (см. CAD и CAN от EMD). Усредненная относительная близость может быть представлена ​​векторами в полярных координатах, причем аргументом векторов является азимут, а их длина - относительная близость, усредненная по высоте (рис. 1, часть 6). Векторная сумма всех усредненных векторов относительной близости будет называться вектором средней близости центра масс (COMANV).Он указывает на среднее направление близких объектов в окружающей среде (рис. 3). Следовательно, может быть разумной стратегией повернуть в направлении, противоположном COMANV, то есть CAD, чтобы избежать препятствий. Этот подход нулевого порядка до некоторой степени похож на алгоритм предотвращения столкновений, используемый роботами-дальномерами 3D [25]. Это может привести к неоптимальным траекториям. Более оптимальной стратегией было бы выбрать направление без препятствий [26]. Однако эта стратегия потребует надежной карты относительной близости, обеспечиваемой локальной самолокацией и картированием [27].

Рис. 3. Направление и норма COMANV.

Левая панель: Направление COMANV. Синий, красный и зеленый векторы являются векторами близости, + COMANV и -COMANV соответственно. Красные диски представляют объекты. (Нормы векторов были масштабированы.) Правая панель: Норма COMANV как функция расстояния до стены коробки. Высота коробки: 390 мм (сплошная линия) и 3900 мм (пунктирная линия).

https://doi.org/10.1371/journal.pcbi.1004339.g003

Аргумент COMANV дает агенту направление, чтобы избежать столкновения, отталкивая его от препятствий.На рис. 4A показано моделирование предотвращения столкновений в коробке с обратной связью. Траектории агентов сходятся в центре коробки. В самом деле, если агент отталкивается от препятствий в любом месте среды, он заканчивается в точке среды, уравновешивающей расстояния между объектами. Однако в поведении по предотвращению столкновений нет необходимости, если препятствия находятся достаточно далеко от агента. Чтобы позволить агенту оценить, когда он должен избегать объекта, требуется измерение CAN. Аргумент COMANV, CAD, до сих пор использовался для вычисления амплитуды саккады и, таким образом, для определения нового направления движения агента.Однако норма COMANV также имеет интересные свойства: она имеет ту же единицу, что и относительная близость, то есть обратная времени. Следовательно, норма COMANV может рассматриваться как измерение CAN: чем больше норма COMANV, тем больше необходимость для агента в уклончивой поведенческой реакции. Чтобы оценить взаимосвязь между расстоянием до объектов и нормой COMANV, карта относительной близости была извлечена на разных расстояниях до стены. Поскольку видимый размер объектов также может влиять на норму COMANV, использовались стены различной высоты (рис. 3).Норма COMANV увеличивается как с видимым размером объекта, так и с приближением к нему. Видимый размер объекта меньше влияет на норму, чем близость. Таким образом, норму можно использовать как измерение CAN.

Рис. 4. Моделирование траекторий агента в замкнутом цикле с алгоритмом предотвращения столкновений в кубическом ящике.

Синяя и красная линии обозначают интерсаккады и саккады соответственно. A) Амплитуды саккад были вычислены таким образом, чтобы агент двигался в CAD после саккады.B, C и D) Амплитуды саккад были вычислены таким образом, чтобы агент двигался в направлении, соответствующем только части CAD после саккады. Доля CAD была вычислена с помощью сигмовидной функции, параметризованной усилением и порогом CAN. Б) усиление = 2, порог = 1,6. C) Усиление = 2, Порог = 3,2 D) Усиление = 10 ⁶ , Порог = 3,2.

https://doi.org/10.1371/journal.pcbi.1004339.g004

В зависимости от амплитуды CAN агент может иметь один из двух вариантов поведения.Он должен повернуться через саккаду к вычисленному CAD, если CAN достаточно высок. В качестве альтернативы он должен продолжать движение прямо, если CAN меньше критического значения. Однако CAN не обязательно влияет на поведение агента по принципу «все или ничего», т. Е. Выполнение поворота в соответствии с CAD или полное отсутствие поворота. Скорее, возможен и своего рода компромисс. Поскольку CAN является непрерывной переменной, агент может повернуться через саккаду в направлении, которое является компромиссом между CAD и предыдущим направлением движения.Компромисс можно смоделировать как вес, задаваемый сигмовидной функцией CAN (см. Материалы и методы). Амплитуда саккады тогда является произведением этого веса и CAD. Сигмоидная функция CAN параметризуется порогом и усилением. Усиление определяет, насколько амплитуда саккады соответствует CAD. Высокое усиление будет соответствовать поведению с двумя различными состояниями: «поворот саккадой в сторону CAD» или «продолжать движение прямо» (рис. 4D). Однако небольшое усиление будет генерировать плавный переход между двумя поведениями, моделируя уменьшающуюся амплитуду саккады с уменьшением CAN (рис. 4C).Порог определяет границу между зоной в окружающей среде, где амплитуды саккад в основном управляются CAD, т.е. предотвращение столкновений необходимо, и зоной, где амплитуды саккад в основном управляются предыдущим направлением движения, т. Е. Предотвращение столкновений не является необходимым ( S3 Рис). Влияние порога можно увидеть, сравнив фиг. 4B и 4C.

Таким образом, алгоритм предотвращения столкновения использует COMANV для определения CAD направления предотвращения столкновения и для изменения поведения агента.Алгоритм можно разделить на пять шагов.

1. Извлечь карту относительной близости из оптического потока во время интерсаккада, состоящего из смеси различных компонентов прямого и бокового движения.
2. Вычислите COMANV по карте относительной близости.
3. Извлеките CAD (т.е. arg ( COMANV )) и CAN (т.е. || COMANV ||).
4. Вычислите амплитуду саккады по CAD и CAN.
5. Создать саккаду

CAD и CAN из EMD

Алгоритм предотвращения столкновений был разработан на основе геометрического оптического потока и успешно работает на этой основе.Однако свойства оптического потока, измеренные с помощью EMD, значительно отличаются от геометрического оптического потока. Было разработано несколько модельных вариантов EMD (например, [28–30]). Мы использовали довольно простую версию модели EMD (похожую на [31, 32]) в этом исследовании, потому что мы хотели проверить, может ли предотвращение столкновений уже быть выполнено с помощью основных механизмов обнаружения движения корреляционного типа с минимально возможным количеством параметров модели. Недостатком EMD, по крайней мере с точки зрения оценки скорости, является то, что их ответы зависят не только от скорости изображений сетчатки, но также от их контраста и других текстурных свойств [33, 34].Поэтому заранее не ясно, будет ли алгоритм предотвращения столкновений, как описано выше и являющийся успешным на основе геометрического оптического потока, также работать с оценками оптического потока на основе EMD. Алгоритм предотвращения столкновений, основанный на EMD, будет протестирован в два этапа. В этом разделе мы оценим, в какой степени COMAMV, полученный из измерений EMD, соответствует COMAMV на основе геометрического оптического потока. В следующем разделе мы протестируем алгоритм предотвращения столкновений, оснащенный EMD, в условиях замкнутого контура.

В качестве первого важного шага из ответов EMD извлекается карта относительной близости. Зависимость результатов измерений EMD от текстуры несколько снижается за счет пространственного усреднения по высоте поля зрения (см. Выше). Последствия этого усреднения показаны на рис. 5 для примерного моделирования (см. Также S7, рис.). Агент выполнил перевод внутри коробки, покрытой натуральными изображениями травы. Карта относительной близости, полученная из EMD, зависит не только от геометрической близости, но и от текстуры стены (рис. 5).Хотя интеграция по высоте до некоторой степени снижает зависимость от модели, интегрированная карта относительной близости все еще содержит «ложные дыры» (например, те, которые возникают в результате расширенных вертикальных контрастных границ; рис. 5). Эти «поддельные дыры» могут ввести агента в заблуждение при поиске относительной близости ниже определенного порога. На втором этапе алгоритма предотвращения столкновений COMANV и CAD должны быть вычислены на основе карты относительной близости на основе EMD. В идеале САПР на основе EMD должен совпадать с тем, который определяется из геометрического оптического потока.CAD, определенные обоими способами, одинаковы для примера, показанного на рис. 5. Чтобы оценить, распространяется ли этот вывод на другие среды, моделирование было расширено до кубических ящиков с агентом, перемещающимся параллельно одной стене ящика с разных начальных позиций. . Угол между САПР, основанным на EMD, и углом, основанным на геометрическом оптическом потоке, был вычислен для каждой начальной позиции. На рис. 6 показано, что САПР, основанные на геометрическом оптическом потоке, аналогичны САПР на основе EMD, если агент находится не слишком близко к стене и не слишком близко к центру коробки (S4 Рис.).Причем, чем выше стенки ящика, тем больше совпадений CAD, определенных двумя способами (рис. 6).

Рис. 5. Отклики EMD и карта близости.

A) Панорамный вид окружающей среды, состоящий из кубической коробки, покрытой естественной текстурой травы, с места, где была рассчитана карта близости (фронт - азимут 0 °). Б) карта близости с логарифмической шкалой, вычисленная на основе откликов EMD. C) Карта близости в том же месте, рассчитанная на основе геометрического оптического потока. D) Вертикально интегрированная карта близости, извлеченная соответственно из откликов EMD (сплошная линия) и геометрического оптического потока (пунктирная линия).Вертикальная пунктирная линия показывает САПР, рассчитанный на основе вертикально интегрированной карты близости на основе откликов EMD. Направление совпадает с направлением, вычисленным с помощью геометрического оптического потока.

https://doi.org/10.1371/journal.pcbi.1004339.g005

Рис. 6. COMANV в зависимости от расстояния до стены в кубической коробке.

Коробка (высота: 390 мм) была покрыта случайным рисунком в виде шахматной доски толщиной 1 мм (синий) или 4 мм (зеленый). Красный: коробка имела высоту 3900 мм и была покрыта произвольным рисунком в виде шахматной доски толщиной 1 мм.Левая панель показывает норму COMANV, вычисленную на основе ответов EMD. Правая панель показывает угол между COMANV, вычисленным из откликов EMD, и контролем, основанным на геометрическом оптическом потоке. Толстые линии и заштрихованная область представляют собой среднее значение и стандартное отклонение, соответственно, вычисленное на заданном расстоянии от стены.

https://doi.org/10.1371/journal.pcbi.1004339.g006

Алгоритм предотвращения столкновений требует увеличения длины COMANV с увеличением относительной близости к объектам, чтобы обеспечить хорошую оценку CAN.Изменение длины COMANV с расстоянием до стены было изучено с помощью геометрического оптического потока в кубической коробке. Та же среда была протестирована с EMD, но с несколькими разными шаблонами. Подобно моделированию CAD, длина COMANV была вычислена для нескольких точек коридора. На рис. 6 показана зависимость CAN от близости к стене. Как и ожидалось, текстура стены изменяет CAN, как и близость к стене. Тем не менее, CAN по-прежнему является возрастающей функцией близости к стене, пока агент не находится слишком близко к стене (S4 Рис и S6 Рис).Следовательно, норма может использоваться как разумная оценка CAN в этом диапазоне.

Предотвращение столкновений с EMD

Как показано выше, информация о трехмерной форме окружающей среды вокруг агента, полученная из ответов EMD, приводит к соответствующим CAD и надежной оценке CAN, если агент не находится слишком близко к препятствию, например к стене. летной арены. Эти результаты были получены при моделировании без обратной связи. Поскольку EMD используют временные фильтры, их ответы также в некоторой степени зависят от истории сигнала.Постоянная времени фильтра нижних частот в одной из ветвей EMD составляет 35 мс, то есть примерно в том же диапазоне, что и время между последующими саккадами насекомых (от 20 до 100 мс в летных аренах [8, 14] и 50 мс в нашем моделировании. ). Таким образом, реакция EMD во время данного интерсаккада также зависит от сигналов, сгенерированных во время предыдущей саккады, что приводит к некоторым искажениям карты близости. Принимая все это во внимание, моделирование с разомкнутым контуром не позволяет прогнозировать характеристики предотвращения столкновений в условиях замкнутого контура.

Относительно простой и обычно используемой средой для экспериментов по предотвращению столкновений насекомых являются кубические или цилиндрические летные арены [8, 35–37]. В такой среде агент должен избегать только стены. Таким образом, задачу выполнить легче, чем если бы предметы тоже присутствовали. На рис. 7 показано моделирование замкнутого контура в коробках, покрытых шестью различными рисунками стен (см. Также S8 рис.). Агент может избежать столкновений для всех условий рисунка стены, кроме случайного рисунка с относительно большими (35 мм) пикселями.Однако площадь, покрываемая траекториями полета, сильно меняется в зависимости от модели. Амплитуда саккады зависит от усиления и порога, которые параметризуют сигмовидную функцию CAN. Эти параметры оставались постоянными для различных условий шаблона. Регулируя пороговое значение и коэффициент усиления индивидуально для каждого условия шаблона, агент может успешно выполнять предотвращение столкновений, пока CAN увеличивается с приближением к объектам, а CAD указывает вдали от препятствий (S4 Рис. И S5 Рис.).

Рис. 7. Траектории агента с системой предотвращения столкновений на основе EMD в коробке (40 × 40 × 40 см), покрытой разными узорами (вид сверху).

Показаны траектории с четырьмя различными начальными положениями (разные начальные положения см. На рис. S12). Время моделирования составляло 10 секунд или до сбоя агента. Стены коробки покрыты естественным рисунком (A), произвольной шахматной доской 1 мм (B), случайной шахматной доской 4 мм (C), произвольной шахматной доской 8 мм (D), случайной шахматной доской 35 мм (E) и случайным рисунком. со статистикой 1/ f (F).Коэффициент усиления и порог весовой функции составляли 2 и 4 соответственно для всех случаев.

https://doi.org/10.1371/journal.pcbi.1004339.g007

До сих пор мы использовали довольно простую среду по сравнению с теми, которые испытывает агент в более естественных условиях. В полетную коробку были добавлены объекты, чтобы повысить сложность задачи предотвращения столкновений. Объекты имели одинаковые размеры, форму и фактуру. Они были замаскированы, то есть покрыты узорами, аналогичными фону, чтобы повысить сложность алгоритма предотвращения столкновений.Такие ситуации часто встречаются в природе, например, когда конкретный лист расположен перед аналогичными листьями. Чтобы различить такой объект и избежать столкновения с ним, относительное движение глаз, вызванное самодвижением животного, и, таким образом, относительная близость к объекту, полученная из оптического потока, является единственным доступным сигналом. В коробку помещали до четырех предметов и покрывали тем же рисунком, что и стены. Агент смог успешно избежать столкновений даже в коробке с четырьмя объектами (рис. 8, рис. S9 и рис. S10).Однако столкновения наблюдались в коробках, содержащих два и четыре объекта, каждый из которых был покрыт 4-миллиметровым произвольным рисунком в виде шахматной доски (S10, рис.).

Рис. 8. Траектории агента с системой предотвращения столкновений на основе EMD в ящике (40 × 40 × 40 см), содержащем до четырех объектов и покрытых различными узорами (вид сверху).

Узор на предметах и ​​стене представлял собой случайные шахматные доски 1 мм и 4 мм для верхней и нижней панелей соответственно. A, D) Один объект в центре коробки.Б, Д) Два объекта на одной диагонали. C, F) Четыре объекта по диагоналям. Объекты представляли собой вертикальные стержни с квадратным основанием с длиной стороны 3 см и высотой 40 см. Коэффициент усиления и порог весовой функции составляли 2 и 4 соответственно для всех случаев.

https://doi.org/10.1371/journal.pcbi.1004339.g008

Предотвращение столкновения с целью

Агентам в естественной среде, возможно, придется столкнуться с даже более сложными ситуациями, чем те, которые были протестированы до сих пор, например, избегать столкновений в загроможденной среде с множеством объектов.Лес - это пример, в котором много деревьев, то есть много объектов, которых следует избегать. Две различные искусственные среды с 35 произвольно расположенными объектами были использованы для тестирования характеристик предотвращения столкновений в загроможденных средах. И снова объекты были замаскированы той же текстурой, которая покрывала пол и ограниченное пространство. Агент имел тенденцию оставаться в относительно небольшой области окружающей среды, где стены были достаточно далеко (рис. 9). Следовательно, агент, оснащенный только алгоритмом предотвращения столкновений, не путешествовал через искусственный лес.

Рис. 9. Траектории агента, оснащенного системой предотвращения столкновений на основе EMD, в двух разных загроможденных средах с объектами и стенами, покрытыми произвольным рисунком шахматной доски 1 мм (вид сверху).

Была протестирована 51 начальная позиция, и моделирование проводилось в течение 100 секунд или до сбоя агента. Траектории имеют цветовую маркировку в зависимости от их начального положения. Объекты обозначаются закрашенными черными квадратами. Коэффициент усиления и порог весовой функции составляли 2 и 4 соответственно для всех случаев.(см. также S1 Video).

https://doi.org/10.1371/journal.pcbi.1004339.g009

Эта задача была выполнена, только если алгоритм предотвращения столкновений был немного изменен для поддержки направления цели. Амплитуда саккады до сих пор была результатом компромисса, основанного на CAN, между CAD и тенденцией сохранять предыдущее направление движения. Если это направление было заменено направлением к цели, амплитуда саккады стала компромиссом между CAD и направлением цели в зависимости от CAN.Когда CAN был ниже порога, как это параметризовано сигмоидной функцией CAN, амплитуда саккады в основном определяется направлением цели. Напротив, когда CAN выше этого порога, саккады будут в основном управляться CAD. Значение CAN можно ясно увидеть для траекторий, близких к объектам. Вдали от объекта агент двигался к цели, но когда он приближался к объекту, амплитуды саккад, как правило, управлялись алгоритмом предотвращения столкновений, толкая агента в противоположном направлении (рис. 10).Когда цель была расположена на другом конце коридора, агент мог эффективно, т. Е. Без большого количества объездов, и надежно, т. Е. С низкой частотой столкновений, мог достичь цели (рис. 10, текст S2, рис. S11). .

Рис. 10. Траектории агента, оснащенного системой предотвращения столкновений на основе EMD, но также зависящей от направления цели, в двух разных загроможденных средах с объектами и стенами, покрытыми 1 мм (правый столбец) или 4 мм (левый столбец) шахматной доской. узоры.

Цель обозначена зеленой точкой. Были протестированы двести одна стартовая позиция, и моделирование было выполнено либо в течение 100 секунд (серые линии, т.е. тупик), пока не будет достигнута цель (цветные линии) или пока не произойдет сбой (черные линии). Обратите внимание, что отдельные траектории сходятся только к небольшому количеству различных маршрутов. За исключением учета направления цели, моделирование, параметры и окружающая среда идентичны тем, которые используются на рис. 9. (см. Также S2 Video, S3 Video).

https://doi.org/10.1371/journal.pcbi.1004339.g010

Сходство маршрута в загроможденной местности

Количество различных траекторий рядом с местоположением цели в загроможденной среде намного меньше, чем количество начальных условий. Таким образом, агенты, стартующие из разных мест, но направляющиеся к одному и тому же целевому положению, имеют траектории, сходящиеся к аналогичным маршрутам. Такое поведение является не только следствием стен, ограничивающих загроможденную среду.Действительно, аналогичное поведение наблюдается в загроможденной среде без ограничения внешних стен (S11 Рис). Чтобы классифицировать сходство различных траекторий, каждая траектория сначала была упрощена до последовательности, основанной на положении агента относительно объектов в окружающей среде. Траектории, разделяющие одну и ту же последовательность, образуют один класс, то есть маршрут [см. Материалы и методы]. В первой (соответственно второй) загроможденной среде было обнаружено 8 (соответственно 11) и 4 (соответственно 3) различных маршрута для предметов и стен, покрытых случайным рисунком шахматной доски 1 мм и 4 мм соответственно (S12 рис., S13 рис, S14 Рис, S15 Рис)

Маршруты, по которым следует агент, могут определяться его начальной позицией, т.е.е. соседние стартовые позиции могут вести к одному и тому же маршруту. В самом деле, когда агент приближается к объекту справа (соответственно слева), он стремится избежать его поворотом влево (или вправо). Это «решение» будет приниматься для каждого препятствия на траектории, принятой агентом, но каждое «решение» существенно зависит от положения агента относительно объекта и местоположения цели. Следовательно, маршрут, по которому следует агент, может зависеть от начальной позиции. На рис. 11 показано, что соседние стартовые точки могут вести к разным маршрутам.

Хотя области исходных позиций сильно перекрываются для данной среды, траектории сходятся на двух разных маршрутах (сравните A с B и C с D). Моделирование, параметры и среда идентичны тем, которые используются для правой панели рис. 9.

https://doi.org/10.1371/journal.pcbi.1004339.g011

Количество различных маршрутов, близких к местоположению цели, меньше количества возможных маршрутов в данной среде.Это указывает на то, что, с одной стороны, маршруты, начинающиеся в разных местах, имеют тенденцию сходиться в общие маршруты, а с другой стороны, разные маршруты могут иметь одинаковые части, то есть суб-маршруты. В качестве меры сходства между маршрутами использовалось количество отдельных элементов последовательности, различающихся между двумя маршрутами. Маршруты могут быть очень похожи друг на друга с менее чем пятью различными элементами одиночной последовательности (например, сравните маршрут № 8 и маршрут № 10 на S14 фиг.). Таким образом, разные маршруты имеют одинаковые суб-маршруты.Это указывает на то, что существует довольно небольшое количество мест, где агент «решает» выбрать конкретный подмаршрут, например избегайте попадания объекта влево или вправо соответственно.

На алгоритм предотвращения столкновений влияет узор, покрывающий стены и объекты в окружающей среде. Эта зависимость может привести к различным маршрутам. Следовательно, маршруты, полученные в среде с заданными местоположениями объектов, сравнивались после изменения текстуры среды, чтобы выявить эффекты, зависящие от текстуры.Интересно, что определенные классы маршрутов действительно одинаковы для разных шаблонов, например второй маршрут для случайной текстуры шахматной доски 1 мм совпадает с третьим маршрутом для случайной текстуры шахматной доски 4 мм (рис. 12). Три маршрута (соответственно один) из четырех (соответственно трех) маршрутов для 4-миллиметровых случайных текстур шахматной доски действительно обнаруживаются также для 1-миллиметровых случайных текстур шахматной доски, покрывающих первую (соответственно вторую) среду. Этот вывод указывает на то, что, несмотря на выраженные эффекты паттерна, обусловленные свойствами EMD, эффективность алгоритма предотвращения столкновений в целом достаточно стабильна и в значительной степени зависит от пространственной структуры окружающей среды.

Рис. 12. Дендрограмма сходства маршрутов для двух разных загроможденных сред, верхнего и нижнего ряда, соответственно.

Маршруты, по которым следует агент (см. Рис. 9), характеризуются последовательностью ячеек. Здесь каждая ячейка представляет собой треугольник, образованный соседними объектами. Сходство маршрута определяется количеством ячеек, не разделяемых маршрутами. Первый и второй столбцы, подобие пути для произвольных рисунков шахматной доски 1 мм и 4 мм соответственно. Третий столбец - сходство путей в паттернах.Обратите внимание, что идентичные маршруты обнаруживаются для разных шаблонов: например, маршрут №3 и маршрут №2 в первой среде (верхний ряд) идентичны маршрутам для среды, покрытой случайными шахматными досками 1 мм и 4 мм соответственно. Маршруты показаны на рис. S12, рис. S13, рис. S14, рис. S15.

https://doi.org/10.1371/journal.pcbi.1004339.g012

Обсуждение

Мы разработали модель предотвращения столкновений, основанную на элементарных детекторах движения (EMD) корреляционного типа, которая учитывает фундаментальные способности насекомых избегать столкновений с препятствиями в простых и сложных условиях с загромождением.Модель была разработана с использованием геометрического оптического потока, показывающего, что видимое движение как единственный источник информации о глубинной структуре окружающей среды является достаточным для выполнения задач по предотвращению столкновений. Было показано, что переход от геометрического оптического потока к биоиндуцированным EMD корреляционного типа оказался успешным в различных средах. Более того, когда алгоритм предотвращения столкновений связан с целевым направлением, связь между целенаправленным поведением и предотвращением столкновений позволяет агенту перемещаться через загроможденную среду, даже если объекты, пол и фон были покрыты одной и той же текстурой.Интересно, что траектории полета в загроможденной окружающей среде были очень похожи, независимо от начальных условий.

Далее мы обсуждаем три ключевых аспекта этой работы: (1) продолжительность интерсаккад и их форма и, таким образом, условия, при которых может быть получена пространственная информация об окружающей среде; (2) измерения близости, полученные с помощью EMD; и (3) как схождение отдельных траекторий в небольшое количество маршрутов может возникнуть в результате предотвращения столкновений, когда агент движется к цели.

Изменения направления межаккадического перевода

Предположения, лежащие в основе нашего алгоритма для извлечения карты близости из оптического потока, следующие: (i) сферический глаз, (ii) фаза трансляции, объединяющая несколько направлений движения (т.е. смесь различных движений вперед и вбок), и (iii) все движения агента происходят в нулевой плоскости возвышения. Второе предположение требуется для того, чтобы усреднить характерные особенности в полях поступательного оптического потока, т.е.е. FOE и FOC, путем интегрирования амплитуд оптического потока, полученных во время трансляций в несколько разных направлениях (то есть смесь поступательного и бокового движений). Действительно, направление поступательных движений между саккадами летающих насекомых не всегда является постоянным по отношению к ориентации длинной оси тела. Это означает, что соотношение между компонентами прямого и бокового движения может систематически меняться даже между двумя последовательными саккадами. Крайние примеры в этом отношении показаны на рис.3 из [8]. Однако более умеренные постоянные изменения в соотношении компонентов прямого и бокового поступательного движения происходят вследствие инерции практически после всех саккад, причем сила этих изменений зависит от амплитуды саккад [8, 14]. Следовательно, летающие насекомые могут усреднить оптический поток, создаваемый глазами во время этих непрерывных межаккадных изменений направления полета, а затем извлечь относительную близость, чтобы определить направление и амплитуду следующей саккады.Однако, как следствие неизбежных постоянных времени системы обнаружения движения, на отклики EMD после саккады также может влиять вращательный оптический поток предыдущей саккады. Хотя вращающуюся часть оптического потока в принципе можно было бы удалить, если бы угловая скорость агента была известна, это преобразование не было бы прямым на основе измерений движения на основе EMD [38], учитывая их зависимость от текстуры. окружающей среды.

Интеграция амплитуд оптического потока вдоль интерсаккад также важна для уменьшения зависимости от текстуры окружающей среды, характерной для откликов на EMD.Для простоты продолжительность интерсаккада в нашем моделировании оставалась постоянной, хотя у свободно летающих мух она варьировалась от 20 до 100 мс [8, 14]. За счет увеличения продолжительности интерсаккада зависимость от текстуры в окружающей среде может быть дополнительно уменьшена, если время интегрирования соответственно увеличивается. Увеличение времени интегрирования имеет аналогичные эффекты для увеличения степени пространственной интеграции вдоль направления движения [39]. Однако чем больше продолжительность межаккадного перевода, тем более размыты относительные точки близости, как показано на рис.2.С другой стороны, продолжительность интерсаккада может быть связана с необходимостью предотвращения столкновения. В самом деле, предотвращение столкновений может быть ненужным, если не встречаются препятствия, как показывают моделирование с замкнутым циклом целенаправленного поведения (рис. 9 и рис. 10). Если потребность в предотвращении столкновений низкая, возможны длинные интерсаккады. Однако, если необходимость предотвращения столкновения высока, требуются короткие межсаккады, за которыми следует уклоняющийся поворот.

Третье предположение алгоритма расчета близости, т.е.е. То, что агент движется только в нулевой плоскости возвышения, определенно не удовлетворяется в случае свободно летающих насекомых. Однако во время большинства маневров изменения высоты происходят в гораздо меньшей степени, чем изменения в горизонтальной плоскости. Тем не менее, если агент движется в другом направлении, чем в нулевой плоскости возвышения, и оценивает близость с помощью нашего алгоритма, его оценка будет иметь ошибку, пропорциональную восходящей составляющей (текст S1). Пока этот компонент невелик, это не сильно повлияет на расчетную карту близости.В настоящее время мы изучаем, как наш алгоритм оценки близости может быть расширен на произвольные движения в трех измерениях.

Близость по измеренному оптическому потоку

Мы показали, что относительная близость может быть извлечена из геометрического оптического потока. Однако, если алгоритм близости получает входные данные от EMD корреляционного типа, сложности возникают из-за зависимости ответов EMD от (i) контраста шаблона стимула, (ii) его пространственного частотного содержания и (iii) того факта, что она не связана со скоростью линейным образом, а сначала увеличивается, достигает оптимального значения, а затем снова уменьшается [40].Действительно, эти зависимости как-то отражаются в извлеченной относительной близости (см., Например, рис. 5D). EMD имеет квадратичную зависимость отклика от контраста, если в его входные линии не вводятся дополнительные нелинейности [16]. Действительно, недавно было показано, что норма отклика EMD коррелирует с кратностью близости, умноженной на локальный контраст, или, другими словами, было показано, что EMD лучше всего реагируют на контрастные контуры близлежащих объектов (см. Также рис. 5). [41]. Зависимость от контраста в принципе можно уменьшить, применив нелинейность перед стадией умножения EMD [28, 29, 33].Однако нелинейности имеют тенденцию усложнять математический анализ отклика на EMD. Поэтому мы выбрали простую версию EMD. Более того, мы хотели проверить, насколько хорошо алгоритм предотвращения столкновений работает на основе базового механизма обнаружения движения корреляционного типа с как можно меньшим количеством параметров модели.

Средний выходной сигнал EMD зависит от временной частоты стимула движения (т. Е. Отношения угловой скорости и длины волны его пространственных компонентов Фурье), а не от его реальной скорости [33, 34].Чтобы извлечь реальную угловую скорость из откликов EMD, необходимо уменьшить зависимость от временной частоты. Plett et al. предложил использовать пространственный спектр мощности панорамы для извлечения угловой скорости из откликов EMD во время вращения [38]. Однако это преобразование не подходит для трансляции, поскольку пространственно-частотное содержание панорамы не связано однозначно с временной частотой, наблюдаемой во время трансляции. Поэтому компенсировать эти зависимости нелегко.

Близость, извлеченная из нелинейного, но монотонного диапазона отклика EMD, может привести к искаженному представлению глубинной структуры окружающей среды. Тем не менее, более крупные отклики EMD по-прежнему соответствуют большей близости. Неоднозначные оценки близости будут возникать для нелинейного и немонотонного, то есть неоднозначного диапазона отклика EMD. Следовательно, близкие объекты, ведущие к большим скоростям сетчатки, могут быть ошибочно приняты за далекие объекты. В контексте извлечения близости во время трансляции эта проблема возникнет для объектов на боковой стороне агента.Чтобы избежать этой проблемы, у агента есть две возможности: снизить скорость его передачи или извлечь информацию о близости только в более лобных частях поля зрения. Агент в наших симуляциях двигался с относительно медленной скоростью. Поэтому такой неоднозначности не наблюдалось. Более того, было сделано заключение, что летающие насекомые используют переднюю часть своего поля зрения для вычисления амплитуд саккад (мухи, [14]) и для уменьшения скорости своего полета, когда расстояние до объектов в окружающей среде становится небольшим (например.грамм. шмели [42]; летает: [14]). Однако неясно, как летающие насекомые вычисляют CAD только с учетом измерений движения во фронтальной части поля зрения.

Роботу не нужно оценивать оптический поток с помощью EMD. Оценка может выполняться методами на основе изображений, например алгоритм Лукаса Канаде [6] или методы, основанные на событиях [43]. Однако методы, основанные на изображениях, отнимают много времени и поэтому не подходят для приложений в реальном времени. Однако детекторы поля потока, основанные на событиях, быстры и надежны.Наш алгоритм извлечения близости из оптического потока является только локальным, то есть он использует только вектор оптического потока в заданном направлении обзора для вычисления относительной близости в этом направлении. Следовательно, наш алгоритм предотвращения столкновений может быть легко объединен с EMD для определения близости робота в режиме реального времени в качестве дешевой альтернативы трехмерному лазерному дальномеру.

Целенаправленное предотвращение столкновений и следование по маршруту

Как биологические, так и технические агенты часто нуждаются в достижении цели, e.грамм. их гнездо в случае множества насекомых или зарядная станция в случае робота, не сталкиваясь с объектами на своей траектории. Это целевое направление в реальном мире может быть обеспечено путем интеграции путей и визуальной навигации [44] или, в случае технического агента, с помощью GPS. Следовательно, когда агент находится в загроможденной среде, ему необходимо каким-то образом интегрировать направление цели и направление предотвращения столкновения. Было показано, что наш алгоритм предотвращения столкновений поддерживает целевое направление с помощью CAN, что приводит к поведению, которое представляет собой своего рода компромисс между предотвращением столкновений и достижением цели.Интересно, что траектории агента, даже в сложной загроможденной среде, имеют тенденцию сходиться на ограниченном количестве отдельных маршрутов, в значительной степени независимо от начальной позиции (см. Рис. 10), когда они связаны с направлением цели. Внешний вид маршрутов - не уникальное свойство нашего алгоритма предотвращения столкновений. По аналогичным траекториям также следует агент с разными стратегиями управления и разными алгоритмами предотвращения столкновений (например, см. Рис.6 в [19] и рис.4 в [23]). Муравьи действуют аналогичным образом и также следуют аналогичным траекториям в загроможденной среде, возвращаясь в свое гнездо (например,грамм. [45–48]). Мы могли бы показать, что этот тип поведения можно относительно просто объяснить, объединив наш алгоритм локального предотвращения столкновений только с общим направлением цели. Напротив, сходство траекторий муравьев часто интерпретируется в концептуальных рамках парадигмы следования по маршруту. В соответствии с этой парадигмой предполагается, что агент хранит локальную информацию вдоль траектории во время исходящего пробега (например, покидая гнездо), которая будет использоваться для определения направления движения во время входящего пробега (например, при выходе из гнезда).грамм. возвращение в гнездо) [49, 50]. В нашем моделировании мы заметили, что траектории, которые могут быть интерпретированы как следствие следования по маршруту, могут, в качестве альтернативы, возникать только из алгоритма предотвращения столкновений, связанного с направлением цели. Следовательно, часть поведения при следовании по маршруту, наблюдаемая у насекомых, может быть следствием алгоритма предотвращения столкновений. Следовательно, нет необходимости определять направление следования по маршруту в каждой точке траектории, но его определение может быть выполнено с небольшими интервалами.

Маршруты к цели, которые следует нашему агенту, зависят от начального местоположения, то есть соседние начальные местоположения могут вести к другим маршрутам (Рис. Такое же поведение наблюдается у муравьев [48]. Однако разные маршруты не эквивалентны с точки зрения эффективности. Действительно, на рис. 11A и 11B маршрут №2 тупиковый, а маршрут №3 достигает цели. Агенту может потребоваться использовать наиболее эффективный маршрут, т. Е. Добавить в среду путевые точки, указывающие, по какому маршруту следовать. Маршруты №2 и №3 (соотв.Например, № 1 и № 2), показанные на рис. 11, можно объединить, добавив только одну путевую точку в том месте, где выходят два маршрута. Следовательно, насекомые могут размещать небольшое количество хорошо выбранных путевых точек в окружающей среде, чтобы предотвратить тупиковую проблему, наблюдаемую в наших симуляциях 10, и, возможно, выбрать наиболее эффективные маршруты (S2 фиг.), Не требуя большой памяти.

Материалы и методы

Моделирование было вдохновлено стратегиями полета и взгляда мух и других насекомых.Таким образом, траектории были разделены на саккадические и межаккадические фазы. Интерсаккад, то есть перевод 50 мс на 0,1 мс ^-1 , используется для сбора информации о глубинной структуре окружающей среды на основе измерений оптического потока и для создания САПР. CAD контролирует амплитуду саккады после фазы трансляции. Скорость рыскания саккады вычисляется в соответствии с гауссовым профилем скорости. Этот профиль соответствует экспериментально определенному шаблону саккад [8, 31].Следовательно, длительность саккады и пиковая скорость рыскания задаются шаблоном и амплитудой саккады. Моделирование по замкнутому циклу проводилось в средах разной сложности, покрытых разными текстурами. Моделирование в основном было написано в MATLAB, часть кода написана на C для вычислительной эффективности, и выполняется с частотой дискретизации 1 кГц.

Среда моделирования

Среда, используемая в нашем моделировании, была вдохновлена ​​предыдущими поведенческими экспериментами на мухах и пчелах.Шильстра и ван Хатерен использовали кубический ящик с длиной ребра 40 см [8, 9]. Этот ящик был покрыт естественными изображениями на его боковых стенках и неправильным рисунком черного / серого и белого / серого цветов на полу и потолке соответственно. Боковые стенки коробки альтернативно покрывали 1 мм, 8 мм или 35 мм черно-белыми произвольными шахматными узорами, чтобы исследовать эффект текстуры в другом наборе имитаций. Моделирование также проводилось в ящиках с одним, двумя или четырьмя препятствиями, покрытыми 1-миллиметровым черно-белым случайным рисунком шахматной доски, чтобы усложнить задачу предотвращения столкновений.Препятствия имели ту же высоту, что и ящик, и квадратное сечение с длиной кромки 30 мм. Стена коробки имела такую ​​же текстуру, как и предметы. Препятствия были размещены в положениях, показанных на рис. 8; это были вертикальные стержни высотой 40 см и квадратное основание с длиной стороны 3 см.

Загроможденная среда с 35 препятствиями разного размера использовалась в другом наборе моделирования. Каждая стена в окружающей среде (стороны объекта и стены коридора) была покрыта произвольным рисунком шахматной доски 1 мм или 4 мм.Препятствия имели квадратное основание и высоту, в пять раз превышающую длину их сторон, и располагались случайным образом во внутренней части коробки размером 2000 × 1000 × 400 мм. Две среды были выбраны на основе однородности положения препятствий. Первая среда состояла из пяти объектов с длиной кромки 80 мм, пяти с длиной кромки 72 мм, десяти с длиной кромки 64 мм, пяти с длиной кромки 56 мм, пяти с длиной кромки 48 мм и пяти с длиной кромки 48 мм. длина кромки 40 мм. Вторая среда состояла из того же количества объектов, за исключением того, что использовались десять объектов с длиной ребра 72 мм и пять объектов с длиной ребра 64 мм.

Визуальная система и обнаружение движения

После того, как среда была создана, можно было создать панорамный вид из любой точки среды и определить расстояние до объектов. Набор вершин X, Y, Z, определяющих объект, а также пол и потолок, были переведены в текущую позицию агента. Карта окружения была визуализирована с использованием OpenGL. Входное изображение было дискретизировано пространственными фильтрами нижних частот гауссовой формы ( σ = 2 °).Выходные данные этих фильтров формировали входные данные для фоторецепторов, которые были равномерно разнесены на 2 ° по высоте и азимуту глаза. Массив фоторецепторов образовывал прямоугольную сетку в цилиндрической проекции с 91 строкой и 181 столбцом. Временные свойства периферической зрительной системы моделировались как временной фильтр с ядром, которое было получено из электрофизиологического анализа ответов зрительных интернейронов второго порядка в зрительной системе мух на флуктуации яркости белого шума [51, 52].Ядро фильтра представляет собой разновидность временного полосового фильтра с постоянной составляющей (формальное описание см. [31]). Кроме того, выходные сигналы фильтровались с помощью временного фильтра верхних частот первого порядка (постоянная времени 20 мс) для удаления составляющей постоянного тока. Отфильтрованные выходы соседних элементов подавались на элементарные детекторы движения корреляционного типа с временным ФНЧ первого порядка (постоянная времени 35 мс) в одной из его ветвей. Каждый детектор локального движения состоял из двух зеркально-симметричных блоков.В каждом субблоке сигнал, отфильтрованный нижними частотами одного входного канала, умножался на сигнал, отфильтрованный верхними частотами соседнего входного канала. Сигналы детектора элементарного движения зависят от ландшафта (например, [33]). Следовательно, был необходим эталон для измерения оптического потока независимо от декораций. Оптический поток можно вычислить, когда известно самодвижение агента и близость к объектам. В виртуальной среде доступны обе части информации. Набор вершин X, Y, Z, определяющий объект, был переведен в текущую позицию агента.Затем была извлечена ближайшая точка на сетчатке для каждого направления обзора. Затем был вычислен геометрический оптический поток по близости и самодвижению [24], что дало измерение движения независимо от текстуры пейзажа.

Из ответов EMD на оценки близости

Оптический поток во время трансляции связан с близостью агента к объектам в окружающей среде и его самодвижением. Предполагая, что агент движется в нулевой плоскости возвышения и использует сферический глаз, можно показать, что относительная близость ( vμ ) связана с ретинопически модифицированной нормой оптического потока: (1) где v - скорость, μ - близость к объекту в направлении обзора ( ϵ , ϕ ), ϵ высота, ϕ азимут и OF оптика. вектор потока.Эта функция действует до тех пор, пока высота не равна нулю, но аналогичное уравнение можно использовать для нулевой отметки (текст S1). Относительная близость не может быть вычислена в FOE или FOC из-за сингулярности, то есть отсутствия видимого движения в поле потока. Чтобы удалить эти особенности, поля потока, приводящие к двум разным направлениям движения в одном и том же месте окружающей среды, могут быть усреднены. Однако вряд ли насекомые дважды пролетят над одним и тем же местом в окружающей среде. Однако впоследствии они могут летать в двух разных направлениях в двух соседних точках космоса.Близость в этих точках будет почти одинаковой, если расстояние между этими точками относительно невелико. Таким образом, агент выполнил перевод, состоящий из 50 сегментов с разными направлениями движения. Направление движения каждого сегмента следовало нормальному распределению с центром в нуле со стандартным отклонением 18 ° (рис. 1, часть 1). Считается, что перевод соответствует интерсаккаду полета насекомых. Набор полей оптического потока по времени, то есть во время интерсаккада, был собран (рис. 1, часть 2).Хотя можно вычислить близость для каждого поля оптического потока, а затем интегрировать близость с течением времени, мы использовали альтернативный, но эквивалентный подход. Поля оптического потока были возведены в квадрат и интегрированы во времени (рис. 1, часть 3). Затем интегрированный квадрат оптического потока использовался для расчета карты близости окружающей среды (рис. 1, часть 4).

Когда поле оптического потока оценивается с помощью EMD, оценки также зависят от истории движения из-за временных фильтров в EMD.Следовательно, саккада, предшествующая трансляции, мешает измерениям оптического потока во время межаккадного интервала. Этот эффект со временем уменьшается. Следовательно, поле оптического потока не было интегрировано в течение всей межаккадической фазы, а только для последних пяти сегментов (то есть последних 5 мс).

Предотвращение сближения и столкновения

Как только карта близости известна, очевидная стратегия - избежать столкновений, отойдя от максимального значения близости. Однако карта близости, полученная из EMD, также зависит от свойств шаблона.Таким образом, карта близости была усреднена по высоте, давая среднюю близость для данного азимута и, таким образом, уменьшая зависимость текстуры (рис. 1, часть 5). Каждое из этих усредненных значений близости может быть представлено вектором в полярных координатах, где норма вектора - это усредненная близость, а его аргумент - азимут. Сумма этих векторов указывает на среднее направление близких объектов в окружающей среде, когда влияние паттерна на отклики EMD достаточно усреднено.Таким образом, вектор, противоположный этому вектору, будет указывать от ближайшего объекта и, таким образом, выбран в качестве направления движения агента, чтобы избежать столкновения (рис. 1, часть 6).

Кроме того, длина вектора увеличивается с приближением к объектам и видимым размером объекта. Таким образом, его длина может использоваться как мера необходимости предотвращения столкновения. Эта мера определяет состояние животного между «предотвращением столкновения» и «движением в предыдущем направлении» в соответствии со следующим уравнением: (2) где COMANV - векторная сумма вертикально интегрированных значений близости, W - весовая функция, основанная на норме COMANV, α - направление цели и σ - шум направления цели.Весовая функция, используемая при моделировании, представляет собой сигмовидную функцию, которая управляется коэффициентом усиления g и пороговым значением n ₀ .

Направление цели было установлено на ноль для моделирования в прямоугольниках. Таким образом, агент продолжает движение прямо, то есть саккада с нулевой амплитудой, когда CAN равен нулю. В других симуляциях направление цели отличается от нуля. Затем агент выполняет амплитуду саккады, управляемую целевым направлением, когда CAN равен нулю.

Кластер траекторий и сходств маршрутов

Даже если начальная позиция различных прогонов агента различается, траектории, которые принимает агент в данной загроможденной среде, имеют тенденцию сходиться к аналогичным маршрутам. При приближении к препятствию агент может избежать его, повернув налево или направо и выбрав один из двух разных маршрутов. Таким образом, препятствия являются основными факторами, влияющими на общую структуру траекторий и, как следствие, на их подобие.Чтобы объединить траектории в маршруты, была рассчитана треугольная сетка (триангуляция Делоне [53, стр. 513-529]) с узлами сетки, соответствующими центру масс препятствий. Таким образом, сетка состоит из треугольных ячеек, образованных тремя соседними препятствиями. Ячейки в сетке не перекрываются. Траектория агента пересекает последовательность треугольных ячеек и, следовательно, может быть связана с последовательностью. Здесь каждый элемент в последовательности представляет данную ячейку в сетке, т.е.е. данный регион окружающей среды. Агент может посещать регион более одного раза, совершая обходные пути или совершая колебания между двумя соседними ячейками. Последовательность была упрощена, чтобы исключить множественные посещения путем подавления подпоследовательностей между идентичными элементами последовательности.

После того, как каждая траектория была связана с последовательностью занятости ячеек, траектории, имеющие одну и ту же последовательность, были отнесены к кластеру, то есть маршруту. Таким образом, каждый маршрут соответствует уникальной последовательности.Различные маршруты могут быть похожими. Для количественной оценки сходства между маршрутами использовалось количество отдельных элементов последовательности, то есть ячейки, не разделяемой двумя маршрутами. Эта мера сходства маршрутов аналогична расстоянию Хэмминга [54] между последовательностями маршрутов.

Дополнительная информация

S1 Текст. От оптического потока к относительной близости.

Преимущество сферического глаза: получение связи между относительной близостью и оптическим потоком для движения, ограниченного в нулевой плоскости возвышения агента.Ошибка относительной близости: изучите ошибку выделения относительной близости, когда движение отклоняется от ограничения. Наконец, сообщается об ограничениях цилиндрического глаза по сравнению со сферическим.

https://doi.org/10.1371/journal.pcbi.1004339.s001

(PDF)

S2 Текст. Производительность алгоритма в загроможденной среде.

Производительность оценивается количественно с точки зрения ее надежности, то есть процента траекторий со столкновением, произошедшего до достижения цели, и ее эффективности, т.е.е. пройденное расстояние, необходимое для достижения цели. Последний сравнивается с кратчайшим путем и путем защиты от столкновений, которые определяются на основе положений объектов в окружающей среде.

https://doi.org/10.1371/journal.pcbi.1004339.s002

(PDF)

S1 Рис. Вариация квадратичной составляющей оптического потока с горизонтальной и вертикальной кодировкой для движения в нулевой плоскости возвышения в центре сферы.

A) Вертикальная составляющая оптического потока в квадрате. Б) Горизонтальная составляющая оптического потока в квадрате.C) Вертикальный компонент оптического потока в квадрате, деленный на квадрат синуса высоты направления наблюдения, то есть ретинотопически скорректированный вертикальный компонент оптического потока. Нулевой азимут соответствует направлению движения агента. Обратите внимание, что горизонтальный компонент и ретинотопически скорректированный вертикальный компонент оптического потока имеют антагонистические вариации (сравните B и C). Цветовой код отмечает большие значения оптического потока более теплыми цветами и представляет угловую скорость в рад.с-1.

https://doi.org/10.1371/journal.pcbi.1004339.s003

(EPS)

S2 Рис. Характеристики нашего алгоритма, основанные на расстояниях пути для достижения цели в загроможденной среде относительно расстояния кратчайших траекторий.

Производительность - это длина кратчайшей траектории, деленная на длину траектории, по которой следует агент. A, D) Относительные расстояния пути до цели в зависимости от исходного положения. Траектории для сред, покрытых случайным рисунком в виде шахматной доски 1 мм и 4 мм, соответственно, показаны на рис. 10B и 10E) Траектории Вороного в средах.C, F) Кратчайшие траектории в средах. A, B и C (соответственно D, E и F) относятся к первой (соответственно второй) среде. Отметим, что производительность выше 60%, за исключением траектории с тупиком.

https://doi.org/10.1371/journal.pcbi.1004339.s004

(EPS)

S3 Рис. Норма COMANV в загроможденной среде, покрытая случайным рисунком шахматной доски 1 мм (левые панели) и 4 мм (правые панели).

Верхние панели: Норма COMANV с цветовой кодировкой. Нижние панели: Красная линия ограничивает зону, в которой весовая функция равна 0: 5.Здесь коэффициент усиления и порог весовой функции равны 2 и 4 соответственно. Амплитуды саккад в основном управляются CAD, когда агент находится внутри контура (пороговой линии), содержащего объект. Контур представляет собой изменение поведения. Объекты обозначены черными квадратами.

https://doi.org/10.1371/journal.pcbi.1004339.s005

(EPS)

S4 Рис. САПР в кубической коробке, покрытой разными узорами.

Агент двинулся к северной стене.Цвет представляет угол (в градусах) между CAD и направлением движения агента. Стены ящика покрыты естественным рисунком травы (A), произвольной шахматной доской 1 мм (B), произвольной шахматной доской 4 мм (C), произвольной шахматной доской 8 мм (D), произвольной шахматной доской 35 мм (E) , и случайный образец со статистикой 1 = f (F). Обратите внимание, что САПР для случайной шахматной доски 35 мм во многих местах указывает на стену коробки (E).

https://doi.org/10.1371/journal.pcbi.1004339.s006

(EPS)

S5 Рис. Норма КОМАНВ в кубической коробке, покрытой разными узорами.

Агент двинулся к северной стене. Цвет представляет норму COMANV, то есть необходимость предотвращения столкновения. Стены ящика покрыты естественным рисунком травы (A), произвольной шахматной доской 1 мм (B), произвольной шахматной доской 4 мм (C), произвольной шахматной доской 8 мм (D), произвольной шахматной доской 35 мм (E) , и случайный образец со статистикой 1/ f (F).Обратите внимание, что CAN находится выше у стены, чем в центре коробки. CAN остается низким для ящика, покрытого естественным рисунком травы в некоторых местах у стены, из-за крупных листьев на узоре.

https://doi.org/10.1371/journal.pcbi.1004339.s007

(EPS)

S6 Рис. COMANV в зависимости от расстояния до ближайшей стены в кубической коробке, покрытой разными узорами. Верхний ряд показывает норму COMANV, вычисленную с ответами EMD.

Нижняя строка показывает угол между COMANV, вычисленным с помощью откликов EMD, и управлением, основанным на геометрическом оптическом потоке.Здесь α - это CAD. Толстые линии и заштрихованная область представляют собой среднее значение и стандартное отклонение, соответственно, вычисленное на заданном расстоянии от стены. Обратите внимание, что норма COMANV является возрастающей функцией расстояния до тех пор, пока агент не находится слишком близко к стене.

https://doi.org/10.1371/journal.pcbi.1004339.s008

(EPS)

S7 Рис. COMANV в зависимости от расстояния до ближайшего объекта в загроможденной среде.

Левая панель: Среднее значение угла ошибки между COMANV и вектором между агентом и ближайшим объектом.Правые панели: Норма КОМАНВ. Средние значения вычисляются с помощью скользящего окна с размером окна, соответствующим 10% расстояния до ближайшего объекта. A, B) Влияние высоты ближайшего объекта для агента с полем зрения (FOV) по высоте ± 90 ° и движущимся на высоте 100 мм над землей. Обратите внимание, что высота объекта не сильно влияет на COMANV. C, D) Влияние высоты перемещения агента с полем обзора по высоте ± 90 °. Обратите внимание, что угол ошибки вдали от объекта больше для движения близко к земле, чем вдали от земли.E, F) Эффект поля зрения агента. Агент двигался на высоте 100 мм над землей. Обратите внимание, что норма COMANV сильно зависит от поля зрения по высоте. Угол обзора по высоте составлял ± 180 ° для всех случаев.

https://doi.org/10.1371/journal.pcbi.1004339.s009

(EPS)

S8 Рис. Траектории агента с системой предотвращения столкновений на основе EMD в ящике (40 × 40 × 40 × см), покрытом разным рисунком (вид сверху).

Показаны траектории с 40 различными начальными положениями.Время моделирования составляло 10 секунд или до сбоя агента. Стены коробки покрыты естественным рисунком (A), произвольной шахматной доской 1 мм (B), случайной шахматной доской 4 мм (C), произвольной шахматной доской 8 мм (D), случайной шахматной доской 35 мм (E) и случайным рисунком с 1/ f Статистика (F). Моделирование, параметры и окружающая среда идентичны тем, которые используются на рис. 7.

https://doi.org/10.1371/journal.pcbi.1004339.s010

(EPS)

S9 Рис. Траектории агента с системой предотвращения столкновений на основе EMD в ящике (40 × 40 × 40 × см), содержащем до четырех объектов и покрытых разными узорами (вид сверху).

Рисунок на предметах и ​​стенах представляет собой произвольную шахматную доску толщиной 1 мм. Верхние панели: Направление цели движется вперед. Нижний ряд: Направление цели - правая стена. A, E) В коробке нет предметов. Б, Е) Один объект в центре коробки. C, G) Два объекта на одной диагонали. Г, З) Четыре объекта по диагоналям. Объекты представляли собой вертикальные стержни с квадратным основанием с длиной стороны 3 см и высотой 40 см. Помимо учета направления цели для нижних панелей, моделирование, параметры и окружающая среда идентичны тем, которые используются для верхних панелей на рис. 8.

https://doi.org/10.1371/journal.pcbi.1004339.s011

(EPS)

S10 Рис. Траектории агента с системой предотвращения столкновений на основе EMD в ящике (40 × 40 × 40 × см), содержащем до четырех объектов и покрытых различными рисунками (вид сверху).

Рисунок на предметах и ​​стенах представляет собой произвольную шахматную доску толщиной 4 мм. Верхние панели: Направление цели движется вперед. Нижний ряд: Направление цели - правая стена. A, E) В коробке нет предметов. Б, Е) Один объект в центре коробки.C, G) Два объекта на одной диагонали. Г, З) Четыре объекта по диагоналям. Объекты представляли собой вертикальные стержни с квадратным основанием с длиной стороны 3 см и высотой 40 см. За исключением учета направления цели для нижних панелей, моделирование, параметры и окружение идентичны тем, которые используются для нижних панелей на рис. 8.

https://doi.org/10.1371/journal.pcbi.1004339.s012

(EPS)

S11 Рис. Траектории агента, оснащенного системой предотвращения столкновений на основе EMD, но также в зависимости от направления цели в двух разных загроможденных средах без стен.

Объекты были покрыты произвольным рисунком шахматной доски размером 1 мм (левый столбец) или 4 мм (правый столбец). Цель была обозначена в окружающей среде (зеленая точка). Были протестированы двести одна стартовая позиция, и моделирование проводилось либо в течение 100 секунд (серые линии, т. Е. Тупик), до достижения цели (цветные линии) или до аварии (черные линии). Стены коридоров рис. 11 представлены жирными пунктирными серыми линиями, а объекты - черными закрашенными квадратами. Прирост составлял 2, а порог 4 для всех случаев.

https://doi.org/10.1371/journal.pcbi.1004339.s013

(EPS)

S12 Рис. Маршруты, извлеченные из траекторий, показанных на Рис. 11, в первой загроможденной среде, которая покрыта произвольной шахматной доской толщиной 1 мм.

Найдено несколько маршрутов для соседних начальных точек, например маршруты №4, №5 и №6. Некоторые маршруты имеют общие подмаршруты, например конец маршрута №7 и №8 похожи. Сходство маршрутов показано на рис. 12. Стены коридоров представлены толстыми черными линиями, а объекты - черными закрашенными квадратами.Те же цвета, что и на рис. 11.

https://doi.org/10.1371/journal.pcbi.1004339.s014

(EPS)

S13 Рис. Маршруты, извлеченные из траекторий, показанных на Рис. 11, в первой загроможденной среде, которая покрыта 4-миллиметровым случайным рисунком шахматной доски.

Маршруты №1 и №2 пересекаются в своих начальных точках. Однако маршрут №2 короче маршрута №1. Обратите внимание, что маршруты №2, №3 и №4 идентичны маршрутам №3, №1 и №6, соответственно, в среде, охватываемой случайным шаблоном шахматной доски 1 мм (рис. 12).Сходство маршрутов показано на рис. 12. Стены коридоров представлены толстыми черными линиями, а объекты - черными закрашенными квадратами. Те же цвета, что и на рис. 12.

https://doi.org/10.1371/journal.pcbi.1004339.s015

(EPS)

S14 Рис. Маршруты, извлеченные из траекторий, показанных на Рис. 11, во второй загроможденной среде, которая покрыта 1-миллиметровым случайным рисунком шахматной доски.

Обратите внимание, что маршруты № 5–11 и маршруты № 1–4 образуют два разных класса (см. Рис. 12).Сходство маршрутов показано на рис. 12. Стены коридоров представлены толстыми черными линиями, а объекты - черными закрашенными квадратами. Те же цвета, что и на рис. 11.

https://doi.org/10.1371/journal.pcbi.1004339.s016

(EPS)

S15 Рис. Маршруты во второй загроможденной среде, покрытой 4-миллиметровым произвольным рисунком в виде шахматной доски.

Маршруты №2 и №3 очень похожи (см. Рис. 12) и приводят к сбою агента. Оставшийся маршрут (маршрут №1) идентичен маршруту №5 в среде, покрытой случайной шахматной доской толщиной 1 мм (S14, рис.).Стены коридоров представлены толстыми черными линиями, а предметы - черными закрашенными квадратами. Те же цвета, что и на рис. 11.

https://doi.org/10.1371/journal.pcbi.1004339.s017

(EPS)

S1 Видео. Моделирование агентов без целевого направления во второй загроможденной среде.

Траектории показаны на рис. 9, внизу. Объекты и стены покрыты произвольным рисунком шахматной доски толщиной 1 мм. Объекты представлены черными квадратами, текущие позиции агента представлены цветными кружками, а прошлые позиции агента представлены цветной линией.

https://doi.org/10.1371/journal.pcbi.1004339.s018

(MP4)

S3 Видео. Взгляд агента во время движения в загроможденной среде.

Траектория показана на рис. 10, вверху слева. Объекты и стены покрыты 4-миллиметровым произвольным рисунком в виде шахматной доски. Вверху: вид агента. Наложение: относительные точки близости по азимуту, извлеченные из откликов EMD во время последнего интераккада. Направление цели и CAD обозначены зеленой и красной линиями соответственно.Длина красной и зеленой линий указывает на необходимость следовать CAD или целевому направлению, основанному на весовой функции. Пунктирная линия - направление саккады. Внизу: позиция и ориентация агента в окружающей среде. Объекты представлены черными квадратами, текущее положение и ориентация агента - синим, а предыдущее положение агента - серым. Поведенческое состояние агента, саккада или интерсаккада обозначено белым кружком.

https://doi.org/10.1371/journal.pcbi.1004339.s020

(MP4)

Автоматическое избегание препятствий - это функция спинного потока: свидетельство оптической атаксии