Расшифровка категорий в правах: Сколько стоит выучиться на права: стоимость получения водительских прав

Категории водительских прав в 2021 году

Согласно требованиям действующего законодательства, для получения водительского удостоверения необходимо пройти обучение в специализированном учебном заведении – автошколе, а также успешно сдать экзамен в ГИБДД. Данный документ позволят управлять транспортным средством соответствующей категории на законных основаниях.

Полный перечень подкатегорий и категорий прав водительских удостоверений с расшифровками собран в статье 25 Федерального закона «О безопасности дорожного движения», на данный момент есть следующеи категории вождения:

Выбор автошколы для обучения

Выбор подходящего учебного заведения требует серьезного подхода. Именно в автошколе студенты получают необходимые знания о правилах дорожного движения и корректного поведения на дороге, а также осваивают практические навыки вождения, которые не просто позволят уверенно чувствовать себя за рулем, а станут залогом безопасности и сохранения здоровья.

К главным признакам надежной автошколы относят:

• Наличие действующей лицензии – документ выдает Федеральная служба по надзору в сфере образования и науки. Он подтверждает соответствие учебных программ и материально-технической базы требованиям действующего законодательства. 
• Технически исправный автопарк – по количеству и внешнему виду автомобилей можно сделать вывод о текущем положении дел в учебном заведении. В хорошей автошколе всегда имеется большой выбор автомобилей с механическими и автоматическими коробками передач, что позволяет подобрать модель, исходя из потребностей студентов. 
• Собственный автодром – поможет быстро освоить навыки, необходимые для успешной сдачи практического экзамена в ГИБДД. При этом студентам гарантированно не придется стоять в очереди для отработки упражнений. 
• Разветвленную сеть филиалов – никому не хочется тратить время на поездки в автошколу. Желательно, чтобы автошкола находилась поблизости от места учебы или работы. Также необходимо уточнить месторасположение автодромов для отработки практических навыков. 
• Квалифицированный персонал – многие учебные заведения страдают из-за недостатка подготовленных специалистов. Поэтому перед поступлением следует поинтересоваться опытом, квалификацией и послужным списком преподавателей и инструкторов. 
• Положительную репутацию – отзывы бывших студентов лучше других слов скажут о качестве обучения. Чтобы получить достоверные сведения, необходимо использовать одновременно несколько источников информации.

Заключение договора — важный этап

Для каждой категории водительского удостоверения существуют определенные возрастные ограничения, которые указаны в соответствующем столбце таблицы, расположенной выше. Кроме того, потенциальный студент должен подтвердить отсутствие медицинских противопоказаний путем предоставления справки установленного образца с необходимыми отметками. Для заключения договора с автошколой потребуются следующие документы:

• Паспорт гражданина ; 
• Две фотографии размера 3*4; 
• Медицинская справка установленного образца.

Стоит заметить, что граждане иностранных государств тоже имеют право на обучения. Для этого необходимо предоставить нотариально заверенный перевод паспорта, а также документ, подтверждающий наличие регистрации на территории России. Перед подписанием договора необходимо внимательно ознакомится с его положениями. Особое внимание следует уделить условиям сдачи экзаменов в автошколе и ГИБДД, а также последствиям провала. В договоре должна быть прописана общая стоимость обучения за курс теории и практические занятия – недобросовестные учебные заведения часто пытаются навязать студентам дополнительные платежи путем использования расплывчатых формулировок.

Обучение

Процесс обучения в автошколе можно условно разделить на две части: теоретическую подготовку и практические занятия. Теорию изучают в специально оборудованных помещениях по программам, одобренным профильными министерствами. На лекциях студенты изучат основы управления транспортными средствами, ознакомятся с положениями действующих нормативных документов, а также узнают правила оказания первой медицинской помощи.

На начальной стадии практические занятия проходят на специализированных автодромах. Здесь студенты осваивают базовые навыки управления автомобилем. На второй стадии будущим водителям потребуется продемонстрировать полученные знания в процессе движения в условиях городского цикла.

Экзамены

Перед получением водительского удостоверения студенту потребуется сдать два экзамена: Внутренний экзамен в автошколе – состоит из проверки теоретических знаний и практических навыков. Уровень подготовки оценивает руководитель автошколы. После успешного выполнения заданий студент получает свидетельство об окончании автошколы, которое является пропуском на экзамен в ГИБДД.

Экзамен в ГИБДД – данная процедура практически идентична проверке знаний и навыков в автошколе. Сначала кандидату в водители необходимо пройти тест на знание теории, а затем продемонстрировать практические навыки на автодроме.

Почему стоит записаться в Свердловскую автошколу

Если вы решили пройти обучение для получения водительского удостоверения, обращайтесь в Свердловскую автошколу. Опытные преподаватели и грамотные инструктора помогут получить необходимые знания и навыки, независимо от уровня начальной подготовки. Наши студенты получают всестороннюю поддержку на каждом этапе обучения, вплоть до сдачи экзамена в ГИБДД.

Практические навыки отрабатываются на современных автомобилях зарубежного производства, возраст которых не превышает трех лет. Сеть филиалов позволяет выбрать удобное место обучения. Чтобы получить больше информации об автошколе, звоните на общий номер 8 (343) 288-54-24 с 10:00 до 18:00 — мы ответим на ваши вопросы!

О категориях водительских прав с расшифровкой

Новый образец водительского удостоверения действует на территории РФ с апреля 2016 года. Оно содержит целый ряд обозначений, которые не всегда понятны водителю, в их число входит и обозначение категорий транспортных средств, управление которыми разрешено данными правами. Расшифровка категорий водительского удостоверения нового образца позволяет определить, на какие типы транспортных средств распространяется действие прав.

Категории водительских прав с расшифровкой

Категория «А» позволяет водителю получить допуск на управление мотоциклами, включает категорию «А1», которая дает допуск на управление легкими мотоциклами с мощностью двигателя в диапазоне от 50 до 125 куб.см, допускается наличие прицепа. Максимальная мощность двигателя такого мотоцикла должна составлять не более 11 кВт. Категория присваивается автоматически при наличии категории «А».

Категория «В» позволяет водителю получить допуск на управление автотранспортным средством, масса которого не более 3,5 тонн, а количество мест для пассажиров — 8 сидений (включая подходящие под это определение микроавтобусы). Включает категорию «В1», позволяющую осуществлять управление квадрициклами и трициклами, а также категорию «ВЕ», которая позволяет осуществлять управление автомобилем категории B, оснащенным прицепом (максимальная масса прицепа 750 кг).

Категория «С» позволяет водителю получить допуск на управление автотранспортным средством, масса которого превышает 3,5 тонны, включая прицеп (масса до 750 кг). Включает категорию «С1», которая позволяет управлять транспортным средством массой от 3,5 тонн до 7,5 тонн, категорию «СЕ», в которую включено управление транспортным средством категории «С» с прицепом массой в диапазоне от 750 кг до 3,5 тонн, категорию «С1Е», которая позволяет управлять автомобилями категории «С1» с прицепом массой более 750 кг (общая масса транспортного средства не должна превышать 12 тонн).

Категория «D» позволяет водителю получить допуск на управление автотранспортным средством c количеством мест для пассажиров не более 8, в том числе, транспортных средств с прицепом массой до 750 кг. Включает категорию «D1» для автомобилей с количеством пассажирских мест в диапазоне от 8 до 16, категорию «DE», которая включает управление автомобилем категории «D» с прицепом массой более 750 кг (общая масса транспортного средства не должна превышать 12 тонн).

Категория «М» позволяет осуществлять управление мопедами, скутерами и квадрициклами с двигателем объемом до 50 кубических сантиметров.

Категория «Tm» позволяет осуществлять управление трамваями, категория «Tb» — троллейбусами.

Расшифровка водительских категорий позволяет определить, на какую категорию водитель собирается проходить обучение и сдавать билеты , исходя из планов по эксплуатации транспортного средства.

Кроме новых подкатегорий в водительском удостоверении часто можно встретить особые отметки, например AS. Что означают эти отметки — читайте в статье здесь https://roadadvice.club/3755-osobye-otmetki-v-voditelskom-udostoverenii-rasshifrovka-otmetok-v-pravah

О новых категориях и подкатегориях прав смотрите сюжет:

Мы готовы ответить на возникшие вопросы — спрашивайте в комментариях

расшифровка новых категорий, таблица, описание

Водительское удостоверение заключает в себе важную информацию о своем владельце, включая данные о том, какими категориями транспортных средств он может управлять согласно этому документу. Категорию можно определить как классификацию ТС в соответствии с его габаритными параметрами и эксплуатационной характеристикой. Классификация также зависит от общей массы транспорта и уровня мощности его силовой установки.

Сейчас для всех субъектов Российской Федерации действует единая категорийная классификация водительских удостоверений, в которой категории водительских прав обозначаются заглавными латинскими буквами латинского A, B, C, D, M. У них есть подкатегории, когда к основной букве добавляется цифра 1.

Подкатегории водительских прав необходимы для выделения из автомобилей одного типа транспортных средств в облегченном варианте, обладающих меньшей грузоподъемностью и мощностью двигателя. А также чтобы выделит те, водить которые можно при малом стаже подготовки. Эта информация будет особенно полезна тем, кто ранее совсем не имел прав и только собирается приобрести свое первое средство передвижения.

Новые категории и подкатегории водительских прав более детально отражают градацию транспортных средств согласно массе, мощности и вместимости. Были введены дополнительные требования к стажу и возрасту водящего для каждой отдельной категории (подкатегории). Принцип открытия новой категории сходен со схемой получения водительского удостоверения в первый раз.

Получение каждой новой категории водительских правах требует отдельного курса обучения. Однако некоторые подкатегории могут быть открыты автоматически. Например, категория М, подразумевает, что таким ТС разрешено управлять водителю с любым удостоверением.

Категории водительских прав, действующие в текущем году

Многие задают вопросы: «Сколько категорий водительских прав?», «Какие есть категории водительских прав?», «Существующие категории водительских прав или какие категории водительских прав существуют?», «Что означают категории в водительском удостоверении?». Ответим на эти вопросы!

Таблица категорий водительских прав соответствия возрасту и водительскому стажу.

Категория и подкатегория	Тип транспортного средства	Условия открытия
A	Мотоциклы	По достижению 18 лет
A1	Легкие мотоциклы	По достижению 16 лет
B	Легковые автомобили, небольшие грузовики (до 3,5 тонн)	По достижению 18 лет
BE	Легковые автомобили с прицепом	При наличии стажа управления категориями «D», «C», «D» не менее 12 месяцев.
B1	Трициклы	По достижению 18 лет
C	Грузовые автомобили (от 3,5 тонн)	По достижению 18 лет
CE	Грузовые автомобили с прицепом	При наличии стажа управления категориями «В», «С», «D» не менее 12 месяцев.
C1	Средние грузовики (от 3,5 до 7,5 тонн)	По достижению 18 лет
C1E	Средние грузовики с прицепом	При наличии стажа управления категориями «C», «D» или «C1», «D1» не менее 12 месяцев.
D	Автобусы	По достижению 21 года
DE	Автобусы с прицепом	При наличии стажа управления категориями «B», «C», «D» не менее 12 месяцев.
D1	Небольшие автобусы	По достижению 21 года
D1E	Небольшие автобусы с прицепом	При наличии стажа управления категориями «C», «D» или «C1», «D1» не менее 12 месяцев.
M	Мопеды	По достижению 16 года
Tm	Трамваи	По достижению 21 года
Tb	Троллейбусы	По достижению 21 года

Все категории водительских прав в таблице подробно расшифрованы ниже.

Расшифровка категорий и подкатегорий водительских прав нового образца

Описание категорий водительских прав:

• Категория A. Дает право на управление мотоциклами, имеющими боковые прицепы или же без таковых. Комплектная масса ТС не превышает 400 кг. Допускаются двухколесные, трехколесные и четырехколесные базы.

• Категория B. Позволяет управлять авто, масса которого не должна быть более 3500 кг. В салоне, согласно правилам, не может находиться более восьми человек. Также, данный документ дает возможность управления авто с прицепом. Снаряженная масса прицепа не должна быть больше 750 кг. Если этот параметр превышен, то итоговая масса «авто + прицеп» не может превышать допустимый вес автомобиля без нагрузки.

*Пункт 1.1 главы 1 ПДД определяет прицеп как ТС, у которого нет собственного двигателя, и оно предназначается для движения в составе с авто/мотоциклом. Этим же термином можно писать полуприцепы и прицепы-роспуски.

• Категория C. Гарантирует право вождения авто при его массе более 3,5 тонн, с прицепом, вес которого не должен быть больше 750 кг. Важно: водители с открытой категорией С не имеют права управления транспортом, относящимися к категории D.

• Категория D. Дает доступ к управлению ТС с целью пассажирских перевозок, и при количестве мест больше восьми. К такому автобусу можно дополнительно присоединить прицеп с общей массой 750 кг.

• Категория M. Нужна для управления квадроциклами и мопедами. Чтобы получить такие права – нужно всего лишь иметь открытой любую другую категорию.

• Категория Tm и Tb. Предназначаются для управления городским электротранспортом. Эти две категории были введены в обиход не так давно. Раньше в правах просто проставлялась специальная отметка.

• Категория BE. Относится к дополнительным категориям, дает право управления ТС категории B с прицепами, масса которых более 750 кг.

• Категория CE. Схожа с BE, только в данном случае разрешено управлять транспортными средствами категории С. Прицеп может весить от 750 кг до 3,5 тонн.

• Категория DE. Для управления автобусами, где пассажирских мест более, чем восемь. Кроме того, к ТС может быть присоединен прицеп с массой от 750 кг до 3,5 тонн.

Выше мы подробно описали расшифровку категорий водительского удостоверения. Кроме основных категорий были разработаны и внедрены и дополнительные: большинство из них открывается автоматически.

• Категория A1. Нужна при управлении мотоциклами с объемом двигателя от 20 до 125 см.куб. Например, для скутеров.

• Категория  B1. Разрешает вождение ТС с порожней массой не больше 550 кг. А максимальная скорость движения должна быть зафиксирована на отметке 50км/ч. Силовой агрегат, установленный на таком транспорте, не должен по объему превышать 50 см.куб. Используются при необходимости управления квадрициклами и трициклами.

*Порожняя масса (ГОСТу Р 41.73-99) – это масса снаряженного ТС, когда в нем нет пассажиров и водителя, а также грузе. Но при этом авто полностью заправлено: топливо, охлаждающая жидкость, смазочные материалы, есть инструмент и запаска (при условии, что она поставляется заводом-изготовителем данного ТС и является комплектным оборудованием).

Важно: для управления квадроциклами и квадрициклами требуются различные категории! Для первого случая нужна только категория M.

• Категория C1. Дает право управления авто при его массе от 3,5 до 7,5 тонн. При этом его разрешено оснащать прицепом с массой до 750 кг. Данное удостоверение не позволяет водить автомобили, по техническим характеристикам относящиеся к категории D.

• Категория C1E. Для управления транспортом с весом от 3,5 до 7, 5 тонн, с присоединенным прицепом с массой более 750 кг. Но общий комплектный вес авто и прицепа не может превышать 12 тонн.

• Категория D1. Нужна при вождении ТС, вмещающих до 16 пассажиров. И эксплуатировать такие авто при наличии прицепа весом до 750 кг.

• Категория D1E. Все то же самое, что и в D1, только масса прицепа может быть больше 750кг. При этом общий вес разрешен до 12 тонн. Важно: в прицепе ни в коем случае не разрешено транспортировать пассажиров.

Водительские права нового образца

Фото водительских прав нового образца

Лицевая сторона.

Обратная сторона.

Как открыть новые категории водительских прав

Для получения любой (не считая тех, что могут быть открыты автоматически) категории из представленных выше списков – нужно пройти предварительное обучение, после чего сдать экзамен по практике вождения.

Чаще всего водители сталкиваются с необходимостью открытия категории B, при уже открытой категорией C. Или, например, категорию A, при том, что категория B уже открыта. Весь процесс начинается с изучения теоретической части, а на практическом экзамене водителю нужно будет пройти тестовые задания, состоящие из разных упражнений. На последнем этапе знания демонстрируются во время городской езды. Курс обучения зависит от квалификации самого водителя, уровня автошколы и сложности желаемой категории.

Если кандидат провалил теоретическую часть, то повторно ее можно будет пересдать не ранее, чем через неделю. Если Госавтоинспекция посчитала нужным отказать в экзаменационном допуске – соискателю сообщают об этом письменно, с указанием причин отказа. Водитель может обжаловать решение об отказе и сами результаты экзамена тоже.

Открыть новую категорию не так просто, есть установленные временные ограничения. Для получения категории E у автолюбителя в эксплуатации не менее 12 месяцев должно находиться ТС по характеристикам попадающее под C, D или B. Чтобы иметь возможность получить DE, нужно год отъездить с D.

Есть особая категория прав, предполагающая управление ТС с автоматической коробкой передач, и что бы сменить автомобиль на тот, где коробка механическая, нужно предварительно сдавать практическую часть обучения.

Каким образом открыть новую категорию водительских иногородним

Многие россияне имеют прописку в пределах одного города, а открыть новую категорию водительских прав желают в другом. Практически везде автошколы предоставляют подобную возможность, но при этом необходимый пакет документов несколько отличается от стандартного.

Иногородние в обязательном порядке должны предоставить:

• Внутренний паспорт гражданина России. Если он находится на переоформлении, то предоставляются данные старого документа.

• Медицинскую справку. Желательно, чтобы это были выписки, полученные из аккредитованного медучреждения (по прописке).

• Справка о подтверждении местной регистрации.

• Справка из ГБДД по месту прописки, подтверждающая, что данного человека не лишали прав за нарушения.

Важно: российские категории водительского удостоверения действительны не только на территории нашей страны, но и могут быть использованы на территории тех стран, что входят в Венскую Конвенцию от 8.11.1968г. Согласно этой Конвенции, пункт 1, статья 41 все страны, подписавшие ее, признают национальные удостоверения других участвующих стран. Во всех остальных странах котируются только права международного образца.

По сути, категория водительского удостоверения необходима для получения возможности эксплуатации транспортного средства, которое отвечает требованиям и характеристикам каждой из них.

Если автовладелец будет остановлен инспектором ГИБДД с правами несоответствующего типа, то это будет расценено как грубейшее нарушение ПДД. Водитель понесет ответственность и будет обязан уплатить штраф, а само авто будет отбуксировано на штрафную стоянку. Нужно заметить, что сумма штрафа отнюдь не маленькая. Чтобы избежать такого наказания, владелец ТС обязан при смене одного авто на другое, теххарактеристики которых существенно различны, открыть новую категорию.

Расшифровка категорий водительского удостоверения Украины

A1		Mопеды, мотороллеры и другие двухколёсные транспортные средства, которые имеют двигатель с рабочим объемом до 50 куб.см или электродвигатель мощностью до 4 квт	C 16-ти летнего возраста
A		Мотоциклы и другие двухколёсные транспортные средства, мотоциклы с боковым прицепом,  которые имеют двигатель с рабочим объемом 50 куб. см и более, или электродвигатель мощностью 4 квт и более	C 16-ти летнего возраста
B1		Квадро- и трициклы, мотоколяски и другие трёхколёсные (четырёхколёсные) мототранспортные средства, разрешённая максимальная масса которых не превышает 400 килограммов	С 18-ти летнего возраста
B		Автомобили, разрешённая максимальная масса которых не превышает 3500 кг (7700 фунтов), а количество сидячих мест, помимо сиденья водителя — восьми	С 18-ти летнего возраста
C1		Предназначенные для перевозки грузов автомобили, разрешённая максимальная масса которых составляет от 3500 до 7500 килограммов (от 7700 до 16500 фунтов)	С 18-ти летнего возраста
C		Предназначенные  для перевозки грузов автомобили, разрешённая максимальная масса которых превышает 7500 килограммов (16500 фунтов)	С 18-ти летнего возраста
D1		Предназначенные для перевозки пассажиров автобусы, в которых количество мест для сидения, помимо сиденья водителя, не превышает 16	С 21-го летнего возраста
D		Предназначенные для перевозки пассажиров автобусы, в которых количество мест для сидения, помимо сиденья водителя, более 16	С 21-го летнего возраста
BE		Состав транспортных средств с тягачом категории В, С1 или С которым водитель имеет право управлять, но который не принадлежит к указанным категориям составов транспортных средств	С 19-ти летнего возраста
C1E		Автомобиль, подкатегории С1, сцепленный с прицепом.	С 19-ти летнего возраста
CE		Автомобиль, категории С, сцепленный с прицепом.	С 19-ти летнего возраста
D1E		Автомобиль, подкатегории D1, сцепленный с прицепом.	С 21-го летнего возраста
DE		Автомобиль, категории D, сцепленный с прицепом.	С 21-го летнего возраста

Категории водительских прав: подробная расшифровка

Приветствую всех читателей блога Андрея Кульпанова! С относительно недавних времен водительское удостоверение претерпело ряд изменений, и это касается не только внешнего вида. Появились новые подкатегории, а также изменилась классификация транспортных средств. Это вполне справедливо, если учесть, сколько новых типов самоходных механизмов начали поступать в нашу страну уже с 90‑х годов. Хочу рассмотреть сегодня категории водительских прав, а также их характеристику.

   Рассматриваем основные категории

Более наглядное восприятие нового образца водительского удостоверения и существующих категорий продемонстрирует следующая таблица:

   Более подробное описание

Обозначение некоторых новых подкатегорий требует более подробной расшифровки. Скажем, если у водителя уже открыта категория «А», то автоматически появляется право управления другими мотоциклами из «А1». Одной из самых популярных считается категория «В», которую открывает практически каждый автолюбитель. Относятся к ней самоходные средства с массой не более 3,5 тонн, а также числом мест для сидения не более 8 (место водителя не учитывается, при этом). Что это — мы разобрались. Но с такой возможностью приобретается и право управления небольшими микроавтобусами, джипами, мотоколясками и другими транспортными средствами.

По аналогии действует категория «С», предназначенная для водителей грузового транспорта. Она предполагает право управления и автомобилями из классификации С1. Какие это грузовики, мы уже разбирали в таблице. Более интересно обстоит дело с категорией Е, которая раньше была предназначена для грузовых машин с прицепом. Если она была открыта до 2001 года, то можно поменять права на документ нового формата. Что означает такая возможность? Если были открыты также категории В, С, то в новых правах автоматически появятся новые категории «ВЕ», «СЕ», В, С и т.д.

   Другие нюансы и особенности водительского удостоверения

Теперь поговорим о других моментах и правах водителя. Раньше всего можно сдавать экзамены и открывать категории М и А1, а именно при достижении 16-летнего возраста. В этом же возрасте можно начинать ездить на мопедах и легких мотоциклах. Начинать обучение на В или С можно с 17 летнего возраста, однако документ будет выдан на руки лишь после того, как обучающийся достигнет совершеннолетия.

Для тех, кто видит себя водителем автобуса, трамвая, троллейбуса, придется подождать 21 года. Именно в этом возрасте можно начинать обучения на категории D, Tm, Tb. А чтобы открыть подкатегории с литерой Е, необходимо иметь водительский стаж не меньше 1 года.

Все права и обязанности распространяются на указанные типы транспортных средств, независимо от типа их трансмиссии. То есть, это означает, что Вы можете садить за руль без привязки к тому, механика или автомат установлены на конкретном транспортном средстве. Но это касается тех случаев, когда обучение проводилось на механической КПП. А если водитель обучался и сдавал практический экзамен на автоматической трансмиссии, то он получит в правах отметку АТ. Означать это будет то, что ему запрещено эксплуатировать транспортные средства с механической коробкой передач.

И еще пара интересных отметок, о которых мало кто знает. Проставляются они в графе 12. Литеры AS обозначают, что водитель имеет право управления транспортом, который предусматривает руль автомобильного типа и автомобильную посадку. Литеры MS, соответственно, сообщают, что посадка и рулевое управление должны быть мотоциклетного типа.

Одним словом, уважаемые читатели, в документах нового образца отображаются более расширенные сведения, а также все те изменения, которые коснулись классификации транспортных средств и права для управления ими. Теперь Вы знаете, что они означают, и как это поможет противодействовать сотрудникам ГИБДД и защитить себя от незаконных притеснений. На этом буду заканчивать текущее обсуждение. Всем удачи и до встречи!

С уважением, автор блога Андрей Кульпанов

Место для контестной рекламы

Автор:Admin

Страница не найдена

К сожалению, страница, которую вы искали на веб-сайте AAAI, не находится по URL-адресу, который вы щелкнули или ввели:

https://www. aaai.org/papers/aaai/2008/aaai08-193.pdf

Если указанный выше URL-адрес заканчивается на «.html», попробуйте заменить «.html:» на «.php» и посмотрите, решит ли это проблему.

Если вы ищете конкретную тему, попробуйте следующие ссылки или введите тему в поле поиска на этой странице:

• Выберите темы AI, чтобы узнать больше об искусственном интеллекте.
• Чтобы присоединиться или узнать больше о членстве в AAAI, выберите «Членство».
• Выберите «Публикации», чтобы узнать больше о AAAI Press и журналах AAAI.
• Для рефератов (а иногда и полного текста) технических документов по ИИ выберите Библиотека
• Выберите AI Magazine, чтобы узнать больше о флагманском издании AAAI.
• Чтобы узнать больше о конференциях и встречах AAAI, выберите Conferences
• Для ссылок на симпозиумы AAAI выберите «Симпозиумы».
• Для получения информации об организации AAAI, включая ее должностных лиц и сотрудников, выберите «Организация».

Помогите исправить страницу, которая вызывает проблему

Интернет-страница

, который направил вас сюда, должен быть обновлен, чтобы он больше не указывал на эту страницу. Вы поможете нам избавиться от старых ссылок? Напишите веб-мастеру ссылающейся страницы или воспользуйтесь его формой, чтобы сообщить о неработающих ссылках. Это может не помочь вам найти нужную страницу, но, по крайней мере, вы можете избавить других людей от неприятностей. Большинство поисковых систем и каталогов имеют простой способ сообщить о неработающих ссылках.

Если это кажется уместным, мы были бы признательны, если бы вы связались с веб-мастером AAAI, указав, как вы сюда попали (т. Е. URL-адрес страницы, которую вы искали, и URL-адрес ссылки, если таковой имеется). Спасибо!

Содержание сайта

К основным разделам этого сайта (и некоторым популярным страницам) можно перейти по ссылкам на этой странице. Если вы хотите узнать больше об искусственном интеллекте, вам следует посетить страницу AI Topics. Чтобы присоединиться или узнать больше о членстве в AAAI, выберите «Членство».Выберите «Публикации», чтобы узнать больше о AAAI Press, AI Magazine, и журналах AAAI. Чтобы получить доступ к цифровой библиотеке AAAI, содержащей более 10 000 технических статей по ИИ, выберите «Библиотека». Выберите Награды, чтобы узнать больше о программе наград и наград AAAI. Чтобы узнать больше о конференциях и встречах AAAI, выберите «Встречи». Для ссылок на программные документы, президентские обращения и внешние ресурсы ИИ выберите «Ресурсы». Для получения информации об организации AAAI, включая ее должностных лиц и сотрудников, выберите «О нас» (также «Организация»).Окно поиска, созданное Google, будет возвращать результаты, ограниченные сайтом AAAI.

Бунт на Капитолии: расшифровка экстремистских символов, групп во время восстания на Капитолийском холме

Фотографии рассказывают часть истории убеждений некоторых из тех, кто решил явиться в этот день — от страстных и мирных сторонников Трампа до экстремистов, которые продемонстрировали свою ненависть с помощью своих символов, а также своими действиями.

СВЯЗАННЫЕ: Аресты Капитолия США: Список обвинений для арестованных в хаосе округа Колумбия

Подтверждение результатов выборов оказалось именно тем мероприятием, которое объединило различные группы и могло привести к распространению радикальных идей, говорят они. Первоначальное мероприятие, которое активно продвигалось и поощрялось президентом Трампом, дало всем этим группам возможность сплотиться.

«Это мероприятие было направлено против результатов свободных и справедливых демократических выборов и естественной смены власти», — сказал Марк Питкэвидж, историк и эксперт по экстремизму из Антидиффамационной лиги.

CNN поговорил с ним, чтобы определить символы и понять ужасающие послания тирании, превосходства белых, анархии, расизма, антисемитизма и ненависти, которые они изображают.

Петля и виселица

Хотя петля сама по себе часто используется как форма расового запугивания, Питкэвидж считает, что в этом контексте виселица должна была предполагать наказание за совершение государственной измены.«Это предполагает, что представители и сенаторы, которые голосуют за подтверждение результатов выборов, и, возможно, вице-президент Пенс, совершают государственную измену и должны быть преданы суду и повешены», — поясняет он.

Эта риторика об измене была замечена на досках объявлений правых за несколько дней до события.

Флаг «Три процента»

«Три процента» (также известные как «третьи проценты», «3 процента» или «тройки») являются частью движения ополченцев в Соединенных Штатах и ​​являются антиправительственными экстремистами, согласно ADL.

Как и другие участники движения ополченцев, «Трехпроцентники» считают себя защитниками американского народа от правительственной тирании.

«Поскольку многие сторонники ополчения решительно поддерживают президента Трампа, в последние годы« Трехпроцентники »не так активно выступали против федерального правительства, направляя свой гнев на других предполагаемых врагов, включая левых / антифа, мусульман и иммигрантов», согласно ADL.

Название группы происходит от неточного утверждения о том, что только три процента жителей колоний вооружились и воевали против британцев во время Войны за независимость.

Флаг, показанный выше, является их логотипом на традиционном флаге Бетси Росс. Питкэвидж говорит, что правые группы (мейнстримные или экстремистские), считающие себя патриотами, иногда кооптируют первый флаг Америки.

Флаг «Освободить Кракена»

Флаг ссылается на комментарии бывшего адвоката Трампа Сидни Пауэлла о том, что она собиралась «освободить Кракена». Пауэлл ложно заявила, что у нее есть доказательства, которые разрушили бы идею о том, что Джо Байден выиграл президентский пост.

«Кракен», гигантское морское существо из скандинавского фольклора, превратилось в мем в кругах, которые считают, что выборы были украдены.Они говорят, что Kraken — это кладезь доказательств того, что мошенничество было широко распространено. В социальных сетях широко распространяются сообщения о заговоре QAnon и второстепенные сайты #ReleaseTheKraken наряду с ложными теориями мошенничества.

Гордые мальчики и знак ОК

Крайне правые использовали знак ОК как троллинговый жест, а для некоторых — как символ силы белых. ADL добавила этот символ в давнюю базу данных лозунгов и символов, используемых экстремистами.

«Они носят оранжевые кепки, чтобы идентифицировать друг друга; на прошлых митингах они носили опознавательные рубашки и другое снаряжение, но они отказались от этого для этого события после того, как их лидер был недавно арестован», — пояснил Питкэвидж.

Флаги «Кекистан»

Зелено-бело-черный флаг был создан некоторыми членами онлайн-сообщества 4chan, чтобы представить выдуманную страну-шутку, названную в честь «Кека», вымышленного бога, которого они также создали. Он давно присутствует на митингах правых и крайне правых.

«Флаг Кекистана вызывает споры, потому что его дизайн частично заимствован из флага нацистской эпохи; очевидно, это было сделано специально в шутку», — пояснил Питкавадж. «Молодые правые из субкультуры 4chan (как мейнстримные, так и крайне правые) часто любят вывешивать флаг Кекистана на митингах и мероприятиях.»

Измененные исторические флаги

Измененные флаги Конфедерации и Гадсдена были замечены в толпе у Капитолия. Одна из вариаций боевого флага Конфедерации включала изображение штурмовой винтовки и слоган» Приходите и возьмите его «, чтобы передать анти-оружие Контрольное сообщение. Фраза «приди и возьми» перефразирует реплику «приди и возьми их», произнесенную спартанским царем Леонидом в битве при Фермопилах, когда персидский царь Ксеркс сказал ему и его людям сложить копья в обмен на свою жизнь — сказал Питкавадж.

Флаг Гадсдена, известный многим как флаг «Не наступай на меня», является традиционным и историческим патриотическим флагом, датируемым американской революцией. Флаг и символ также популярны среди либертарианцев. Но это также было кооптировано правыми группами. Питкэвидж объясняет, что, хотя некоторые используют его как символ патриотизма, другие используют его как «символ сопротивления предполагаемой тирании».

Хранители присяги

В Капитолии виден мужчина в шляпе Хранителей присяги после того, как она была нарушена.Хранители клятвы — это поддерживающая Трампа, крайне правая, антиправительственная группа, которая считает себя частью движения ополченцев, призванных защищать страну и защищать конституцию. Группа пытается вербовать членов из числа действующих или отставных военных, служб быстрого реагирования или полиции.

Их лидер извергал обширные теории заговора в своем блоге, обвинял демократов в краже результатов выборов, ранее угрожал насилием, если это будет необходимо в день выборов во время интервью с крайне правым заговорщиком Алексом Джонсом, и сказал, что его группа будет вооружена для защиты Белый дом при необходимости, сообщает ADL.

Флаг Конфедерации

Во время долгой Гражданской войны в Соединенных Штатах боевой флаг Конфедерации не попадал в тень Капитолия США, но в среду мятежник пронес один прямо через его залы.

Фотографы запечатлели человека, несущего его мимо портретов аболициониста Чарльза Самнера и рабовладельца Джона Калхуна.

Флаг всегда был символом поддержки рабства. После Второй мировой войны он стал ярким символом Джима Кроу и сегрегации, неудивительно говорит, что он стал популярным символом среди сторонников превосходства белой расы — даже за пределами Соединенных Штатов.

Флаг Америки прежде всего

Мятежник облачается в флаг «Америка прежде всего» с логотипом подкаста крайне правого комментатора Ника Фуэнтеса. Фуэнтес присутствовал на мероприятии в Капитолии, но был сфотографирован, оставаясь за пределами здания Капитолия.

«Америка прежде всего» — также лозунг, который президент Трамп использовал при описании своей внешней политики. Его принятие подверглось критике со стороны ADL, заявившей, что он использовался в антисемитских целях, чтобы не допустить США во Вторую мировую войну.

ADL утверждает, что Фуэнтес является частью «армии гройперов», которую ADL называет группой сторонников превосходства белых.

«В то время как взгляды группы и руководства совпадают с взглядами сторонников превосходства белой расы альт-правыми, гройперы пытаются нормализовать свою идеологию, присоединяясь к« христианству »и« традиционным »ценностям, якобы отстаиваемым церковью, включая брак и семью, «ADL объясняет. «Подобно альт-правым и другим сторонникам превосходства белых, гройперы считают, что они работают, чтобы защитить себя от демографических и культурных изменений, которые разрушают« истинную Америку »- белую христианскую нацию.«

» Лагерь Освенцим »

Мятежник внутри Капитолия был одет в толстовку« Лагерь Освенцим ». На нижней части рубашки написано« Работа приносит свободу », что является приблизительным переводом слов« Arbeitmacht frei »на воротах нацистский концлагерь. Освенцим был самым большим и самым печально известным нацистским концентрационным лагерем, где во время Второй мировой войны было убито около 1,1 миллиона человек.

Питкавадж говорит, что, по его мнению, рубашка пришла с ныне несуществующего веб-сайта Aryanwear. существует уже около 10 лет, по данным Pitcavage, в последние недели появляется на разных веб-сайтах, хотя часто удаляется при подаче жалобы.

Наклейки Nationalist Social Club

Изображение в социальной сети показывает наклейки Nationalist Social Club на том, что, похоже, является оборудованием полиции Капитолия США. Неясно, когда была сделана фотография, но она была опубликована в среду в чате Telegram, который использует группа, включая нацистский символ как часть их имени.

NSC, очевидно, игра слов о национал-социалистах или нацистской партии, является неонацистской группировкой, у которой есть региональные отделения как в Соединенных Штатах, так и по всему миру, согласно ADL.Неясно, относится ли наклейка справа к отделению в Новой Англии или потому, что группа изначально называла себя Клубом националистов Новой Англии.

«Члены КНБ видят себя солдатами, ведущими войну с враждебной, контролируемой евреями системой, которая намеренно замышляет вымирание белой расы», согласно ADL. «Их цель — сформировать подпольную сеть белых людей, которые готовы сражаться со своими предполагаемыми врагами посредством локальных прямых действий».

MAGA Civil War 6 января 2021 г. рубашки

Есть еще много вопросов о том, как именно произошло нападение на Капитолий и кто возглавил атаку. Но призывы к свержению правительства и к гражданской или расовой войне уже давно вызывают крики в ультраправых кругах.

Рубашки, которые носили эти люди на территории Капитолия в среду, показывают, что, по крайней мере, было намерение отметить этот день. На них были футболки с заранее напечатанными рисунками, со ссылкой на подписанный Трамп лозунг «Сделаем Америку снова великой», а также слова «Гражданская война» и дата события, которое переросло в восстание.

Многие комментаторы на ультраправых форумах писали после нападения, что это только начало той гражданской войны, которую многие из них давно желали.

(The-CNN-Wire и 2021 Cable News Network, Inc., компания Time Warner. Все права защищены.)

границ | Категория Декодирование визуальных стимулов от активности человеческого мозга с использованием двунаправленной рекуррентной нейронной сети для моделирования двунаправленных информационных потоков в зрительной коре человека

Введение

В нейробиологии визуальное декодирование было важным способом понять, как и какая сенсорная информация кодируется и представляется в зрительной коре головного мозга. Функциональная магнитно-резонансная томография (фМРТ) является эффективным инструментом для отражения активности мозга, и модели вычисления визуального декодирования, основанные на данных фМРТ, привлекают значительное внимание на протяжении многих лет (Kamitani and Tong, 2005; Haynes and Rees, 2006; Norman et al., 2006; Naselaris et al., 2011; Nishimoto et al., 2011; Horikawa et al., 2013; Li et al., 2018; Papadimitriou et al., 2018). Категоризация, идентификация и реконструкция визуальных стимулов на основе данных фМРТ — три основных средства визуального декодирования.По сравнению с идентификацией и реконструкцией, категоризация или декодирование категорий является обычным и возможным в области визуального декодирования, поскольку идентификация ограничивается набором данных фиксированного изображения, а точная реконструкция ограничивается простыми стимулами изображения.

Категориальное декодирование визуальных стимулов можно в основном разделить на три вида методов: (1) методы на основе классификатора, (2) методы на основе сопоставления шаблонов вокселей и (3) методы на основе сопоставления шаблонов шаблонов признаков. Методы, основанные на классификаторах, выполняют декодирование категорий путем обучения статистического линейного или нелинейного классификатора для непосредственного изучения сопоставления конкретных воксельных паттернов в зрительной коре к категориям. В предыдущей работе (Cox and Savoy, 2003) использовались классификаторы линейной машины опорных векторов (SVM) (Chang and Lin, 2011) для различения воксельных паттернов, вызываемых каждой категорией. Кроме того, также использовались различные классификаторы, включая классификатор Фишера и классификатор k-ближайших соседей (Misaki et al., 2010; Song et al., 2011). Wen et al. (2017) использовали классификатор предварительно обученной сверточной нейронной сети (CNN) (LeCun et al., 1998) для декодирования категорий. Способы, основанные на сопоставлении шаблонов вокселей, должны вычислять корреляцию между вокселями, которые должны быть декодированы, и шаблоном шаблона вокселей каждой категории, и декодирование категории может выполняться в соответствии с максимальной корреляцией. Шаблон шаблона вокселей для каждой категории (Sorger et al., 2012) должен быть построен этими методами.Haxby et al. (2001) напрямую использовали средства вокселей образцов той же категории, что и шаблон образца вокселей каждой категории. Kay et al. (2008) построили модель кодирования для прогнозирования шаблонов вокселей, используя эти образцы с соответствующей категорией, и взяли среднее значение предсказанных шаблонов вокселей в качестве шаблона шаблона вокселей для каждой категории. Методы, основанные на сопоставлении шаблонов признаков, реализуют декодирование путем сопоставления вокселей с конкретными функциями изображения, сравнения их с шаблонами шаблонов признаков каждой категории и, наконец, выбора категории с максимальной корреляцией.Третий способ зависит от промежуточного моста функций, и отображение вокселей на представления функций играет важную роль. Хорикава и Камитани (2017a) и Вен и др. (2018) построили шаблон паттерна признаков для каждой категории, усредняя предсказанные особенности CNN для всех стимулов изображения, принадлежащих к одной и той же категории. Среди этих исследований большое внимание привлекли исследования, основанные на иерархических характеристиках CNN (Agrawal et al., 2014; Güçlü and van Gerven, 2015).

В системе зрения человека зрительная кора головного мозга функционально организована в вентральный поток и спинной поток (Mishkin et al., 1983), а вентральная кора в основном отвечает за распознавание объектов. Анатомические исследования показали, что связи между брюшной корой были восходящими и нисходящими (Bar, 2003). Двунаправленные (прямые и обратные) соединения обеспечивают анатомическую структуру для двунаправленных информационных потоков в зрительной коре головного мозга. Прямые (Tanaka, 1996) и обратные потоки информации (Eger et al., 2006) играют разные роли в задачах распознавания. Визуальная информация течет от первичной зрительной коры к высокоуровневой зрительной коре, и тогда мы можем получить высокоуровневое семантическое понимание, которое известно как восходящий зрительный механизм (Logothetis and Sheinberg, 1996). Таким образом, деятельность зрительной коры в основном модулируется сенсорным входом. Помимо прямых входов, модуляция обратной связи от зрительной коры высокого уровня также может влиять на деятельность зрительной коры низкого уровня (Buschman and Miller, 2007; Zhang et al., 2008). Таким образом, визуальная информация перетекает от зрительной коры высокого уровня к зрительной коре низкого уровня, что известно как зрительный механизм сверху вниз (Beck and Kastner, 2009; McMains and Kastner, 2011; Shea, 2015).

Нисходящая роль в репрезентациях зрительной коры может быть облегчена и усилена с помощью задачи или цели (Beck and Kastner, 2009; Khan et al., 2009; Stokes et al., 2009; Гилберт и Ли, 2013). Например, Ли и др. (2004) продемонстрировали, что нейроны могут нести больше информации об атрибутах стимула, основываясь на нисходящем порядке, когда люди выполняют задачу. Хорикава и Камитани (2017a) показали, что категории воображаемых изображений могут быть декодированы, а Senden et al. (2019) пришли к выводу, что воображаемые буквы можно реконструировать по ранней зрительной коре головного мозга, что выявило тесное соответствие между зрительными ментальными образами и восприятием.Эти исследования предполагали, что визуальная информация может поступать из зрительной коры высокого уровня, чтобы модулировать представления коры низкого уровня, основываясь на нисходящем порядке. Более того, для тех, у кого нет задач или целей во время распознавания, визуальное внимание (Kastner and Ungerleider, 2000; Baluch and Itti, 2011; Carrasco, 2011), по-видимому, также способно облегчить нисходящую роль в репрезентациях зрительной коры. Люди могут выбрать направление внимания на интересующие области на основе механизма визуального внимания после получения семантического понимания сенсорного ввода.Таким образом, семантическая информация также может поступать от зрительной коры высокого уровня, чтобы модулировать представления зрительной коры низкого уровня.

Хотя многие работы были сосредоточены на взаимодействии (McMains and Kastner, 2011; Coco et al. , 2014) между методами снизу вверх и сверху вниз, все еще неясно, что такое «верх», а что «низ» в дискуссии. о нисходящем влиянии на восприятие (Teufel and Nanay, 2017). Однако текущие анатомические и функциональные роли восходящего и нисходящего зрительного механизма действительно указывают на некоторые важные точки зрения.Высокоуровневые зрительные коры могут формировать семантические представления или знания посредством иерархической обработки информации, основанной на восходящем способе, и представления в низкоуровневых зрительных кортиках также могут модулироваться на основе нисходящего способа. Кроме того, человек-испытуемый видел один и тот же графический стимул в нескольких повторных испытаниях в ходе эксперимента по визуальному декодированию, и испытуемый обращал внимание на эти интересные области после уловления основного значения визуального стимула, потому что люди могут сосредоточиться только на одной части. в то же время из-за конкуренции визуальных предубеждений (Desimone and Duncan, 1995). Во время обработки визуальной информации снизу вверх и сверху вниз визуальная информация часто перетекает от зрительной коры низкого уровня к зрительной коре высокого уровня и в обратном направлении. Таким образом, мы можем предположить, что двунаправленные информационные потоки несут семантические знания от зрительной коры высокого уровня. Следовательно, максимизация двунаправленных информационных потоков в зрительной коре будет иметь большое значение для декодирования категорий.

Однако три типа методов декодирования категорий игнорировали внутреннюю взаимосвязь между различными визуальными областями и рассматривали вокселы в выбранных зрительных корках в целом, чтобы подать их в модель декодирования.Поэтому мы ввели двунаправленные информационные потоки в нашу модель декодирования, чтобы охарактеризовать внутренние отношения. По сравнению с нейронными сетями прямого распространения, рекуррентные нейронные сети (RNN) (Mikolov et al., 2010; Graves et al., 2013; LeCun et al., 2015) могут очень хорошо работать с временными данными и широко используются при моделировании последовательностей. Общие RNN обычно имеют только одно направленное соединение от прошлых к будущим (или слева направо) узлов входной последовательности. Двунаправленные рекуррентные нейронные сети (BRNN) (Schuster, Paliwal, 1997; Schmidhuber, 2015) разделяют нейроны регулярных RNN на положительные и отрицательные направления.Два направления позволяют использовать входную информацию из прошлого и будущего текущего периода времени. Вдохновленные BRNN, мы рассматривали двунаправленные информационные потоки (одну пространственную последовательность) как одну фальшивую временную последовательность. Поэтому мы предложили подавать вокселы в каждой визуальной области как один узел последовательности в модуль двунаправленного соединения (Hochreiter and Schmidhuber, 1997; Sutskever et al., 2014). Таким образом, выходные данные двунаправленного модуля RNN можно рассматривать как представления восходящего и нисходящего способов.Категория может быть предсказана с последующим полностью подключенным слоем softmax путем комбинирования двунаправленных представлений.

В этом исследовании наши основные вклады заключаются в следующем: (1) мы проанализировали недостатки существующих методов декодирования, основанных на восходящих и нисходящих визуальных механизмах, (2) мы предложили использовать BRNN для имитации двунаправленной информации. потоков для категориального декодирования визуальных стимулов, и (3) мы проанализировали, что двунаправленные информационные потоки устанавливают внутренние отношения между визуальными областями, связанными с категорией, и подтвердили, что моделирование внутренних отношений имело значение для категориального декодирования.

Материалы и методы

Экспериментальные данные

Набор данных, использованный в нашей работе, был построен на основе предыдущих исследований (Kay et al., 2008; Naselaris et al., 2009). Набор данных содержал визуальные стимулы, соответствующие данные фМРТ и метки категорий, состоящий из 1750 обучающих образцов и 120 проверочных образцов. Подробную информацию о визуальных стимулах и данных фМРТ можно получить из предыдущих исследований (Kay et al. , 2008; Naselaris et al., 2009), а набор данных можно загрузить с http: // crcns.org / data-sets / vc / vim-1.

Визуальные стимулы

Визуальные стимулы состояли из последовательностей естественных фотографий, которые в основном были получены из знаменитого набора данных сегментации Беркли (Martin et al., 2001). Содержание фотографий включало животных, здания, продукты питания, людей, сцены в помещении, искусственные объекты, сцены на открытом воздухе и текстуры. Фотографии были преобразованы в оттенки серого и уменьшены до 500 пикселей. Фотографии (500 × 500 пикселей), представленные испытуемым, были получены путем кадрирования по центру, маскирования с циклом, размещения на сером фоне и добавления белого квадрата размером 4 × 4 пикселей в центральном положении.Всего в качестве визуальных стимулов было выбрано 1870 изображений, которые были разделены на 1750 и 120 изображений для обучения и проверки соответственно.

Схема эксперимента

Фотографии были представлены в последовательных четырехсекундных испытаниях. Каждое испытание содержало 1 с представления фотографии с частотой мигания 200 мс и 3 с представления серого цвета. Соответствующие данные фМРТ были собраны, когда два субъекта с нормальным зрением или зрением с поправкой на нормальное просмотрели фотографии и сфокусировались на центральном белом квадрате фотографий.Эксперимент с каждым испытуемым состоял из пяти сеансов сканирования, и каждый сеанс состоял из пяти тренировочных прогонов и двух проверочных прогонов. Семьдесят различных изображений были представлены два раза во время каждого тренировочного прогона, и 12 различных изображений были представлены 13 раз во время валидационного прогона. Изображения были выбраны случайным образом и были разными для каждого прогона. Таким образом, испытуемым были представлены все 1750 различных (5 сеансов × 5 запусков × 70) изображений и 120 различных (5 сеансов × 2 запусков × 12) изображений для обучения и проверки.

Сбор и предварительная обработка данных фМРТ

Система 4T INOVA MRI с квадратурной передающей / приемной поверхностной катушкой использовалась для получения данных fMRI. Функциональные и анатомические объемы мозга реконструировали с помощью программного пакета ReconTools https://github.com/matthew-brett/recon-tools. Время повторения (TR) составляло 1 с, а размер изотропного вокселя составлял 2 × 2 × 2,5 мм ³ в последовательности однократного градиента EPI. Полученные данные были подвергнуты серии предварительной обработки, включая фазовую коррекцию, синк-интерполяцию, коррекцию движения и совместную регистрацию с анатомическим сканированием.Что касается временных рядов предварительной обработки для каждого воксела, курсы времени отклика для конкретного вокселя были оценены на основе модели ограниченного базисного разделения (BRS) и оценки амплитуды (одно значение) откликов вокселей для каждого из них. Изображение было получено путем деконволюции курсов времени отклика из данных временных рядов для повторных испытаний. Затем ответы были стандартизированы для повышения согласованности ответов во время сеансов сканирования. Вокселы были назначены каждой зрительной области на основе эксперимента по ретинотопному картированию, проведенного в отдельных сеансах. В набор данных были собраны вокселы в пяти областях интереса (V1, V2, V3, V4 и LO) от зрительной коры низкого до высокого уровня.

Ярлыки категорий

В дополнение к изображениям-стимулам и соответствующим данным фМРТ, пять опытных людей вручную пометили 1870 изображений, соответственно, в соответствии с тремя уровнями (5, 10 и 23 категории), и окончательные метки были получены путем голосования. Как показано на Рисунке 1, набор данных с трехуровневыми категориями может всесторонне подтвердить метод декодирования от крупнозернистого до мелкозернистого.

Рисунок 1. Трехуровневые метки с 5, 10 и 23 категориями. Трехуровневые категории были разработаны для проверки предложенного метода по разным параметрам, что может сделать сравнение более убедительным.

выборки (кортежи данных) при обучении и проверке

Каждый образец включал один стимул изображения, соответствующие предварительно обработанные данные фМРТ и три метки для трехуровневых категорий. Размер стимула изображения был изменен на 224 × 224, чтобы соответствовать входным данным модели кодирования (см. Раздел «Визуальное кодирование на основе характеристик CNN»).Следует подчеркнуть, что данные фМРТ образцов не имеют измерения времени. Данные фМРТ удалили измерение времени посредством предварительной обработки, и каждый воксель в визуальных областях имел одно значение отклика для одного просматриваемого изображения. Сто вокселей (один вектор) в каждой визуальной области были выбраны на основе модели кодирования. Три метки в каждой выборке использовались для разных уровней категоризации. Поскольку двум испытуемым было показано 1750 обучающих изображений и 120 проверочных изображений, набор данных содержал 1750 обучающих образцов и 120 проверочных образцов для каждого испытуемого.

Обзор предлагаемого метода

Чтобы ввести двунаправленные информационные потоки в метод декодирования, мы использовали метод на основе BRNN для имитации восходящего и нисходящего поведения в системе человеческого зрения. Таким образом, в методе декодирования можно использовать не только информацию о каждой визуальной области, но и внутренние отношения между зрительными корками. Как показано на рисунке 2, предложенная модель включает части кодирования и декодирования. Для кодирующей части мы можем получить соответствующие характеристики заданных стимулов изображения на основе преобладающего предварительно обученного ResNet-50 (He et al., 2016) модели и используют эти функции для соответствия каждому вокселю для построения модели кодирования по вокселям. В соответствии с характеристиками подгонки мы можем измерить важность каждого вокселя для всех визуальных областей. Мы выбрали фиксированное небольшое количество вокселей с более высокой предсказательной корреляцией для каждой визуальной области (V1, V2, V3, V4 и LO), чтобы предотвратить переобучение при последующем декодировании. Для части декодирования мы построили модуль RNN и использовали выбранные воксели каждой визуальной области в качестве пяти узлов входной последовательности, чтобы использовать как иерархические визуальные представления, так и двунаправленные информационные потоки в зрительной коре головного мозга. Наконец, мы объединили извлеченные функции двунаправленного модуля RNN в качестве входных данных последнего полностью подключенного уровня классификатора softmax для прогнозирования категории.

Рисунок 2. Предлагаемый способ. Иерархические особенности в глубокой сети использовались для прогнозирования воксельных паттернов в каждой визуальной области для направления кодирования. На основе производительности можно выбрать ценные воксели, чтобы уменьшить размер вокселей до фиксированного числа. Чтобы предсказать категорию, последовательность вокселей, содержащая пять визуальных областей, подается в метод на основе BRNN для извлечения семантической информации из каждой визуальной области, и двунаправленная информация течет в зрительной коре головного мозга.

Раздел «Визуальное кодирование на основе функций CNN» знакомит с тем, как построить модель визуального кодирования на основе иерархических функций CNN. Раздел «Декодирование категории на основе функций BRNN» демонстрирует, как использовать BRNN для имитации двунаправленных информационных потоков для декодирования категории.

Визуальное кодирование на основе функций CNN

Мозг можно рассматривать как систему, которая нелинейно отображает сенсорную информацию в мозговой деятельности. Модель линеаризации кодирования (Naselaris et al., 2011) подтверждена и признана во многих исследованиях. Поэтому мы использовали линейную модель кодирования, которая состояла из нелинейного отображения пространства изображений в пространство признаков и линейного отображения пространства признаков в пространство активности мозга.

Нелинейное отображение из пространства изображения в пространство признаков на основе предварительно обученной модели ResNet-50

Многие работы (Agrawal et al., 2014; Yamins et al., 2014; Güçlü and van Gerven, 2015) показали, что иерархические визуальные особенности, извлеченные с помощью предварительно обученной модели CNN, продемонстрировали сильную корреляцию с нейронной активностью зрительной коры, и визуальное кодирование, основанное на функциях CNN, обеспечило лучшую производительность кодирования, чем эти вручную разработанные функции, такие как функции Габора (Kay et al. , 2008). В этом исследовании мы использовали преобладающую глубокую сеть ResNet-50 для извлечения иерархических функций для визуального кодирования. Предварительно обученный ResNet-50 может распознавать 1000 типов естественных изображений (Русаковский и др., 2015) с ультрасовременной производительностью, которая демонстрирует, что сеть обладает богатыми и мощными представлениями функций.

В модели ResNet-50 50 скрытых слоев были сложены в иерархию снизу вверх. Помимо первого сверточного слоя, в сеть были включены четыре модуля (16 остаточных блоков, каждый из которых в основном состоит из 3 сверточных слоев) и последний полностью связанный слой softmax.Подробную конфигурацию сети можно увидеть в Таблице 1. По сравнению с предыдущей классической моделью AlexNet (Крижевский и др., 2012), ResNet-50 был намного глубже и содержал более мелкие иерархические функции, что полезно для кодирования. Чтобы снизить вычислительные затраты, мы выбрали только некоторые репрезентативные функции, включая результаты последней операции AvgPooling и 16 остаточных блоков для визуального кодирования. Таким образом, мы извлекли 17 видов функций для каждого стимула (1750 обучающих изображений и 120 проверочных изображений), чтобы изучить сопоставление конкретных видов функций с каждым вокселем в каждой визуальной области (V1, V2, V3, V4 и LO).В эксперименте предварительно обученную модель ResNet-50 можно загрузить с https://download.pytorch.org/models/resnet50-19c8e357.pth в рамках преобладающей структуры глубокой сети PyTorch (Ketkar, 2017).

Таблица 1. Структура модели ResNet-50.

Линейное отображение из пространства признаков в пространство действий на основе разреженной регрессии

Для каждого слоя модель линейной регрессии сопоставляет вектор признаков X с каждым вокселем y , и он определяется следующим образом:

у = X⁢w (1)

, где y — это матрица размером м на 1, а X — это матрица м на n , где м — количество обучающих выборок, а n — размер признака. вектор. w , матрица размером n на 1, является вектором взвешивания, который необходимо обучить. В таблице 1 представлены размеры каждого выбранного вектора признаков. Количество обучающих выборок m (∼2 K) значительно меньше размерности деталей n (∼100 K), что является некорректной задачей. Таким образом, мы предположили, что каждый воксель может быть охарактеризован небольшим количеством признаков в векторе признаков, и регуляризованный w был разреженным, чтобы предотвратить переобучение при обучении отображению с высокой размерности вектора признаков на один воксель.На основе сделанного выше предположения основную проблему можно выразить следующим образом:

minww0 при условии X⁢w = y (2)

В этом исследовании мы использовали метод разреженной оптимизации, называемый регуляризованным поиском ортогонального соответствия (ROMP) (Needell and Vershynin, 2010), чтобы соответствовать шаблону вокселей. ROMP добавляет ортогональный элемент и групповую регуляризацию на основе алгоритма поиска совпадений (Mallat and Zhang, 1993). Подробности этих шагов алгоритма можно найти в Needell and Vershynin (2010).Мы построили модели кодирования вокселей, используя каждый из 17 различных уровней функций, и оптимизировали 17 линейных моделей для каждого воксела. Корреляция использовалась для измерения производительности кодирования, и была вычислена средняя корреляция верхних 200 вокселей для каждой визуальной области. Признаки, которые имели наилучшую корреляцию, были выбраны в качестве окончательных признаков для кодирования этой визуальной области. На рисунке 3 представлена ​​производительность кодирования для каждой визуальной области при использовании другого уровня функций. На рисунке особенности оптимального слоя отмечены кружком в соответствии с характеристиками кодирования.Наконец, мы выбрали 100 верхних вокселей для каждой визуальной области (V1, V2, V3, V4 и LO) в соответствии с характеристиками подгонки, и всего 500 вокселей для пяти областей были выбраны для декодирования следующей категории. На основе модели кодирования размер вокселей для каждой визуальной области был уменьшен до небольшого фиксированного числа, в то время как ценная информация была зарезервирована. Кроме того, производительность кодирования продемонстрировала, что функции низкого уровня лучше подходят для кодирования зрительной коры низкого уровня, а функции высокого уровня подходят для кодирования зрительной коры высокого уровня, что согласуется с предыдущим исследованием (Wen et al., 2018). Кроме того, мы проиллюстрировали, что выбранные воксели в визуальных областях, показанных на рисунке 4, указывают кластерное распределение для выбранных вокселей.

Рисунок 3. Производительность кодирования каждой визуальной области на основе функций ResNet-50. Для кодирования каждого вокселя в каждой визуальной области (V1, V2, V3, V4 и LO) использовалось семнадцать типов функций, и каждый узел представляет среднюю производительность кодирования 200 верхних вокселей с более высокой корреляцией. Каждый цвет представляет один тип визуальной области, а соответствующий «кружок» указывает на оптимальную производительность.Таким образом, можно выбрать оптимальные характеристики и выбрать 100 верхних вокселей для каждой визуальной области.

Рисунок 4. Распределение выбранных вокселей в визуальных областях. Белые линии разделяют пять визуальных областей (V1, V2, V3, V4 и LO). Каждая желтая точка представляет один воксель, который указывает, где находятся 100 выбранных вокселей каждой визуальной области. Эти выбранные воксели объединяются в кластеры вместо рассеянного распределения.

на основе характеристик BRNN

Чтобы представить двунаправленные информационные потоки для моделирования взаимоотношений между зрительной корой, мы использовали преобладающий модуль долговременной краткосрочной памяти (LSTM) в методе декодирования для извлечения характеристик категории из пространственной последовательности, состоящей из пяти визуальных областей.Тогда категория может быть предсказана через полностью подключенный слой softmax.

Модуль РНН

Долговременная кратковременная память (Hochreiter, Schmidhuber, 1997; Sutskever et al., 2014) является известным модулем RNN во многих вариантах RNN (Cho et al., 2014; Greff et al., 2016) и широко используется в приложения последовательного моделирования. В этом исследовании мы использовали двунаправленный LSTM для характеристики двунаправленных информационных потоков в зрительной коре, а двунаправленный LSTM можно легко построить, добавив двунаправленные (прямые и обратные) соединения на основе LSTM.Таким образом, мы сначала рассмотрели LSTM, и за подробным описанием читатель может обратиться к следующему блогу: http://colah.github.io/posts/2015-08-Understanding-LSTMs/.

Долговременная кратковременная память обычно дополняется повторяющимися вентилями, называемыми вентилями «забыть», и может предотвратить исчезновение или взрыв ошибок обратного распространения. LSTM может изучать задачи, требующие воспоминаний о событиях, которые произошли ранее. LSTM включает в себя три элемента (ворота «забыть», «вход» и «выход»), которые зависят от предыдущего состояния h _{t – 1} и текущего входа x _t .Элемент «забыть» может управлять степенью забывания предыдущей информации в соответствии с f _t , вычисленным с помощью уравнения (3), где σ представляет собой сигмовидную функцию для ограничения f _t от 0 до 1. Таким образом , LSTM может включать в себя долговременную или краткосрочную память по мере необходимости, настраивая f _t . «Входной» вентиль может контролировать, насколько подавать текущий вход x _t в вычисление в соответствии с i _t , вычисленным с помощью уравнения (4).«Выходной» вентиль может контролировать, сколько информации нужно вывести в соответствии с o _t , вычисленным с помощью уравнения (5).

ft⁢ = ⁢σ⁢ (Wf⋅ [ht-1, xt] + bf) (3)

it⁢ = ⁢σ⁢ (Wi⋅ [ht-1, xt] + bi) (4)

ot⁢ = ⁢σ⁢ (Wo⋅ [ht-1, xt] + bo) (5)

На основе трех вентилей LSTM может вычислить состояние c _t и h _t через уравнения (6) и (7), которые также являются выходом текущего вычисление.

ct⁢ = ⁢ft⋅ct-1 + it⋅ {𝑡𝑎𝑛ℎ⁢ (Wc⋅ [ht-1, xt] + bc)} (6)

ht⁢ = ot⋅𝑡𝑎𝑛ℎ⁢ (ct) (7)

Предлагаемая архитектура

Соединения в модуле RNN обычно имеют только одно направление (слева направо), но BRNN добавляет другое направление (справа налево), чтобы сделать модуль двунаправленным. На основе двунаправленного модуля LSTM мы представили архитектуру декодирования категорий.

Как показано на рисунке 5, входными данными для архитектуры являются вокселы, выбранные из пяти визуальных областей (V1, V2, V3, V4 и LO), которые составляют одну последовательность пробелов, следовательно, длина последовательности равна пяти.Согласно разделу «Визуальное кодирование на основе характеристик CNN» мы выбрали 100 вокселей для каждой визуальной области. Поскольку воксели не имеют измерения времени, 100 выбранных вокселей из каждой области рассматривались как один узел (вектор 100-D) входной последовательности, которая была передана в двунаправленный модуль LSTM. Таким образом, каждый узел также можно рассматривать как один момент (t ₁ , t ₂ , t ₃ , t ₄ и t ₅ ) поддельного временного ввода. По сути, мы использовали моделирование пространственной последовательности вместо временной последовательности для категории, и мы использовали двунаправленную LSTM для характеристики пространственных (несколько визуальных областей) серий отношений вместо временных рядов отношений для каждого воксела, что является важной характеристикой. нашего метода.

Рисунок 5. Модель декодирования категорий на основе модуля BRNN. Все визуальные области рассматриваются как одна последовательность, и модуль BRNN особенно хорош при моделировании последовательности. Красная линия указывает восходящие информационные потоки, а зеленая линия указывает нисходящие информационные потоки в зрительной коре. Комбинация характеристик с двух направлений используется для прогнозирования категории. Таким образом, информация из каждой зрительной области и двунаправленные информационные потоки в зрительной коре могут использоваться для декодирования.

Один уровень двунаправленного LSTM был добавлен в качестве входного уровня в архитектуре декодирования, чтобы охарактеризовать взаимосвязь во входной последовательности. Направления слева направо и справа налево характеризуют поведение снизу вверх и сверху вниз в системе человеческого зрения соответственно. Таким образом, на выходные характеристики одного узла влияют левые зрительные коры низкого уровня и правые зрительные коры высокого уровня. Следовательно, характеристики категории в каждой визуальной области и отношения между областями могут быть извлечены.Затем предложенный метод объединил выходные характеристики с двух направлений и подал их в последовательный полностью связанный слой softmax для прогнозирования категории. Кроме того, потеря фокуса (Lin et al., 2017) с гаммой 5.0 использовалась во время обучения для работы с трудными выборками. Что касается деталей архитектуры, входной узел был 100-D, а выход узла в каждом направлении LSTM был 16-D особенностью. Таким образом, для следующей классификации был получен 32-мерный признак, сочетающий два направления.Количество узлов в последнем полностью подключенном слое softmax составляло 5, 10 и 23 для трехуровневых меток соответственно. Мы добавили операцию выпадения со скоростью 0,5 за выводом двунаправленного LSTM, чтобы избежать переобучения. Наконец, в модели декодирования использовалась не только визуальная информация в каждой визуальной области, но и отношения между областями.

Предлагаемый метод может быть обучен сквозным образом с использованием алгоритмов, аналогичных стандартным RNN. Благодаря обучению в глубокой сетевой структуре PyTorch (Ketkar, 2017) двунаправленные информационные потоки, включая информацию о категориях, могут быть добыты на основе обучающих выборок.Во время обучения мы установили размер пакета равным 64 и использовали оптимизацию Адама, в которой скорость обучения составляла 0,001, а регуляризация веса была 0,001, для обновления параметров. На обучение в системе Ubuntu 16.04 с одной видеокартой NVIDIA Titan Xp потребовалось около 200 эпох.

Результаты

Обычные линейные и нелинейные классификаторы

Мы выбрали несколько классических классификаторов, включая дерево решений (DR), случайный лес (RF), AdaBoost (AB), линейный и нелинейный SVM.Декодирование трехуровневой категории (5, 10 и 23) было выполнено на основе этих традиционных классификаторов. Для декодирования с 5 категориями на рисунке 6 эти традиционные методы с использованием одной визуальной области были более точными, чем случайные, и даже первичные визуальные области полезны для декодирования семантической категории. Линейный тренд производительности декодирования от зрительной коры низкого уровня к высокому также изображен на рисунке, который показывает, что производительность декодирования была улучшена. Это явление указывало на то, что больше семантической информации было получено из визуальных областей более высокого уровня.Кроме того, эти классические классификаторы обеспечивают лучшую производительность декодирования, когда все визуальные области используются вместо одной визуальной области, что указывает на то, что представления категории в разных визуальных областях дополняют друг друга. Результаты двух других уровней (10 и 23 категории) декодирования продемонстрировали аналогичное явление, которое показано на рисунках 7, 8. Кроме того, были рассчитаны среднее значение и дисперсия точности декодирования по результатам пяти повторных экспериментальных тестов с теми же гиперпараметрами. и нанесены на рисунки 6–8.Следует отметить, что дисперсия устойчивого линейного и нелинейного SVM и классификатора AB была равна нулю. Из рисунков видно, что точность декодирования SVM была выше, чем у других методов (DR, RF и AB), а производительность линейной и нелинейной SVM была аналогичной. Кроме того, эффективность S1 была выше, чем у S2, что согласуется с предыдущими исследованиями (Kay et al., 2008).

Рисунок 6. Расшифровка пяти категорий с использованием обычных классификаторов.Представлены точности различных обычных классификаторов при использовании только одной визуальной области и всех визуальных областей («V»). Можно наблюдать распределенные, иерархические и дополнительные представления семантической категории в системе человеческого зрения (подробный анализ в разделе «Обсуждение»).

Рисунок 7. Расшифровка 10 категорий с помощью обычных классификаторов.

Рисунок 8. Расшифровка 23 категорий с помощью обычных классификаторов.

Полностью подключенная нейронная сеть

В дополнение к традиционным классификаторам в разделе «Обычные линейные и нелинейные классификаторы» также был протестирован метод полносвязной нейронной сети (NN). Чтобы сравнить и проверить эффект моделирования двунаправленных информационных потоков, в методе NN использовалась архитектура, аналогичная предложенному методу, за исключением модуля RNN. В частности, метод NN имел три полностью связанных слоя. Количество нейронных узлов каждого слоя составляло 500, 64 и 32 соответственно.«500» было получено из комбинации выбранных вокселей в пяти визуальных областях. Выходы последнего полностью подключенного слоя softmax были 5-D, 10-D и 23-D для трехуровневых меток соответственно. Подобные гиперпараметры использовались во время тренировки. Таким образом, разница между методами на основе NN и BRNN заключалась в том, моделировались ли двунаправленные информационные потоки. Из рисунка 9 видно, что метод NN имеет лучшие или сравнительные характеристики относительно линейных и нелинейных методов SVM.Мы проанализировали преимущества мощной нелинейной способности нейронных сетей.

Рисунок 9. Количественное сравнение производительности декодирования для разных методов. Обычные методы и метод NN могут задействовать все визуальные области. Однако метод NN с мощной нелинейной способностью обеспечивает более высокую точность. Методы на основе BRNN с мощными нелинейными возможностями также могут использовать дополнительную информацию (двунаправленные информационные потоки), что обеспечивает лучшую производительность.

Предлагаемый метод

Как показано на рисунке 9, предложенный нами метод имел лучшую производительность для всех трех уровней декодирования категорий, поскольку он может дополнительно использовать двунаправленные информационные потоки в зрительной коре головного мозга. В таблице 2 представлена ​​точность нашего метода, и точность декодирования по 5, 10 и 23 категориям достигла 60,83 ± 1,17%, 46,17 ± 0,42% и 39,50 ± 0,85% соответственно. Предложенный метод улучшился более чем на 5% по сравнению с другими лучшими методами.Аналогичные результаты для субъекта S2 можно найти в таблице 3. Чтобы проверить статистическую значимость, мы вычислили соответствующие значения p для измерения разницы между предложенным методом и другими классификаторами в таблице 4. Он показал, что большинство значений значимости достигнуто. более высокий уровень ( P <0,001), что подтвердило значимость предлагаемого метода. Более того, минимальные значения значимости для каждого уровня категории были подчеркнуты в таблице 4, а значения значимости находились между ( P <0.01) и ( P <0,05), которые продемонстрировали приемлемую статистическую значимость. Подчеркнутые значения указывают на то, что предлагаемый нами метод показал значимость, даже несмотря на то, что использовались более строгие сравнения, в которых мы сравнивали предлагаемый метод с лучшими из всех других методов. Кроме того, на Рисунке 10 представлена ​​матрица неточностей, отражающая подробные результаты классификации, и показано, что большинство образцов классифицированы правильно. Однако класс «текстура» показал худший результат, и мы представили два изображения, соответствующие данные фМРТ которых были классифицированы неправильно.Один был ошибочно отнесен к классу «естественный», а другой - к классу «созданный руками человека». Визуальные атрибуты двух изображений действительно были похожи на атрибуты изображений, принадлежащих к «естественным» и «искусственным» классам. Более того, классы «человек» и «животное» легко перепутать, что может быть результатом схожести визуальных атрибутов между классами «человек» и «животное».

Таблица 2. Количественное сравнение характеристик декодирования различными методами для субъекта S1.

Таблица 3. Количественное сравнение характеристик декодирования различными методами для субъекта S2.

Таблица 4. Статистическая значимость предлагаемого нами метода по сравнению с другими методами для субъектов S1 и S2.

Рисунок 10. Нормализованная матрица неточностей результатов и два примера ошибочной классификации для предложенного метода. Нормализованная матрица путаницы представляет подробную ошибочную классификацию, и два образца изображений используются для анализа класса («текстуры»), который имеет худшие характеристики классификации.

Эффект прямого, обратного и двунаправленного подключений

Кроме того, мы сравнили точность модуля RNN при использовании прямого, обратного и двунаправленного соединений. Двунаправленные соединения включали прямые и обратные соединения. Прямые связи характеризовали восходящие информационные потоки, а обратные связи характеризовали нисходящие информационные потоки в визуальных областях. Мы сравнили двунаправленные соединения (двунаправленный LSTM) с прямыми соединениями (LSTM с входом V1 → V 2 → V 3 → V 4 → последовательность LO), обратными соединениями (LSTM с входом LO → V 4 → V 3 → V2 → V1 последовательность), и никаких повторяющихся соединений (полностью связанный слой с вводом целых визуальных областей в целом).Соответствующие результаты были представлены в Таблице 5. Мы видим, что метод на основе LSTM («→ •»), который характеризует восходящие информационные потоки, ведет себя лучше, чем метод NN без повторяющихся соединений и LSTM («←≤») — на основе метода, характеризующего нисходящие информационные потоки. Тем не менее, использование двунаправленных соединений по-прежнему давало преимущества, поскольку было охарактеризовано больше взаимосвязей и использовалось больше визуальной информации. Двунаправленные методы на основе LSTM в целом показали наилучшее поведение согласно среднему значению в таблице 5 за счет комбинирования соединений LSTM («→ •») и LSTM («←»).Мы также вычислили значения значимости, чтобы измерить разницу между LSTM («→ •») и двунаправленным LSTM («→ • и ←»). Для субъекта 1 значения значимости для декодирования по 5, 10 и 23 категориям составили 7,83 × 10 ^–4 , 7,72 × 10 ^–3 и 4,34 × 10 ^–5 , соответственно. Для субъекта 2 значения значимости для декодирования по 5, 10 и 23 категориям составили 3,07 × 10 ^–1 , 2,41 × 10 ^–2 и 5,31 × 10 ^–3 , соответственно. Эти результаты показали некоторую разницу между LSTM («→ •») и двунаправленным LSTM («→ • и ←»), а точность задачи декодирования для субъекта 1 имеет более высокие значения значимости, чем для субъекта 2.В заключение, одиночные соединения LSTM («←») вели себя немного хуже, чем метод на основе NN, но улучшение подтвердило роль LSTM («←»). Следовательно, для декодирования необходимы двунаправленные соединения, характеризующие восходящие и нисходящие информационные потоки.

Таблица 5. Сравнение того, используются ли прямые, обратные и двунаправленные соединения для модуля RNN.

Обсуждение

Известно, что визуальное декодирование предназначено для изучения того, что существует в зрительной коре головного мозга, но легче исследовать паттерн визуальных представлений в системе человеческого зрения.Таким образом, мы пришли к выводу о некоторых существующих моментах и ​​суммировали сходства и различия между нашим методом и другими. Кроме того, были обсуждены методы визуального декодирования на основе CNN и RNN, чтобы продемонстрировать преимущества и ограничения предлагаемого нами метода, и был представлен наш вклад в эту область.

Некоторое соответствие с предыдущими исследованиями

Известно, что низкоуровневые и высокоуровневые функции глубоких сетей сосредоточены на подробной и абстрактной информации соответственно (Mahendran and Vedaldi, 2014).С точки зрения визуального кодирования, рисунок 3 показывает, что низкоуровневые и высокоуровневые функции подходят для кодирования зрительной коры низкого и высокого уровня соответственно, что было показано в серии предыдущих исследований (Güçlü and van Gerven, 2015; Eickenberg et al., 2016; Horikawa, Kamitani, 2017b). С точки зрения визуального декодирования рисунки 6–8 нашего исследования показывают линейное улучшение от зрительной коры низкого уровня к зрительной коре высокого уровня, что может быть дополнением к основанным на CNN методам визуального кодирования для поддержки иерархических представлений в визуальном восприятии. кортикальный слой.

Когда только одна конкретная визуальная область используется в разных классификаторах, производительность декодирования категории лучше, чем случайная, и даже визуальные области низкого уровня могут вносить вклад в декодирование категории, что указывает на то, что визуальные области низкого уровня могут содержать визуальную информацию о категориях . Таким образом, как и в предыдущей работе (Haxby et al., 2001; Cox and Savoy, 2003), можно сделать вывод о распределенных представлениях категорий в зрительной коре. Например, Haxby et al. (2001) продемонстрировали, что в вентральной коре головного мозга были распределены изображения лиц и предметов.Основываясь на двунаправленных информационных потоках, мы предположили, что распределенные представления могут быть вызваны динамическими информационными потоками. Визуальная информация из зрительных областей низкого уровня может перетекать в зрительные области высокого уровня, а визуальная информация из зрительных областей коры верхнего уровня также может поступать в зрительные области коры нижнего уровня. Следовательно, зрительные области в вентральной коре являются интерактивными, что может способствовать распределению репрезентаций в зрительной коре.

Результаты показывают, что производительность декодирования с использованием пяти визуальных областей превосходит использование только одной отдельной области.Улучшение подтверждает, что эти представления в различных визуальных областях не являются избыточными, а содержат различную информацию. Результаты кодирования на основе иерархической CNN (см. Рисунок 3) показали, что низкоуровневые функции подходят для кодирования первичной зрительной коры, а высокоуровневые функции более полезны для кодирования высокоуровневой зрительной коры. Учитывая, что низкоуровневые и высокоуровневые функции глубокой сети сосредоточены на подробной и абстрактной информации (Mahendran and Vedaldi, 2014), улучшение дополняет точку зрения о том, что низкоуровневые зрительные коры в основном обрабатывают низкоуровневые представления (граница, текстура , и цвет) и что высокоуровневые зрительные коры в основном отвечают за высокоуровневые репрезентации (форма и объект).Более того, дополнительные изображения указывают на то, что следует рассмотреть больше визуальных областей. Однако это исследование охватывает только пять зрительных областей, что является ограничением, а в некоторых предыдущих исследованиях даже упоминается меньшее количество зрительных корковых областей (Senden et al., 2019). Следовательно, следующим направлением может стать использование большего количества визуальных областей в методе декодирования и моделирование более сложных отношений в визуальных областях.

Корреляционные представления о категории в зрительной коре

За исключением иерархических, распределенных и дополнительных представлений о категориях в зрительной коре, результаты на рисунке 9 продемонстрировали, что мы можем получить улучшение примерно на 5% после введения двунаправленных информационных потоков и моделирования внутренней взаимосвязи в методе декодирования, что указывает на взаимосвязь между визуальные области могут содержать семантическую информацию категорий и могут способствовать декодированию.Это показывает, что эти зрительные области связаны, а представления категорий в зрительной коре коррелятивны. Соответствующие представления категорий означают, что отношения между визуальными областями содержат атрибуты категорий. Поскольку мы не нашли литературы, в которой моделировались бы корреляционные представления для декодирования категорий из данных фМРТ, мы попытались проанализировать происхождение явления в соответствии с двунаправленными информационными потоками. А именно, семантическое знание сначала формируется посредством восходящей иерархической обработки сенсорной информации.Затем семантическая информация может поступать от зрительной коры высокого уровня для модуляции нейронной активности зрительной коры низкого уровня из-за задачи или внимания. Таким образом, мы можем сделать вывод, что семантическая информация, содержащаяся в отношении, происходит от визуальной обработки снизу вверх и визуальной модуляции сверху вниз, а отношение связано с категориями из-за эффекта нисходящего способа. Современные методы, такие как преобладающие методы на основе CNN, не могут моделировать визуальный механизм сверху вниз и обычно учитывают только иерархические представления.

Отличие от преобладающих CNN и RNN на основе методов визуального декодирования

Целью нашего исследования является прямое декодирование категорий из вокселей (деятельности фМРТ) с использованием классификатора на основе модуля RNN. Известно, что CNN очень эффективны для задач визуального распознавания за счет извлечения иерархических и мощных функций из 2D-изображений. Таким образом, CNN особенно подходят для визуального кодирования, но не для классификации вокселей (1D). Как показано в разделе «Визуальное кодирование на основе функций CNN», функции, извлеченные CNN, используются для кодирования вокселей для выбора ценных вокселей.Кроме того, CNN могут выполнять декодирование косвенным способом, называемым «методами на основе сопоставления шаблонов признаков» (Han et al., 2017; Horikawa and Kamitani, 2017a), который существенно отличается от нашего метода под названием «Методы на основе классификаторов, », Который является наиболее прямым способом декодирования. Кроме того, своего рода «методы, основанные на сопоставлении шаблонов признаков», берут целые визуальные области в целом и сопоставляют их с функциями CNN, что затрудняет использование внутренних отношений между вокселями.Однако RNN обычно используются для моделирования данных последовательности, а методы на основе RNN (Spampinato et al., 2017; Shi et al., 2018) могут характеризовать данные с измерением времени в области визуального декодирования. Например, Spampinato et al. (2017) предложили использовать RNN для извлечения признаков из данных ЭЭГ для декодирования, и они использовали модуль LSTM для характеристики временных рядов отношений. В качестве улучшения мы использовали модуль LSTM для характеристики пространственных (несколько визуальных областей) рядов отношений, поскольку измерение времени для данных фМРТ обычно не слишком сильно учитывается в области визуального кодирования и декодирования.Более конкретно, их последовательность состоит из разных временных точек для каждого воксела, но последовательность для наших RNN состоит из вокселей в разных визуальных областях, что является существенным различием между нашим методом и другими основанными на RNN методами. В заключение, наш метод является прямым и новым, потому что мы используем моделирование пространственной последовательности вместо временной последовательности для категории. Таким образом, следующим направлением визуального декодирования может быть характеристика пространственно-временной последовательности вокселей в визуальных областях.

Заключение

В этом исследовании мы проанализировали недостатки существующих методов декодирования с точки зрения двунаправленных информационных потоков (визуальные механизмы снизу вверх и сверху вниз). Чтобы охарактеризовать двунаправленные информационные потоки в зрительной коре, мы использовали модуль BRNN для моделирования пространственного ряда отношений вместо общего временного ряда отношений. Мы рассматривали выбранные воксели каждой визуальной области (V1, V2, V3, V4 и LO) как один узел в пространственной последовательности, которая подавалась в BRNN для дополнительного извлечения функций взаимосвязи, связанных с категорией, для повышения производительности декодирования.Мы проверили наш предложенный метод на наборе данных с тремя уровнями меток категорий (5, 10 и 23). Экспериментальные результаты показали, что предложенный нами метод позволяет получать более точные результаты декодирования, чем другие линейные и нелинейные классификаторы, при этом подтверждая статистическую значимость двунаправленных информационных потоков для декодирования категорий. Кроме того, основываясь на экспериментальных результатах, мы пришли к выводу, что представления в зрительной коре были иерархическими, распределенными и дополнительными, что согласуется с предыдущими исследованиями.Что еще более важно, мы проанализировали, что двунаправленные информационные потоки в зрительной коре коры заставляют отношения между областями содержать представления категорий и могут быть успешно использованы на основе BRNN, которую мы назвали коррелятивными представлениями категорий в зрительной коре.

Авторские взносы

KQ участвовал во всех этапах исследовательского проекта и написании статей. JC разработал процедуры общих экспериментов. LW внесла свой вклад в идею декодирования на основе BRN.CZ внесла свой вклад в реализацию идеи. Л.З. участвовал в подготовке статьи, рисунков и диаграмм. LT ввел восприятие иерархических, распределенных, дополнительных и коррелятивных представлений в зрительной коре. BY предложил идею и написание.

Финансирование

Эта работа была поддержана Национальным планом ключевых исследований и разработок Китая (№ 2017YFB1002502) и Национальным фондом естественных наук Китая (№№ 61701089 и 162300410333).

Заявление о конфликте интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Список литературы

Агравал П., Стэнсбери Д., Малик Дж. И Галлант Дж. Л. (2014). Пиксели в воксели: моделирование визуального представления в человеческом мозге. arXiv препринт arXiv: 1407.5104.

Google Scholar

Бушман, Т.Дж., И Миллер, Э. К. (2007). Контроль внимания сверху вниз по сравнению с контролем снизу вверх в префронтальной и задней теменной области коры. Наука 315, 1860–1862. DOI: 10.1126 / science.1138071

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Chang, C.-C., and Lin, C.-J. (2011). «Транзакции ACM в интеллектуальных системах и технологиях (TIST)», в LIBSVM: Библиотека для опорных векторных машин , Vol. 2, (Нью-Йорк, Нью-Йорк: ACM Press). DOI: 10,1145 / 1961189.1961199

CrossRef Полный текст | Google Scholar

Чо, К., Ван Мерриенбор, Б., Гульчере, К., Богданау, Д., Бугарес, Ф., Швенк, Х., и др. (2014). Изучение представлений фраз с использованием кодировщика-декодера RNN для статистического машинного перевода. arXiv препринт arXiv: 1406.1078.

Google Scholar

Коко, М. И., Малькольм, Г. Л., и Келлер, Ф. (2014). Взаимодействие механизмов снизу вверх и сверху вниз в визуальном руководстве во время именования объектов. Q. J. Exp. Psychol. 67, 1096–1120. DOI: 10.1080 / 17470218.2013.844843

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кокс, Д. Д., и Савой, Р. Л. (2003). Функциональная магнитно-резонансная томография (фМРТ) «чтение мозга»: обнаружение и классификация распределенных паттернов активности фМРТ в зрительной коре головного мозга человека. Neuroimage 19, 261–270. DOI: 10.1016 / s1053-8119 (03) 00049-1

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Дезимоне, Р.и Дункан Дж. (1995). Нейронные механизмы избирательного зрительного внимания. Annu. Rev. Neurosci. 18, 193–222. DOI: 10.1146 / annurev.neuro.18.1.193

CrossRef Полный текст | Google Scholar

Эгер, Э., Хенсон, Р., Драйвер, Дж., И Долан, Р. Дж. (2006). Механизмы облегчения нисходящего восприятия визуальных объектов, изучаемых с помощью фМРТ. Cereb. Cortex 17, 2123–2133. DOI: 10.1093 / cercor / bhl119

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Айкенберг, М., Грамфорт, А., Вароко, Г., Тирион, Б. (2016). Видеть все: слои сверточной сети отображают функции зрительной системы человека. Нейроизображение 152, 184–194. DOI: 10.1016 / j.neuroimage.2016.10.001

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Грейвс, А., Мохамед, А.-Р., и Хинтон, Г. (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей», в Акустика, обработка речи и сигналов (ICASSP), 2013 Международная конференция IEEE , (Ванкувер, Британская Колумбия: IEEE), 6645–6649.

Google Scholar

Грефф К., Шривастава Р. К., Коутник Дж., Стойнебринк Б. Р. и Шмидхубер Дж. (2016). LSTM: поисковая космическая одиссея. IEEE Trans. Neural Netw. Учить. Syst. 28, 2222–2232. DOI: 10.1109 / TNNLS.2016.2582924

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Güçlü, U., и van Gerven, M.A. (2015). Глубокие нейронные сети обнаруживают градиент сложности нейронных репрезентаций вентрального потока. Дж.Neurosci. 35, 10005–10014. DOI: 10.1523 / JNEUROSCI.5023-14.2015

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хан, К., Вэнь, Х., Ши, Дж., Лу, К.-Х., Чжан, Ю., и Лю, З. (2017). Вариационный автоэнкодер: неконтролируемая модель для моделирования и декодирования активности фМРТ в зрительной коре. bioRxiv 214247. doi: 10.1016 / j.neuroimage.2019.05.039

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хэксби, Дж. В., Гоббини, М.И., Фьюри, М. Л., Ишаи, А., Схоутен, Дж. Л., и Пьетрини, П. (2001). Распределенные и перекрывающиеся изображения лиц и предметов в вентральной височной коре. Наука 293, 2425–2430. DOI: 10.1126 / science.1063736

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Хе К., Чжан Х., Рен С. и Сун Дж. (2016). «Глубокое остаточное обучение для распознавания изображений», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Las Vegas, NV, 770–778.

Google Scholar

Хорикава, Т., и Камитани, Ю. (2017b). Иерархическое нейронное представление объектов сновидения, выявленных путем декодирования мозга с помощью глубоких нейронных сетей. Фронт. Комп. Neurosci. 11: 4. DOI: 10.3389 / fncom.2017.00004

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Кастнер С. и Унгерлейдер Л. Г. (2000). Механизмы зрительного внимания в коре головного мозга человека. Annu. Rev. Neurosci. 23, 315–341.

PubMed Аннотация | Google Scholar

Кеткар, Н. (2017). «Введение в pytorch», в Deep Learning with Python , ed. Н. Кеткар (Беркли, Калифорния: Апресс), 195–208. DOI: 10.1007 / 978-1-4842-2766-4_12

CrossRef Полный текст | Google Scholar

Хан, Ф. С., Ван Де Вейер, Дж., И Ванрелл, М. (2009). «Цветовое внимание сверху вниз для распознавания объектов», в материалах Proceedings of the 2009 IEEE 12th International Conference on Computer Vision: IEEE , Kyoto, 979–986.

Google Scholar

Крижевский А., Суцкевер И., Хинтон Г. Э. (2012). «Классификация ImageNet с глубокими сверточными нейронными сетями», в Международная конференция по системам обработки нейронной информации , Невада, 1097–1105.

Google Scholar

ЛеКун Ю., Боттоу Л., Бенжио Ю. и Хаффнер П. (1998). Применение градиентного обучения для распознавания документов. Proc. IEEE 86, 2278–2324. DOI: 10.1109 / 5.726791

CrossRef Полный текст | Google Scholar

Ли, К., Сюй Дж. И Лю Б. (2018). Расшифровка естественных изображений вызванных активностью мозга с использованием моделей кодирования с обратимым отображением. Neural Netw. 105, 227–235. DOI: 10.1016 / j.neunet.2018.05.010

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Лин Т.-Й., Гоял П., Гиршик Р., Хе К. и Доллар П. (2017). «Потеря фокуса для обнаружения плотных объектов», в Труды международной конференции IEEE по компьютерному зрению, , Венеция, 2980–2988.

Google Scholar

Махендран А., Ведальди А. (2014). «Понимание представлений глубоких изображений путем их инвертирования», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Columbus, OH, 5188–5196.

Google Scholar

Маллат, С., Чжан, З. (1993). Сопоставление погони с частотно-временными словарями. Технический отчет. Courant Inst. Математика. Sci. N. Y. 41, 3397–3415. DOI: 10.1109 / 78.258082

CrossRef Полный текст | Google Scholar

Мартин, Д., Фаулкс, К., Тал, Д., и Малик, Дж. (2001). «База данных сегментированных естественных изображений человека и ее применение для оценки алгоритмов сегментации и измерения экологической статистики», в материалах Восьмой Международной конференции IEEE по компьютерному зрению Proceedings. ICCV , Ванкувер, Британская Колумбия.

Google Scholar

Миколов, Т., Карафят, М., Бургет, Л., Черноцки, Дж., И Худанпур, С. (2010). «Языковая модель на основе рекуррентной нейронной сети», Труды 11-й ежегодной конференции Международной ассоциации речевой коммуникации , Чиба.

Google Scholar

Мисаки М., Ким Ю., Бандеттини П. А. и Кригескорте Н. (2010). Сравнение многомерных классификаторов и нормализации отклика для фМРТ с информацией о паттернах. Нейроизображение 53, 103–118. DOI: 10.1016 / j.neuroimage.2010.05.051

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Мишкин М., Унгерлейдер Л. Г., Макко К. А. (1983). Объектное зрение и пространственное видение: два корковых пути. Trends Neurosci. 6, 414–417. DOI: 10.1016 / 0166-2236 (83)-x

CrossRef Полный текст | Google Scholar

Населарис, Т., Пренгер, Р. Дж., Кей, К. Н., Оливер, М., и Галлант, Дж. Л. (2009). Байесовская реконструкция естественных изображений по активности мозга человека: нейрон. Нейрон 63, 902–915. DOI: 10.1016 / j.neuron.2009.09.006

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Ниделл Д., Вершинин Р. (2010). Восстановление сигнала из неполных и неточных измерений с помощью регуляризованного поиска ортогонального согласования. IEEE J. Sel. Вершина. Сигнальный процесс. 4, 310–316. DOI: 10.1109 / jstsp.2010.2042412

CrossRef Полный текст | Google Scholar

Нисимото, С., Ан, Т. В., Населарис, Т., Бенджамини, Ю., Ю., Б., и Галлант, Дж. Л. (2011). Реконструкция визуальных впечатлений от мозговой активности, вызванной естественными фильмами. Curr. Биол. 21, 1641–1646. DOI: 10.1016 / j.cub.2011.08.031

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Норман, К. А., Полин, С.М., Детре, Дж. Дж., И Хаксби, Дж. В. (2006). Помимо чтения мыслей: анализ множественных вокселей данных фМРТ. Trends Cogn. Sci. 10, 424–430. DOI: 10.1016 / j.tics.2006.07.005

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Пападимитриу А., Пассалис Н. и Тефас А. (2018). «Расшифровка общих визуальных представлений от деятельности человеческого мозга с помощью машинного обучения», Европейская конференция по компьютерному зрению, , Мюнхен, 597–606. DOI: 10.1007 / 978-3-030-11015-4_45

CrossRef Полный текст | Google Scholar

Русаковский, О., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., et al. (2015). ImageNet — задача крупномасштабного визуального распознавания. Внутр. J. Comp. Vis. 115, 211–252. DOI: 10.1007 / s11263-015-0816-y

CrossRef Полный текст | Google Scholar

Шустер М. и Паливал К. К. (1997). Двунаправленные рекуррентные нейронные сети. IEEE Trans. Сигнальный процесс. 45, 2673–2681. DOI: 10.1109 / 78.650093

CrossRef Полный текст | Google Scholar

Зенден, М., Эммерлинг, Т. К., Ван Хоф, Р., Фрост, М. А., и Гебель, Р. (2019). Реконструкция воображаемых букв из ранней зрительной коры обнаруживает тесное топографическое соответствие между визуальными мысленными образами и восприятием. Brain Struct. Функц. 224, 1167–1183. DOI: 10.1007 / s00429-019-01828-6

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Ши, Н. (2015). «Отличие нисходящих эффектов от восходящих», в книге Perception and its Modalities , ред.Биггс, М. Маттен и Д. Стоукс (Oxford: Oxford University Press), 73–91.

Google Scholar

Ши, Дж., Вэнь, Х., Чжан, Ю., Хань, К., и Лю, З. (2018). Глубокая рекуррентная нейронная сеть выявляет иерархию памяти процесса во время динамического естественного зрения. Хум. Brain Mapp. 39, 2269–2282. DOI: 10.1002 / hbm.24006

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Сонг, С., Чжан, З., Лонг, З., Чжан, Дж., И Яо, Л. (2011). Сравнительное исследование методов SVM в сочетании с выбором вокселей для классификации категорий объектов на данных фМРТ. PLoS One 6: e17191. DOI: 10.1371 / journal.pone.0017191

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Соргер Б., Райтлер Дж., Дамен Б. и Гебель Р. (2012). Устройство для проверки орфографии на основе фМРТ в реальном времени, сразу обеспечивающее надежную независимую от двигателя связь. Curr. Биол. 22, 1333–1338. DOI: 10.1016 / j.cub.2012.05.022

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Spampinato, C., Palazzo, S., Kavasidis, I., Джордано, Д., Сули, Н., и Шах, М. (2017). «Глубокое обучение человеческого разума для автоматизированной визуальной классификации», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Honolulu, HI, 6809–6817.

Google Scholar

Стокс, М., Томпсон, Р., Кьюсак, Р., и Дункан, Дж. (2009). Нисходящая активация популяционных кодов определенной формы в зрительной коре во время мысленных образов. J. Neurosci. 29, 1565–1572. DOI: 10.1523 / JNEUROSCI.4657-08.2009

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Суцкевер И., Виньялс О., Ле К. В. (2014). «Последовательность для последовательного обучения с помощью нейронных сетей», в Достижения в системах обработки нейронной информации , Сан-Франциско, Калифорния, 3104–3112.

Google Scholar

Танака, К. (1996). Нижне-височная кора и предметное зрение. Annu. Rev. Neurosci. 19, 109–139. DOI: 10.1146 / annurev.ne.19.030196.000545

CrossRef Полный текст | Google Scholar

Вэнь, Х., Ши, Дж., Чен, В., и Лю, З. (2018). Глубокая остаточная сеть предсказывает корковое представление и организацию визуальных функций для быстрой категоризации. Sci. Отчет 8: 3752. DOI: 10.1038 / s41598-018-22160-9

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Вэнь, Х., Ши, Дж., Чжан, Ю., Лу, К.-Х., Цао, Дж., И Лю, З. (2017). Нейронное кодирование и декодирование с глубоким обучением для динамического естественного зрения. Cereb. Cortex 28, 4136–4160. DOI: 10.1093 / cercor / bhx268

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Яминь, Д. Л., Хонг, Х., Кадье, К. Ф., Соломон, Э. А., Зайберт, Д., и ДиКарло, Дж. Дж. (2014). Иерархические модели, оптимизированные для производительности, предсказывают нейронные реакции в высших зрительных коре головного мозга. Proc. Natl. Акад. Sci. США, 111, 8619–8624. DOI: 10.1073 / pnas.1403112111

PubMed Аннотация | CrossRef Полный текст | Google Scholar

Чжан, Х., Лю, Дж., Хубер, Д. Э., Рит, К.А., Тиан Дж. И Ли К. (2008). Обнаружение лиц на изображениях с чистым шумом: функциональное МРТ-исследование нисходящего восприятия. Нейроотчет 19, 229–233. DOI: 10.1097 / WNR.0b013e3282f49083

PubMed Аннотация | CrossRef Полный текст | Google Scholar

границ | Расшифровка семантического содержания фильмов с естественным движением по активности мозга человека

Введение

В последнее десятилетие появился значительный интерес к расшифровке стимулов или психических состояний по активности мозга, измеренной с помощью функциональной магнитно-резонансной томографии (фМРТ).Ранние результаты в этой области (Kay et al., 2008; Mitchell et al., 2008; Naselaris et al., 2009; Nishimoto et al., 2011) вызвали значительный интерес к перспективам футуристических неинвазивных интерфейсов мозг-компьютер. который может выполнять «чтение мозга». Эти исследования показали, что с помощью BOLD фМРТ можно получить значительно больше информации, чем многие считали ранее (Kay et al., 2008). Кроме того, одно недавнее исследование, проведенное в нашей лаборатории, показало, что с помощью фМРТ можно декодировать появление быстро меняющихся естественных фильмов (Nishimoto et al., 2011), оспаривая распространенное мнение о том, что фМРТ подходит только для изучения медленных явлений. Здесь мы расширяем нашу предыдущую работу, расшифровывая, какие категории объектов и действий присутствуют в естественных фильмах.

Мозговое декодирование можно рассматривать как проблему поиска стимула, S , который, скорее всего, вызвал наблюдаемые жирные ответы, R , при распределении вероятностей P (S | R) . На сегодняшний день для решения этой проблемы использовались два общих подхода: байесовское декодирование и прямое декодирование.При байесовском декодировании создается явная модель P (R | S) , чтобы предсказать ответ на основе стимула. Затем используется правило Байеса для обращения условной вероятности: P (S | R) = P (R | S) P (S) / P (R). Этот подход использовался для декодирования внешнего вида и семантической категории статических природных изображений (Naselaris et al., 2009), визуального внешнего вида естественных фильмов (Nishimoto et al., 2011) и семантической категории изолированных визуальных объектов. или слова (Mitchell et al., 2008). Однако байесовское декодирование требует построения априорного распределения по стимулам, P (S) , и это непрактично, когда пространство декодирования велико (например, при декодировании естественных сцен или фильмов). В некоторых случаях эту проблему можно решить, используя большой эмпирический априор (Naselaris et al., 2009; Nishimoto et al., 2011). Однако у нас нет возможности оценить эмпирическую априорность категорий, появляющихся в естественных фильмах. Это затрудняет применение структуры байесовского декодирования к этой проблеме.

Другой популярный подход к этой проблеме — прямое декодирование. В этом подходе создается явная модель P (S | R) , которая напрямую предсказывает стимул на основе ответа. Прямое декодирование использовалось для декодирования того, какая из двух визуальных категорий просматривается (Haxby et al., 2001; Carlson et al., 2003; Cox and Savoy, 2003), о какой из двух категорий снится субъект (Horikawa et al. ., 2013), и какие объекты присутствуют в статичных естественных визуальных сценах (Stansbury et al., 2013). Однако по ряду причин прямое декодирование обычно не является оптимальным для декодирования объектов и действий в естественных сценах активности мозга. Во-первых, прямое декодирование неявно предполагает, что каждая декодируемая функция независима, но объекты и действия в естественных сценах имеют тенденцию коррелировать друг с другом (хотя недавняя работа нашей лаборатории показала, что можно обойти эту проблему, преобразовав стимулы в пространство характеристик, в котором допущение независимости справедливо Stansbury et al., 2013). Во-вторых, каждый объект или действие имеет множество потенциальных меток категорий, связанных во вложенной иерархической структуре. Например, Mercury Sable 1993 года можно также назвать универсалом , автомобилем , автомобилем и т. Д. Эти метки не являются независимыми и поэтому не должны декодироваться независимо. Одним из решений этой проблемы было бы декодирование только одной метки в иерархии, например категории базового уровня (Rosch et al., 1976), которой в этом примере, вероятно, будет car .Однако декодер категорий базового уровня будет игнорировать сигналы fMRI, относящиеся к подчиненным категориям (например, универсал или 1993 Mercury Sable ), которые могут нести дополнительную информацию о визуальной сцене. Кроме того, получение меток категорий базового уровня потребует обширного ручного присвоения меток несколькими наблюдателями. По этим причинам здесь мы решили использовать другой подход, в котором мы декодировали категории на многих разных уровнях иерархии одновременно.

Наш подход прямого декодирования, иерархическая логистическая регрессия (HLR), декодирует, какие категории объектов и действий присутствуют в естественных фильмах, фиксируя иерархические зависимости между ними. Логистическая регрессия — естественный выбор для моделирования системы с гауссовскими входными данными (например, жирным шрифтом) и двоичными выходными данными (такими как наличие или отсутствие определенной категории). Самый простой подход логистической регрессии — это построение отдельной модели для каждой категории. Однако этот подход неявно предполагает, что каждая категория независима от всех остальных.Это предположение явно неверно, когда категории связаны иерархически, и это может привести к бессмысленным результатам, таким как декодирование того, что сцена содержит автомобиль , но не автомобиль .

Мы решили эту проблему путем иерархического объединения нескольких моделей логистической регрессии. Модель HLR декодирует условную вероятность того, что каждая категория присутствует, при условии, что присутствуют ее гиперонимы (ее вышестоящие или родительские категории в иерархии). Эти условные вероятностные отношения могут быть представлены в виде графической модели (рисунок 1).Графическая модель показывает, например, что совокупная вероятность того, что сцена содержит категории автомобиль, автомобиль и универсал (с учетом вектора реакций мозга, R ), может быть разложена на произведение условных вероятности:

Таким образом, совместная вероятность того, что сцена содержит автомобили категории , автомобиль и универсал , равна произведению трех условных вероятностей (обратите внимание, что этот пример упрощен; в наших фактических данных автомобиль равен не категория верхнего уровня). Кроме того, предельная вероятность того, что на месте происшествия присутствует универсал категории , идентична этой совместной вероятности. Эта модель не рассматривает каждую категорию отдельно.Вместо этого предполагается, что каждая категория условно независима от других, учитывая ее гиперонимы. Эта структура налагает разумное ограничение на то, что вероятность того, что автомобиль находится на месте происшествия, никогда не превышает вероятность присутствия автомобиля на месте происшествия.

Чтобы оценить полную модель HLR, мы сначала оценили отдельную логистическую модель для каждой условной вероятности. Каждая логистическая модель предсказывает двоичное присутствие или отсутствие категории с учетом вектора воксельных ответов за несколько предыдущих временных точек, R .Условные вероятности моделировались путем ограничения набора данных, который использовался для оценки модели. Например, для оценки модели условной вероятности того, что автомобиль присутствует, учитывая, что присутствует автомобиль , мы использовали только моменты времени, когда присутствовал автомобиль (этот метод имеет побочное преимущество что делает оценку модели намного более эффективной, поскольку большинство условных моделей оцениваются с использованием небольших подмножеств полного набора данных).Логистические модели имеют отдельный вес для каждого из включенных вокселей в каждый момент времени. Чтобы учесть гемодинамическое отставание, также были включены ответы из нескольких временных точек (4, 6 и 8 с после декодирования стимула).

Чтобы определить наличие категории с помощью моделей HLR, мы умножили условные вероятности. Например, чтобы декодировать вероятность того, что автомобиль присутствовал в какой-то момент времени, мы сначала извлекли соответствующие воксельные ответы, а затем использовали условную логистическую модель для оценки вероятности того, что автомобиль присутствовал, учитывая, что автомобиль присутствовал. , а затем использовали другую условную логистическую модель для оценки вероятности присутствия автомобиля .Наконец, мы умножили эти вероятности вместе, чтобы найти совместную вероятность того, что автомобиль и автомобиль присутствовали, учитывая ответы вокселей. Из этой формулировки ясно, что вероятность того, что присутствует моторное транспортное средство , никогда не может превышать совокупную вероятность того, что моторное транспортное средство и автомобиль присутствуют, таким образом, соблюдая иерархические отношения между этими категориями.

Мы применили структуру моделирования HLR к ЖИРНЫМ ответам фМРТ, записанным от семи субъектов (рис. 2).Сначала были записаны ответы фМРТ, когда испытуемые смотрели 2 часа естественных фильмов. Семантическая таксономия WordNet (Miller, 1995) использовалась для обозначения основных категорий объектов и действий в каждом секундном сегменте фильмов. Используя 2 часа данных оценки модели, мы затем выбрали 5000 вокселей в коре головного мозга каждого субъекта, которые имели наиболее надежные ответы, связанные с категорией (подробности см. В разделе «Методы»). Метки категорий и ответы жирным шрифтом для 5000 выбранных вокселей были затем использованы для оценки отдельной модели HLR для каждого субъекта.Чтобы протестировать модели HLR, мы записали ЖЕЛТЫЕ ответы одних и тех же испытуемых, пока они смотрели дополнительные 9 минут новых естественных фильмов, которые не использовались для оценки модели. Фильмы о проверке модели были повторены десять раз, и ответы были усреднены по повторам, чтобы уменьшить шум. Наконец, мы использовали модель HLR для каждого субъекта, чтобы расшифровать, какие категории присутствовали в проверочных фильмах.

Рисунок 2. Схема эксперимента . Эксперимент состоял из двух этапов: оценка модели и проверка модели .На этапе оценки модели семи испытуемым были показаны 2 часа естественных фильмов, в то время как ЖИРНЫЕ ответы были записаны с помощью фМРТ. Категории значимых объектов и действий были помечены в каждом сегменте продолжительностью 1 с. Затем были оценены модели прямого декодирования, которые оптимально предсказали метки на основе линейных комбинаций воксельных ответов. На этапе проверки модели тем же семи испытуемым были показаны 9 минут новых естественных стимулов из фильма, которые не были включены в набор оценочных стимулов.Эти фильмы были повторены десять раз, и ответы были усреднены для уменьшения шума. Затем предварительно оцененные модели использовались для декодирования категорий, присутствующих в фильмах. Для оценки производительности модели декодированные вероятности категорий сравнивались с фактическими метками категорий в отдельном наборе проверки, зарезервированном для этой цели.

Материалы и методы

Субъекты

Функциональные данные были собраны у семи человек. Все субъекты не имели неврологических расстройств и имели нормальное или скорректированное до нормального зрение.Протокол эксперимента был одобрен Комитетом по защите людей в Калифорнийском университете в Беркли. Письменное информированное согласие было получено от всех субъектов. Данные для пяти субъектов, использованных здесь, были такими же, как и данные, использованные в предыдущей публикации (Huth et al., 2012).

Экспериментальный проект

Стимулы для этого эксперимента состояли из 129 минут естественных фильмов, взятых из трейлеров к фильмам и других источников. Эти стимулы идентичны тем, которые использовались в более ранних экспериментах нашей лаборатории (Nishimoto et al., 2011; Huth et al., 2012). WordNet использовался для обозначения значимых объектов и действий в каждом сегменте, равном 1 секунде, в этих фильмах (Huth et al., 2012). В результате получено 1364 уникальных метки. После добавления гиперинных ярлыков общее количество категорий составило 1705.

Сбор и предварительная обработка данных МРТ