Зрение для получения прав, с каким зрением допускается вождение автомобиля
Водитель должен реагировать на изменение ситуации на дороге в течение одной секунды. Оперативную реакцию обеспечивает хорошее зрение. Если с ним есть проблемы, тогда водитель должен использовать корректирующие средства — очки или контактные линзы. Они регулируют остроту зрения, но не всегда обеспечивают успешное прохождение медосмотра.
Какие ограничения по зрению могут помешать получить водительское удостоверение, а какие не являются помехой для управления автомобилем, расскажем в этом материале.
С каким зрением можно водить машину
Мы уже рассказывали, что положительное заключение от офтальмолога обязательно для получения ВУ. Врач проверяет остроту зрения и здоровье глаз.
Человек с не очень хорошим зрением может получить водительские права. Офтальмолог смотрит, как он видит в линзах или очках.
Если водитель с нарушениями зрения не проходит проверку в своих очках, специалист назначает ему более сильную оптику для вождения.
Безопасная для управления автомобилем острота зрения — 0,6 единиц на одном глазу и 0,2 единицы на другом.
Также читайте: Как пройти медкомиссию при получении водительских прав
Дальтонизм
Цветовосприятие водителя — важный фактор, влияющий на решение медкомиссии о допуске его к вождению. Раньше с диагнозом дальтонизм водительское удостоверение выдавали, однако позднее этот фактор стал ограничением, с которым нельзя получать права. На дальтонизм проверяют по таблице Рабкина:
Нераспознавание цветов на таблице означает, что человек болен дальтонизмом. При таком диагнозе водительское удостоверение не выдается. Считается, что водитель с дальтонизмом может неправильно отреагировать на сигналы светофора.
Узкий кругозор
Сужение кругозора — это невозможность охватывать взглядом по меньшей мере двадцать градусов. Этот диагноз зачастую возникает при катаракте и глаукоме. Выявление такой проблемы является поводом к отказу в выдаче водительского удостоверения. Если кругозор остается нормальным, тогда такие заболевания не помешают получить права.
Также читайте: Где и как получить водительское удостоверение
С какими еще ограничениями нельзя садиться за руль
К прочим ограничениям, с которыми водительские права не выдают, можно отнести патологии:
- слезного мешка;
- зрительного нерва;
- изменения слизистых;
- изменения мышц века;
- диплопия
Если вы задумываетесь о получении прав, выделите время и пройдите обследование у хороших врачей. Проблемы со здоровьем в большинстве случаев можно решить. Займитесь этим заранее, чтобы патологии не помешали вам получить водительское удостоверение. Также начните как можно раньше отрабатывать свои навыки за рулем. Это добавит вам уверенности и поможет успешно сдать экзамен в автошколе.
В качестве первого автомобиля лучше приобрести подержанный автомобиль. Как купить б/у машину и чего стоит опасаться, вы узнаете из статей, размещенных в разделе «Покупка подержанного автомобиля».
Если вы профессиональный продавец авто, воспользуйтесь сервисом безлимитных проверок авто «Автокод Профи». «Автокод Профи» позволяет оперативно проверять большое количество машин, добавлять комментарии к отчетам, создавать свои списки ликвидных ТС, быстро сравнивать варианты и хранить данные об автомобилях в упорядоченном виде.
Когда вы найдете подходящий вариант и решитесь на покупку, перед заключением договора купли-продажи проверьте владельца авто через специальный сервис. Проверка покажет, есть ли у продавца проблемы с законом, действителен ли его паспорт, имеются ли долги и исполнительные производства. Если обнаружатся серьезные проблемы, от сделки лучше отказаться. Посмотреть пример отчета
Также читайте: Противопоказания к вождению автомобиля
Расшифровка всех категорий на водительских правах 2018
В последние годы правительство значительно расширило список категорий в правах водителя, которые позволяют садиться за руль разного транспорта. Кроме того, существуют ещё и подкатегории. Водителям, давно получившим права, легко запутаться в таком разнообразии, что может привести к крупному штрафу за езду на машине без открытой категории.
Что у вас в правах?
Не так давно появилось документ водителя нового образца, оно стало меньше по размеру и удобнее. На лицевой стороне размещен цветной снимок, автомобилисты, носящие очки, должны обязательно фотографироваться в них. Также там находятся сведения о водителе, такая как: Ф.И.О, дата и место рождения, когда и кем выданы права, а также номер. Внизу перечислены открытые водителем категории, но более подробная информация по ним расположена на обратной стороне документа.
Какие бывают категории?
На обратной стороне прав есть табличка, где отмечены все доступные автомобилисту категории транспорта. Самая первая категория – это «А». Она позволяет садиться за руль мотоцикла с коляской или без него. Мотоцикл не должен превышать вес в 400 кг и может иметь два, три или четыре колеса.
Далее идёт самая популярная категория – «В», она даёт право водить легковушки весом до 3,5 тонн, в салоне которых убирается не больше 8 человек. С этой категорией можно таскать прицепы с грузоподъёмностью не больше 750 кг. Если нужно увести в прицепе больший груз, то придётся открывать дополнительную категорию – «Ве». Также есть категория «В1» – она позволяет водить квадрициклы и трициклы с движком не более 50 см3. Получить все эти категории можно, начиная с совершеннолетия.
Тяжёлая техника
Следующая категория «С» разрешает садиться за баранку машин, масса которых может превышать 7,5 тонны, чаще всего это большие грузовики. Обычная категория разрешает возить небольшой прицеп грузоподъёмностью 750 кг, для более солидных прицепов нужна категория «Се». Также существуют подкатегории «С1» и «С1е» – они отличаются тем, что позволяют управлять только более «лёгкими» грузовиками, вес которых не превышает 7,5 тонн. Получить такие права можно по достижении 18 лет.
Чтобы стать водителем автобуса, нужно открыть категорию «D» – она разрешит водить машины, в которых установлено больше 16 посадочных мест. При необходимости перевозки большого прицепа придётся открывать ещё и категорию «De». Для тех, кто собирается ездить на небольшом автобусе, создана категория «D1» и «D1е». Они позволяют управлять машинами с количеством посадочных мест от 8 до 16, а также с прицепом до 750 кг. Открыть эти категории можно всем, кто старше 21 года.
В том случае, если вы решите попробовать себя в профессии водителя трамвая или троллейбуса, то вам придётся сдавать на категории «Тв» и «Тм». Так же, как и с автобусом, сделать это могут только те, кто уже достиг возраста в 21 год.
Еще одна возможность водить?
Чтобы получить право управлять более серьёзной техникой, чем легковой автомобиль, придётся заново учиться в автошколе и опять сдавать все экзамены. Такая необходимость может возникнуть не только, когда водитель решил устроиться на работу водителем грузовика или автобуса. Есть и те, кто покупает большие машины в личное пользование, например, полноприводный грузовик «Садко» берут, чтобы ездить на охоту. Придётся переучиваться, чтобы получить права на мотоцикл, даже если у вас уже есть категория «В» в удостоверении. Также стоит учитывать, что нельзя сразу открыть подкатегорию «е», которая позволяет водить машину с большим прицепом, перед этим нужно несколько лет отъездить в основной категории.
Фото с интернет-ресурсов
Таблица категорий водительских прав с расшифоровкой
Ритм современной жизни оставляет людям не так много свободного времени. Именно поэтому с каждым годом все больше жителей мегаполисов отказываются от общественного транспорта в пользу собственного автомобиля.Категории водительских прав в 2021 году
Согласно требованиям действующего законодательства, для получения водительского удостоверения необходимо пройти обучение в специализированном учебном заведении – автошколе, а также успешно сдать экзамен в ГИБДД. Данный документ позволят управлять транспортным средством соответствующей категории на законных основаниях.
Полный перечень подкатегорий и категорий прав водительских удостоверений с расшифровками собран в статье 25 Федерального закона «О безопасности дорожного движения», на данный момент есть следующеи категории вождения:
Категория и подкатегория | Тип транспортного средства | Возрастное ограничение |
А | Мотоциклы | 18 |
А1 | Легкие мотоциклы с мощностью двигателя от 50 до 125 см3 и максимальной мощностью до 11 кВт | 16 |
М | Мопеды, скутеры и квадроциклы объемом до 50 см3 | 16 |
В | Автомобили, максимальная масса которых не превышает 3,5 тонны, а количество мест, помимо сиденья водителя, не превышает восьми | 18 |
В1 | Трициклы и квадрициклы | 17 |
ВЕ | Автомобили категории «В» с прицепом, масса которого от 750 до 3500 кг | Один год стажа категории «В |
С | Автомобили массой более 3,5 т | 18 |
С1 | Автомобили максимальной массой от 3,5 тонн до 7,5 т | 18 |
СЕ | Автомобили категории «С» с прицепом, разрешенная максимальная масса которого превышает 750 кг | Один год стажа категории «С» |
С1Е | Автомобили категории «С1» с прицепом, масса которого выше 750 кг, при общей массе подвижного состава не более 12 т | Один год стажа категории «С» или «С1» |
D | Транспортные средства для перевозки пассажиров, которые имеют более 8 сидячих мест, помимо сидения водителя | 21 |
D1 | Транспортные средства с количеством сидячих мест от 8 до 16, помимо сидения водителя | 21 |
DE | Транспортные средства категории «D» с прицепом, разрешенная масса которого выше 750 кг, а также сочлененные автобусы и дуобусы | Один год стажа категории «D» |
D1E | Транспортные средства подкатегории «D1E» с грузовым прицепом, масса которого выше 750 кг, при общей массе подвижного состава не более 12 т | Один год стажа категории «D» или «D1» |
Tm | Трамваи | 21 |
Tb | Троллейбусы | 21 |
Выбор автошколы для обучения
Выбор подходящего учебного заведения требует серьезного подхода. Именно в автошколе студенты получают необходимые знания о правилах дорожного движения и корректного поведения на дороге, а также осваивают практические навыки вождения, которые не просто позволят уверенно чувствовать себя за рулем, а станут залогом безопасности и сохранения здоровья.
К главным признакам надежной автошколы относят:
- Наличие действующей лицензии – документ выдает Федеральная служба по надзору в сфере образования и науки. Он подтверждает соответствие учебных программ и материально-технической базы требованиям действующего законодательства.
- Технически исправный автопарк – по количеству и внешнему виду автомобилей можно сделать вывод о текущем положении дел в учебном заведении. В хорошей автошколе всегда имеется большой выбор автомобилей с механическими и автоматическими коробками передач, что позволяет подобрать модель, исходя из потребностей студентов.
- Собственный автодром – поможет быстро освоить навыки, необходимые для успешной сдачи практического экзамена в ГИБДД. При этом студентам гарантированно не придется стоять в очереди для отработки упражнений.
- Разветвленную сеть филиалов – никому не хочется тратить время на поездки в автошколу. Желательно, чтобы автошкола находилась поблизости от места учебы или работы. Также необходимо уточнить месторасположение автодромов для отработки практических навыков.
- Квалифицированный персонал – многие учебные заведения страдают из-за недостатка подготовленных специалистов. Поэтому перед поступлением следует поинтересоваться опытом, квалификацией и послужным списком преподавателей и инструкторов.
- Положительную репутацию – отзывы бывших студентов лучше других слов скажут о качестве обучения. Чтобы получить достоверные сведения, необходимо использовать одновременно несколько источников информации.
Заключение договора — важный этап
Для каждой категории водительского удостоверения существуют определенные возрастные ограничения, которые указаны в соответствующем столбце таблицы, расположенной выше. Кроме того, потенциальный студент должен подтвердить отсутствие медицинских противопоказаний путем предоставления справки установленного образца с необходимыми отметками. Для заключения договора с автошколой потребуются следующие документы:
- Паспорт гражданина ;
- Две фотографии размера 3*4;
- Медицинская справка установленного образца.
Стоит заметить, что граждане иностранных государств тоже имеют право на обучения. Для этого необходимо предоставить нотариально заверенный перевод паспорта, а также документ, подтверждающий наличие регистрации на территории России. Перед подписанием договора необходимо внимательно ознакомится с его положениями. Особое внимание следует уделить условиям сдачи экзаменов в автошколе и ГИБДД, а также последствиям провала. В договоре должна быть прописана общая стоимость обучения за курс теории и практические занятия – недобросовестные учебные заведения часто пытаются навязать студентам дополнительные платежи путем использования расплывчатых формулировок.
Обучение
Процесс обучения в автошколе можно условно разделить на две части: теоретическую подготовку и практические занятия. Теорию изучают в специально оборудованных помещениях по программам, одобренным профильными министерствами. На лекциях студенты изучат основы управления транспортными средствами, ознакомятся с положениями действующих нормативных документов, а также узнают правила оказания первой медицинской помощи.
На начальной стадии практические занятия проходят на специализированных автодромах. Здесь студенты осваивают базовые навыки управления автомобилем. На второй стадии будущим водителям потребуется продемонстрировать полученные знания в процессе движения в условиях городского цикла.
Экзамены
Перед получением водительского удостоверения студенту потребуется сдать два экзамена: Внутренний экзамен в автошколе – состоит из проверки теоретических знаний и практических навыков. Уровень подготовки оценивает руководитель автошколы. После успешного выполнения заданий студент получает свидетельство об окончании автошколы, которое является пропуском на экзамен в ГИБДД.
Экзамен в ГИБДД – данная процедура практически идентична проверке знаний и навыков в автошколе. Сначала кандидату в водители необходимо пройти тест на знание теории, а затем продемонстрировать практические навыки на автодроме.
Почему стоит записаться в Свердловскую автошколу
Если вы решили пройти обучение для получения водительского удостоверения, обращайтесь в Свердловскую автошколу. Опытные преподаватели и грамотные инструктора помогут получить необходимые знания и навыки, независимо от уровня начальной подготовки. Наши студенты получают всестороннюю поддержку на каждом этапе обучения, вплоть до сдачи экзамена в ГИБДД.
Практические навыки отрабатываются на современных автомобилях зарубежного производства, возраст которых не превышает трех лет. Сеть филиалов позволяет выбрать удобное место обучения. Чтобы получить больше информации об автошколе, звоните на общий номер 8 (343) 288-54-24 с 10:00 до 18:00 — мы ответим на ваши вопросы!
О категориях водительских прав с расшифровкой
Новый образец водительского удостоверения действует на территории РФ с апреля 2016 года. Оно содержит целый ряд обозначений, которые не всегда понятны водителю, в их число входит и обозначение категорий транспортных средств, управление которыми разрешено данными правами. Расшифровка категорий водительского удостоверения нового образца позволяет определить, на какие типы транспортных средств распространяется действие прав.
Категории водительских прав с расшифровкой
Категория «А» позволяет водителю получить допуск на управление мотоциклами, включает категорию «А1», которая дает допуск на управление легкими мотоциклами с мощностью двигателя в диапазоне от 50 до 125 куб.см, допускается наличие прицепа. Максимальная мощность двигателя такого мотоцикла должна составлять не более 11 кВт. Категория присваивается автоматически при наличии категории «А».
Категория «В» позволяет водителю получить допуск на управление автотранспортным средством, масса которого не более 3,5 тонн, а количество мест для пассажиров — 8 сидений (включая подходящие под это определение микроавтобусы). Включает категорию «В1», позволяющую осуществлять управление квадрициклами и трициклами, а также категорию «ВЕ», которая позволяет осуществлять управление автомобилем категории B, оснащенным прицепом (максимальная масса прицепа 750 кг).
Категория «С» позволяет водителю получить допуск на управление автотранспортным средством, масса которого превышает 3,5 тонны, включая прицеп (масса до 750 кг). Включает категорию «С1», которая позволяет управлять транспортным средством массой от 3,5 тонн до 7,5 тонн, категорию «СЕ», в которую включено управление транспортным средством категории «С» с прицепом массой в диапазоне от 750 кг до 3,5 тонн, категорию «С1Е», которая позволяет управлять автомобилями категории «С1» с прицепом массой более 750 кг (общая масса транспортного средства не должна превышать 12 тонн).
Категория «D» позволяет водителю получить допуск на управление автотранспортным средством c количеством мест для пассажиров не более 8, в том числе, транспортных средств с прицепом массой до 750 кг. Включает категорию «D1» для автомобилей с количеством пассажирских мест в диапазоне от 8 до 16, категорию «DE», которая включает управление автомобилем категории «D» с прицепом массой более 750 кг (общая масса транспортного средства не должна превышать 12 тонн).
Категория «М» позволяет осуществлять управление мопедами, скутерами и квадрициклами с двигателем объемом до 50 кубических сантиметров.
Категория «Tm» позволяет осуществлять управление трамваями, категория «Tb» — троллейбусами.
Расшифровка водительских категорий позволяет определить, на какую категорию водитель собирается проходить обучение и сдавать билеты , исходя из планов по эксплуатации транспортного средства.
Кроме новых подкатегорий в водительском удостоверении часто можно встретить особые отметки, например AS. Что означают эти отметки — читайте в статье здесь https://roadadvice.club/3755-osobye-otmetki-v-voditelskom-udostoverenii-rasshifrovka-otmetok-v-pravah
О новых категориях и подкатегориях прав смотрите сюжет:
Мы готовы ответить на возникшие вопросы — спрашивайте в комментариях
расшифровка новых категорий, таблица, описание
Водительское удостоверение заключает в себе важную информацию о своем владельце, включая данные о том, какими категориями транспортных средств он может управлять согласно этому документу. Категорию можно определить как классификацию ТС в соответствии с его габаритными параметрами и эксплуатационной характеристикой. Классификация также зависит от общей массы транспорта и уровня мощности его силовой установки.
Сейчас для всех субъектов Российской Федерации действует единая категорийная классификация водительских удостоверений, в которой категории водительских прав обозначаются заглавными латинскими буквами латинского A, B, C, D, M. У них есть подкатегории, когда к основной букве добавляется цифра 1.
Подкатегории водительских прав необходимы для выделения из автомобилей одного типа транспортных средств в облегченном варианте, обладающих меньшей грузоподъемностью и мощностью двигателя. А также чтобы выделит те, водить которые можно при малом стаже подготовки. Эта информация будет особенно полезна тем, кто ранее совсем не имел прав и только собирается приобрести свое первое средство передвижения.
Новые категории и подкатегории водительских прав более детально отражают градацию транспортных средств согласно массе, мощности и вместимости. Были введены дополнительные требования к стажу и возрасту водящего для каждой отдельной категории (подкатегории). Принцип открытия новой категории сходен со схемой получения водительского удостоверения в первый раз.
Получение каждой новой категории водительских правах требует отдельного курса обучения. Однако некоторые подкатегории могут быть открыты автоматически. Например, категория М, подразумевает, что таким ТС разрешено управлять водителю с любым удостоверением.
Категории водительских прав, действующие в текущем году
Многие задают вопросы: «Сколько категорий водительских прав?», «Какие есть категории водительских прав?», «Существующие категории водительских прав или какие категории водительских прав существуют?», «Что означают категории в водительском удостоверении?». Ответим на эти вопросы!
Таблица категорий водительских прав соответствия возрасту и водительскому стажу.
Категория и подкатегория | Тип транспортного средства | Условия открытия |
A | Мотоциклы | По достижению 18 лет |
A1 | Легкие мотоциклы | По достижению 16 лет |
B | Легковые автомобили, небольшие грузовики (до 3,5 тонн) | По достижению 18 лет |
BE | Легковые автомобили с прицепом | При наличии стажа управления категориями «D», «C», «D» не менее 12 месяцев. |
B1 | Трициклы | По достижению 18 лет |
C | Грузовые автомобили (от 3,5 тонн) | По достижению 18 лет |
CE | Грузовые автомобили с прицепом | При наличии стажа управления категориями «В», «С», «D» не менее 12 месяцев. |
C1 | Средние грузовики (от 3,5 до 7,5 тонн) | По достижению 18 лет |
C1E | Средние грузовики с прицепом | При наличии стажа управления категориями «C», «D» или «C1», «D1» не менее 12 месяцев. |
D | Автобусы | По достижению 21 года |
DE | Автобусы с прицепом | При наличии стажа управления категориями «B», «C», «D» не менее 12 месяцев. |
D1 | Небольшие автобусы | По достижению 21 года |
D1E | Небольшие автобусы с прицепом | При наличии стажа управления категориями «C», «D» или «C1», «D1» не менее 12 месяцев. |
M | Мопеды | По достижению 16 года |
Tm | Трамваи | По достижению 21 года |
Tb | Троллейбусы | По достижению 21 года |
Все категории водительских прав в таблице подробно расшифрованы ниже.
Расшифровка категорий и подкатегорий водительских прав нового образца
Описание категорий водительских прав:
- Категория A. Дает право на управление мотоциклами, имеющими боковые прицепы или же без таковых. Комплектная масса ТС не превышает 400 кг. Допускаются двухколесные, трехколесные и четырехколесные базы.
- Категория B. Позволяет управлять авто, масса которого не должна быть более 3500 кг. В салоне, согласно правилам, не может находиться более восьми человек. Также, данный документ дает возможность управления авто с прицепом. Снаряженная масса прицепа не должна быть больше 750 кг. Если этот параметр превышен, то итоговая масса «авто + прицеп» не может превышать допустимый вес автомобиля без нагрузки.
*Пункт 1.1 главы 1 ПДД определяет прицеп как ТС, у которого нет собственного двигателя, и оно предназначается для движения в составе с авто/мотоциклом. Этим же термином можно писать полуприцепы и прицепы-роспуски.
- Категория C. Гарантирует право вождения авто при его массе более 3,5 тонн, с прицепом, вес которого не должен быть больше 750 кг. Важно: водители с открытой категорией С не имеют права управления транспортом, относящимися к категории D.
- Категория D. Дает доступ к управлению ТС с целью пассажирских перевозок, и при количестве мест больше восьми. К такому автобусу можно дополнительно присоединить прицеп с общей массой 750 кг.
- Категория M. Нужна для управления квадроциклами и мопедами. Чтобы получить такие права – нужно всего лишь иметь открытой любую другую категорию.
- Категория Tm и Tb. Предназначаются для управления городским электротранспортом. Эти две категории были введены в обиход не так давно. Раньше в правах просто проставлялась специальная отметка.
- Категория BE. Относится к дополнительным категориям, дает право управления ТС категории B с прицепами, масса которых более 750 кг.
- Категория CE. Схожа с BE, только в данном случае разрешено управлять транспортными средствами категории С. Прицеп может весить от 750 кг до 3,5 тонн.
- Категория DE. Для управления автобусами, где пассажирских мест более, чем восемь. Кроме того, к ТС может быть присоединен прицеп с массой от 750 кг до 3,5 тонн.
Выше мы подробно описали расшифровку категорий водительского удостоверения. Кроме основных категорий были разработаны и внедрены и дополнительные: большинство из них открывается автоматически.
- Категория A1. Нужна при управлении мотоциклами с объемом двигателя от 20 до 125 см.куб. Например, для скутеров.
- Категория B1. Разрешает вождение ТС с порожней массой не больше 550 кг. А максимальная скорость движения должна быть зафиксирована на отметке 50км/ч. Силовой агрегат, установленный на таком транспорте, не должен по объему превышать 50 см.куб. Используются при необходимости управления квадрициклами и трициклами.
*Порожняя масса (ГОСТу Р 41.73-99) – это масса снаряженного ТС, когда в нем нет пассажиров и водителя, а также грузе. Но при этом авто полностью заправлено: топливо, охлаждающая жидкость, смазочные материалы, есть инструмент и запаска (при условии, что она поставляется заводом-изготовителем данного ТС и является комплектным оборудованием).
Важно: для управления квадроциклами и квадрициклами требуются различные категории! Для первого случая нужна только категория M.
- Категория C1. Дает право управления авто при его массе от 3,5 до 7,5 тонн. При этом его разрешено оснащать прицепом с массой до 750 кг. Данное удостоверение не позволяет водить автомобили, по техническим характеристикам относящиеся к категории D.
- Категория C1E. Для управления транспортом с весом от 3,5 до 7, 5 тонн, с присоединенным прицепом с массой более 750 кг. Но общий комплектный вес авто и прицепа не может превышать 12 тонн.
- Категория D1. Нужна при вождении ТС, вмещающих до 16 пассажиров. И эксплуатировать такие авто при наличии прицепа весом до 750 кг.
- Категория D1E. Все то же самое, что и в D1, только масса прицепа может быть больше 750кг. При этом общий вес разрешен до 12 тонн. Важно: в прицепе ни в коем случае не разрешено транспортировать пассажиров.
Водительские права нового образца
Водительские права нового образца.Фото водительских прав нового образца
Лицевая сторона.
Обратная сторона.
Как открыть новые категории водительских прав
Для получения любой (не считая тех, что могут быть открыты автоматически) категории из представленных выше списков – нужно пройти предварительное обучение, после чего сдать экзамен по практике вождения.
Чаще всего водители сталкиваются с необходимостью открытия категории B, при уже открытой категорией C. Или, например, категорию A, при том, что категория B уже открыта. Весь процесс начинается с изучения теоретической части, а на практическом экзамене водителю нужно будет пройти тестовые задания, состоящие из разных упражнений. На последнем этапе знания демонстрируются во время городской езды. Курс обучения зависит от квалификации самого водителя, уровня автошколы и сложности желаемой категории.
Если кандидат провалил теоретическую часть, то повторно ее можно будет пересдать не ранее, чем через неделю. Если Госавтоинспекция посчитала нужным отказать в экзаменационном допуске – соискателю сообщают об этом письменно, с указанием причин отказа. Водитель может обжаловать решение об отказе и сами результаты экзамена тоже.
Открыть новую категорию не так просто, есть установленные временные ограничения. Для получения категории E у автолюбителя в эксплуатации не менее 12 месяцев должно находиться ТС по характеристикам попадающее под C, D или B. Чтобы иметь возможность получить DE, нужно год отъездить с D.
Есть особая категория прав, предполагающая управление ТС с автоматической коробкой передач, и что бы сменить автомобиль на тот, где коробка механическая, нужно предварительно сдавать практическую часть обучения.
Каким образом открыть новую категорию водительских иногородним
Многие россияне имеют прописку в пределах одного города, а открыть новую категорию водительских прав желают в другом. Практически везде автошколы предоставляют подобную возможность, но при этом необходимый пакет документов несколько отличается от стандартного.
Иногородние в обязательном порядке должны предоставить:
- Внутренний паспорт гражданина России. Если он находится на переоформлении, то предоставляются данные старого документа.
- Медицинскую справку. Желательно, чтобы это были выписки, полученные из аккредитованного медучреждения (по прописке).
- Справка о подтверждении местной регистрации.
- Справка из ГБДД по месту прописки, подтверждающая, что данного человека не лишали прав за нарушения.
Важно: российские категории водительского удостоверения действительны не только на территории нашей страны, но и могут быть использованы на территории тех стран, что входят в Венскую Конвенцию от 8.11.1968г. Согласно этой Конвенции, пункт 1, статья 41 все страны, подписавшие ее, признают национальные удостоверения других участвующих стран. Во всех остальных странах котируются только права международного образца.
По сути, категория водительского удостоверения необходима для получения возможности эксплуатации транспортного средства, которое отвечает требованиям и характеристикам каждой из них.
Если автовладелец будет остановлен инспектором ГИБДД с правами несоответствующего типа, то это будет расценено как грубейшее нарушение ПДД. Водитель понесет ответственность и будет обязан уплатить штраф, а само авто будет отбуксировано на штрафную стоянку. Нужно заметить, что сумма штрафа отнюдь не маленькая. Чтобы избежать такого наказания, владелец ТС обязан при смене одного авто на другое, теххарактеристики которых существенно различны, открыть новую категорию.
A1 | Mопеды, мотороллеры и другие двухколёсные транспортные средства, которые имеют двигатель с рабочим объемом до 50 куб.см или электродвигатель мощностью до 4 квт | C 16-ти летнего возраста | |
A | Мотоциклы и другие двухколёсные транспортные средства, мотоциклы с боковым прицепом, которые имеют двигатель с рабочим объемом 50 куб. см и более, или электродвигатель мощностью 4 квт и более | C 16-ти летнего возраста | |
B1 | Квадро- и трициклы, мотоколяски и другие трёхколёсные (четырёхколёсные) мототранспортные средства, разрешённая максимальная масса которых не превышает 400 килограммов | С 18-ти летнего возраста | |
B |
|
Автомобили, разрешённая максимальная масса которых не превышает 3500 кг (7700 фунтов), а количество сидячих мест, помимо сиденья водителя — восьми | С 18-ти летнего возраста |
C1 | Предназначенные для перевозки грузов автомобили, разрешённая максимальная масса которых составляет от 3500 до 7500 килограммов (от 7700 до 16500 фунтов) | С 18-ти летнего возраста | |
C | Предназначенные для перевозки грузов автомобили, разрешённая максимальная масса которых превышает 7500 килограммов (16500 фунтов) | С 18-ти летнего возраста | |
D1 | Предназначенные для перевозки пассажиров автобусы, в которых количество мест для сидения, помимо сиденья водителя, не превышает 16 | С 21-го летнего возраста | |
D | Предназначенные для перевозки пассажиров автобусы, в которых количество мест для сидения, помимо сиденья водителя, более 16 | С 21-го летнего возраста | |
BE | Состав транспортных средств с тягачом категории В, С1 или С которым водитель имеет право управлять, но который не принадлежит к указанным категориям составов транспортных средств | С 19-ти летнего возраста | |
C1E | Автомобиль, подкатегории С1, сцепленный с прицепом. | С 19-ти летнего возраста | |
CE | Автомобиль, категории С, сцепленный с прицепом. |
С 19-ти летнего возраста |
|
D1E | Автомобиль, подкатегории D1, сцепленный с прицепом. | С 21-го летнего возраста | |
DE | Автомобиль, категории D, сцепленный с прицепом. | С 21-го летнего возраста |
Категории водительских прав: подробная расшифровка
Приветствую всех читателей блога Андрея Кульпанова! С относительно недавних времен водительское удостоверение претерпело ряд изменений, и это касается не только внешнего вида. Появились новые подкатегории, а также изменилась классификация транспортных средств. Это вполне справедливо, если учесть, сколько новых типов самоходных механизмов начали поступать в нашу страну уже с 90‑х годов. Хочу рассмотреть сегодня категории водительских прав, а также их характеристику.
Рассматриваем основные категории
Более наглядное восприятие нового образца водительского удостоверения и существующих категорий продемонстрирует следующая таблица:
Более подробное описание
Обозначение некоторых новых подкатегорий требует более подробной расшифровки. Скажем, если у водителя уже открыта категория «А», то автоматически появляется право управления другими мотоциклами из «А1». Одной из самых популярных считается категория «В», которую открывает практически каждый автолюбитель. Относятся к ней самоходные средства с массой не более 3,5 тонн, а также числом мест для сидения не более 8 (место водителя не учитывается, при этом). Что это — мы разобрались. Но с такой возможностью приобретается и право управления небольшими микроавтобусами, джипами, мотоколясками и другими транспортными средствами.
По аналогии действует категория «С», предназначенная для водителей грузового транспорта. Она предполагает право управления и автомобилями из классификации С1. Какие это грузовики, мы уже разбирали в таблице. Более интересно обстоит дело с категорией Е, которая раньше была предназначена для грузовых машин с прицепом. Если она была открыта до 2001 года, то можно поменять права на документ нового формата. Что означает такая возможность? Если были открыты также категории В, С, то в новых правах автоматически появятся новые категории «ВЕ», «СЕ», В, С и т.д.
Другие нюансы и особенности водительского удостоверения
Теперь поговорим о других моментах и правах водителя. Раньше всего можно сдавать экзамены и открывать категории М и А1, а именно при достижении 16-летнего возраста. В этом же возрасте можно начинать ездить на мопедах и легких мотоциклах. Начинать обучение на В или С можно с 17 летнего возраста, однако документ будет выдан на руки лишь после того, как обучающийся достигнет совершеннолетия.
Для тех, кто видит себя водителем автобуса, трамвая, троллейбуса, придется подождать 21 года. Именно в этом возрасте можно начинать обучения на категории D, Tm, Tb. А чтобы открыть подкатегории с литерой Е, необходимо иметь водительский стаж не меньше 1 года.
Все права и обязанности распространяются на указанные типы транспортных средств, независимо от типа их трансмиссии. То есть, это означает, что Вы можете садить за руль без привязки к тому, механика или автомат установлены на конкретном транспортном средстве. Но это касается тех случаев, когда обучение проводилось на механической КПП. А если водитель обучался и сдавал практический экзамен на автоматической трансмиссии, то он получит в правах отметку АТ. Означать это будет то, что ему запрещено эксплуатировать транспортные средства с механической коробкой передач.
И еще пара интересных отметок, о которых мало кто знает. Проставляются они в графе 12. Литеры AS обозначают, что водитель имеет право управления транспортом, который предусматривает руль автомобильного типа и автомобильную посадку. Литеры MS, соответственно, сообщают, что посадка и рулевое управление должны быть мотоциклетного типа.
Одним словом, уважаемые читатели, в документах нового образца отображаются более расширенные сведения, а также все те изменения, которые коснулись классификации транспортных средств и права для управления ими. Теперь Вы знаете, что они означают, и как это поможет противодействовать сотрудникам ГИБДД и защитить себя от незаконных притеснений. На этом буду заканчивать текущее обсуждение. Всем удачи и до встречи!
С уважением, автор блога Андрей Кульпанов
Место для контестной рекламы
Автор:Admin
Страница не найдена
К сожалению, страница, которую вы искали на веб-сайте AAAI, не находится по URL-адресу, который вы щелкнули или ввели:
https://www. aaai.org/papers/aaai/2008/aaai08-193.pdf
Если указанный выше URL-адрес заканчивается на «.html», попробуйте заменить «.html:» на «.php» и посмотрите, решит ли это проблему.
Если вы ищете конкретную тему, попробуйте следующие ссылки или введите тему в поле поиска на этой странице:
- Выберите темы AI, чтобы узнать больше об искусственном интеллекте.
- Чтобы присоединиться или узнать больше о членстве в AAAI, выберите «Членство».
- Выберите «Публикации», чтобы узнать больше о AAAI Press и журналах AAAI.
- Для рефератов (а иногда и полного текста) технических документов по ИИ выберите Библиотека
- Выберите AI Magazine, чтобы узнать больше о флагманском издании AAAI.
- Чтобы узнать больше о конференциях и встречах AAAI, выберите Conferences
- Для ссылок на симпозиумы AAAI выберите «Симпозиумы».
- Для получения информации об организации AAAI, включая ее должностных лиц и сотрудников, выберите «Организация».
Помогите исправить страницу, которая вызывает проблему
Интернет-страница
, который направил вас сюда, должен быть обновлен, чтобы он больше не указывал на эту страницу. Вы поможете нам избавиться от старых ссылок? Напишите веб-мастеру ссылающейся страницы или воспользуйтесь его формой, чтобы сообщить о неработающих ссылках. Это может не помочь вам найти нужную страницу, но, по крайней мере, вы можете избавить других людей от неприятностей. Большинство поисковых систем и каталогов имеют простой способ сообщить о неработающих ссылках.
Если это кажется уместным, мы были бы признательны, если бы вы связались с веб-мастером AAAI, указав, как вы сюда попали (т. Е. URL-адрес страницы, которую вы искали, и URL-адрес ссылки, если таковой имеется). Спасибо!
Содержание сайта
К основным разделам этого сайта (и некоторым популярным страницам) можно перейти по ссылкам на этой странице. Если вы хотите узнать больше об искусственном интеллекте, вам следует посетить страницу AI Topics. Чтобы присоединиться или узнать больше о членстве в AAAI, выберите «Членство».Выберите «Публикации», чтобы узнать больше о AAAI Press, AI Magazine, и журналах AAAI. Чтобы получить доступ к цифровой библиотеке AAAI, содержащей более 10 000 технических статей по ИИ, выберите «Библиотека». Выберите Награды, чтобы узнать больше о программе наград и наград AAAI. Чтобы узнать больше о конференциях и встречах AAAI, выберите «Встречи». Для ссылок на программные документы, президентские обращения и внешние ресурсы ИИ выберите «Ресурсы». Для получения информации об организации AAAI, включая ее должностных лиц и сотрудников, выберите «О нас» (также «Организация»).Окно поиска, созданное Google, будет возвращать результаты, ограниченные сайтом AAAI.
Бунт на Капитолии: расшифровка экстремистских символов, групп во время восстания на Капитолийском холме
Флаги, знаки и символы расистских, сторонников превосходства белой расы и экстремистских групп были показаны вместе с баннерами Трампа 2020 и американскими флагами во время беспорядков в среду у Капитолия США.Фотографии рассказывают часть истории убеждений некоторых из тех, кто решил явиться в этот день — от страстных и мирных сторонников Трампа до экстремистов, которые продемонстрировали свою ненависть с помощью своих символов, а также своими действиями.
СВЯЗАННЫЕ: Аресты Капитолия США: Список обвинений для арестованных в хаосе округа Колумбия
Смешивание групп — одна из проблем, которая давно беспокоит экспертов, отслеживающих экстремизм и ненависть.
Подтверждение результатов выборов оказалось именно тем мероприятием, которое объединило различные группы и могло привести к распространению радикальных идей, говорят они. Первоначальное мероприятие, которое активно продвигалось и поощрялось президентом Трампом, дало всем этим группам возможность сплотиться.
«Это мероприятие было направлено против результатов свободных и справедливых демократических выборов и естественной смены власти», — сказал Марк Питкэвидж, историк и эксперт по экстремизму из Антидиффамационной лиги.
CNN поговорил с ним, чтобы определить символы и понять ужасающие послания тирании, превосходства белых, анархии, расизма, антисемитизма и ненависти, которые они изображают.
Петля и виселица
Хотя петля сама по себе часто используется как форма расового запугивания, Питкэвидж считает, что в этом контексте виселица должна была предполагать наказание за совершение государственной измены.«Это предполагает, что представители и сенаторы, которые голосуют за подтверждение результатов выборов, и, возможно, вице-президент Пенс, совершают государственную измену и должны быть преданы суду и повешены», — поясняет он.
Эта риторика об измене была замечена на досках объявлений правых за несколько дней до события.
Флаг «Три процента»
«Три процента» (также известные как «третьи проценты», «3 процента» или «тройки») являются частью движения ополченцев в Соединенных Штатах и являются антиправительственными экстремистами, согласно ADL.
Как и другие участники движения ополченцев, «Трехпроцентники» считают себя защитниками американского народа от правительственной тирании.
«Поскольку многие сторонники ополчения решительно поддерживают президента Трампа, в последние годы« Трехпроцентники »не так активно выступали против федерального правительства, направляя свой гнев на других предполагаемых врагов, включая левых / антифа, мусульман и иммигрантов», согласно ADL.
Название группы происходит от неточного утверждения о том, что только три процента жителей колоний вооружились и воевали против британцев во время Войны за независимость.
Флаг, показанный выше, является их логотипом на традиционном флаге Бетси Росс. Питкэвидж говорит, что правые группы (мейнстримные или экстремистские), считающие себя патриотами, иногда кооптируют первый флаг Америки.
Флаг «Освободить Кракена»
Флаг ссылается на комментарии бывшего адвоката Трампа Сидни Пауэлла о том, что она собиралась «освободить Кракена». Пауэлл ложно заявила, что у нее есть доказательства, которые разрушили бы идею о том, что Джо Байден выиграл президентский пост.
«Кракен», гигантское морское существо из скандинавского фольклора, превратилось в мем в кругах, которые считают, что выборы были украдены.Они говорят, что Kraken — это кладезь доказательств того, что мошенничество было широко распространено. В социальных сетях широко распространяются сообщения о заговоре QAnon и второстепенные сайты #ReleaseTheKraken наряду с ложными теориями мошенничества.
Гордые мальчики и знак ОК
Крайне правые использовали знак ОК как троллинговый жест, а для некоторых — как символ силы белых. ADL добавила этот символ в давнюю базу данных лозунгов и символов, используемых экстремистами.
«Они носят оранжевые кепки, чтобы идентифицировать друг друга; на прошлых митингах они носили опознавательные рубашки и другое снаряжение, но они отказались от этого для этого события после того, как их лидер был недавно арестован», — пояснил Питкэвидж.
The Proud Boys поддерживали президента Трампа и присутствовали на митингах «Stop The Steal» в Вашингтоне, округ Колумбия. Лидер Proud Boys Генри Таррио, которого зовет Энрике Таррио, был освобожден из-под стражи во вторник по обвинениям, связанным с якобы сожжением баннера Black Lives Matter, взятого из черной церкви в прошлом месяце во время протестов в городе после акции «Stop the Steal» «митинг в прошлом месяце. Местный судья приказал ему держаться подальше от округа Колумбия, пока он ожидает суда, в том числе во время протестов на этой неделе.
Флаги «Кекистан»
Зелено-бело-черный флаг был создан некоторыми членами онлайн-сообщества 4chan, чтобы представить выдуманную страну-шутку, названную в честь «Кека», вымышленного бога, которого они также создали. Он давно присутствует на митингах правых и крайне правых.
«Флаг Кекистана вызывает споры, потому что его дизайн частично заимствован из флага нацистской эпохи; очевидно, это было сделано специально в шутку», — пояснил Питкавадж. «Молодые правые из субкультуры 4chan (как мейнстримные, так и крайне правые) часто любят вывешивать флаг Кекистана на митингах и мероприятиях.»
Измененные исторические флаги
Измененные флаги Конфедерации и Гадсдена были замечены в толпе у Капитолия. Одна из вариаций боевого флага Конфедерации включала изображение штурмовой винтовки и слоган» Приходите и возьмите его «, чтобы передать анти-оружие Контрольное сообщение. Фраза «приди и возьми» перефразирует реплику «приди и возьми их», произнесенную спартанским царем Леонидом в битве при Фермопилах, когда персидский царь Ксеркс сказал ему и его людям сложить копья в обмен на свою жизнь — сказал Питкавадж.
Флаг Гадсдена, известный многим как флаг «Не наступай на меня», является традиционным и историческим патриотическим флагом, датируемым американской революцией. Флаг и символ также популярны среди либертарианцев. Но это также было кооптировано правыми группами. Питкэвидж объясняет, что, хотя некоторые используют его как символ патриотизма, другие используют его как «символ сопротивления предполагаемой тирании».
Хранители присяги
В Капитолии виден мужчина в шляпе Хранителей присяги после того, как она была нарушена.Хранители клятвы — это поддерживающая Трампа, крайне правая, антиправительственная группа, которая считает себя частью движения ополченцев, призванных защищать страну и защищать конституцию. Группа пытается вербовать членов из числа действующих или отставных военных, служб быстрого реагирования или полиции.
Их лидер извергал обширные теории заговора в своем блоге, обвинял демократов в краже результатов выборов, ранее угрожал насилием, если это будет необходимо в день выборов во время интервью с крайне правым заговорщиком Алексом Джонсом, и сказал, что его группа будет вооружена для защиты Белый дом при необходимости, сообщает ADL.
Флаг Конфедерации
Во время долгой Гражданской войны в Соединенных Штатах боевой флаг Конфедерации не попадал в тень Капитолия США, но в среду мятежник пронес один прямо через его залы.
Фотографы запечатлели человека, несущего его мимо портретов аболициониста Чарльза Самнера и рабовладельца Джона Калхуна.
Флаг всегда был символом поддержки рабства. После Второй мировой войны он стал ярким символом Джима Кроу и сегрегации, неудивительно говорит, что он стал популярным символом среди сторонников превосходства белой расы — даже за пределами Соединенных Штатов.
Флаг Америки прежде всего
Мятежник облачается в флаг «Америка прежде всего» с логотипом подкаста крайне правого комментатора Ника Фуэнтеса. Фуэнтес присутствовал на мероприятии в Капитолии, но был сфотографирован, оставаясь за пределами здания Капитолия.
«Америка прежде всего» — также лозунг, который президент Трамп использовал при описании своей внешней политики. Его принятие подверглось критике со стороны ADL, заявившей, что он использовался в антисемитских целях, чтобы не допустить США во Вторую мировую войну.
ADL утверждает, что Фуэнтес является частью «армии гройперов», которую ADL называет группой сторонников превосходства белых.
«В то время как взгляды группы и руководства совпадают с взглядами сторонников превосходства белой расы альт-правыми, гройперы пытаются нормализовать свою идеологию, присоединяясь к« христианству »и« традиционным »ценностям, якобы отстаиваемым церковью, включая брак и семью, «ADL объясняет. «Подобно альт-правым и другим сторонникам превосходства белых, гройперы считают, что они работают, чтобы защитить себя от демографических и культурных изменений, которые разрушают« истинную Америку »- белую христианскую нацию.«
» Лагерь Освенцим »
Мятежник внутри Капитолия был одет в толстовку« Лагерь Освенцим ». На нижней части рубашки написано« Работа приносит свободу », что является приблизительным переводом слов« Arbeitmacht frei »на воротах нацистский концлагерь. Освенцим был самым большим и самым печально известным нацистским концентрационным лагерем, где во время Второй мировой войны было убито около 1,1 миллиона человек.
Питкавадж говорит, что, по его мнению, рубашка пришла с ныне несуществующего веб-сайта Aryanwear. существует уже около 10 лет, по данным Pitcavage, в последние недели появляется на разных веб-сайтах, хотя часто удаляется при подаче жалобы.
Наклейки Nationalist Social Club
Изображение в социальной сети показывает наклейки Nationalist Social Club на том, что, похоже, является оборудованием полиции Капитолия США. Неясно, когда была сделана фотография, но она была опубликована в среду в чате Telegram, который использует группа, включая нацистский символ как часть их имени.
NSC, очевидно, игра слов о национал-социалистах или нацистской партии, является неонацистской группировкой, у которой есть региональные отделения как в Соединенных Штатах, так и по всему миру, согласно ADL.Неясно, относится ли наклейка справа к отделению в Новой Англии или потому, что группа изначально называла себя Клубом националистов Новой Англии.
«Члены КНБ видят себя солдатами, ведущими войну с враждебной, контролируемой евреями системой, которая намеренно замышляет вымирание белой расы», согласно ADL. «Их цель — сформировать подпольную сеть белых людей, которые готовы сражаться со своими предполагаемыми врагами посредством локальных прямых действий».
MAGA Civil War 6 января 2021 г. рубашки
Есть еще много вопросов о том, как именно произошло нападение на Капитолий и кто возглавил атаку. Но призывы к свержению правительства и к гражданской или расовой войне уже давно вызывают крики в ультраправых кругах.
Рубашки, которые носили эти люди на территории Капитолия в среду, показывают, что, по крайней мере, было намерение отметить этот день. На них были футболки с заранее напечатанными рисунками, со ссылкой на подписанный Трамп лозунг «Сделаем Америку снова великой», а также слова «Гражданская война» и дата события, которое переросло в восстание.
Многие комментаторы на ультраправых форумах писали после нападения, что это только начало той гражданской войны, которую многие из них давно желали.
(The-CNN-Wire и 2021 Cable News Network, Inc., компания Time Warner. Все права защищены.)
границ | Категория Декодирование визуальных стимулов от активности человеческого мозга с использованием двунаправленной рекуррентной нейронной сети для моделирования двунаправленных информационных потоков в зрительной коре человека
Введение
В нейробиологии визуальное декодирование было важным способом понять, как и какая сенсорная информация кодируется и представляется в зрительной коре головного мозга. Функциональная магнитно-резонансная томография (фМРТ) является эффективным инструментом для отражения активности мозга, и модели вычисления визуального декодирования, основанные на данных фМРТ, привлекают значительное внимание на протяжении многих лет (Kamitani and Tong, 2005; Haynes and Rees, 2006; Norman et al., 2006; Naselaris et al., 2011; Nishimoto et al., 2011; Horikawa et al., 2013; Li et al., 2018; Papadimitriou et al., 2018). Категоризация, идентификация и реконструкция визуальных стимулов на основе данных фМРТ — три основных средства визуального декодирования.По сравнению с идентификацией и реконструкцией, категоризация или декодирование категорий является обычным и возможным в области визуального декодирования, поскольку идентификация ограничивается набором данных фиксированного изображения, а точная реконструкция ограничивается простыми стимулами изображения.
Категориальное декодирование визуальных стимулов можно в основном разделить на три вида методов: (1) методы на основе классификатора, (2) методы на основе сопоставления шаблонов вокселей и (3) методы на основе сопоставления шаблонов шаблонов признаков. Методы, основанные на классификаторах, выполняют декодирование категорий путем обучения статистического линейного или нелинейного классификатора для непосредственного изучения сопоставления конкретных воксельных паттернов в зрительной коре к категориям. В предыдущей работе (Cox and Savoy, 2003) использовались классификаторы линейной машины опорных векторов (SVM) (Chang and Lin, 2011) для различения воксельных паттернов, вызываемых каждой категорией. Кроме того, также использовались различные классификаторы, включая классификатор Фишера и классификатор k-ближайших соседей (Misaki et al., 2010; Song et al., 2011). Wen et al. (2017) использовали классификатор предварительно обученной сверточной нейронной сети (CNN) (LeCun et al., 1998) для декодирования категорий. Способы, основанные на сопоставлении шаблонов вокселей, должны вычислять корреляцию между вокселями, которые должны быть декодированы, и шаблоном шаблона вокселей каждой категории, и декодирование категории может выполняться в соответствии с максимальной корреляцией. Шаблон шаблона вокселей для каждой категории (Sorger et al., 2012) должен быть построен этими методами.Haxby et al. (2001) напрямую использовали средства вокселей образцов той же категории, что и шаблон образца вокселей каждой категории. Kay et al. (2008) построили модель кодирования для прогнозирования шаблонов вокселей, используя эти образцы с соответствующей категорией, и взяли среднее значение предсказанных шаблонов вокселей в качестве шаблона шаблона вокселей для каждой категории. Методы, основанные на сопоставлении шаблонов признаков, реализуют декодирование путем сопоставления вокселей с конкретными функциями изображения, сравнения их с шаблонами шаблонов признаков каждой категории и, наконец, выбора категории с максимальной корреляцией.Третий способ зависит от промежуточного моста функций, и отображение вокселей на представления функций играет важную роль. Хорикава и Камитани (2017a) и Вен и др. (2018) построили шаблон паттерна признаков для каждой категории, усредняя предсказанные особенности CNN для всех стимулов изображения, принадлежащих к одной и той же категории. Среди этих исследований большое внимание привлекли исследования, основанные на иерархических характеристиках CNN (Agrawal et al., 2014; Güçlü and van Gerven, 2015).
В системе зрения человека зрительная кора головного мозга функционально организована в вентральный поток и спинной поток (Mishkin et al., 1983), а вентральная кора в основном отвечает за распознавание объектов. Анатомические исследования показали, что связи между брюшной корой были восходящими и нисходящими (Bar, 2003). Двунаправленные (прямые и обратные) соединения обеспечивают анатомическую структуру для двунаправленных информационных потоков в зрительной коре головного мозга. Прямые (Tanaka, 1996) и обратные потоки информации (Eger et al., 2006) играют разные роли в задачах распознавания. Визуальная информация течет от первичной зрительной коры к высокоуровневой зрительной коре, и тогда мы можем получить высокоуровневое семантическое понимание, которое известно как восходящий зрительный механизм (Logothetis and Sheinberg, 1996). Таким образом, деятельность зрительной коры в основном модулируется сенсорным входом. Помимо прямых входов, модуляция обратной связи от зрительной коры высокого уровня также может влиять на деятельность зрительной коры низкого уровня (Buschman and Miller, 2007; Zhang et al., 2008). Таким образом, визуальная информация перетекает от зрительной коры высокого уровня к зрительной коре низкого уровня, что известно как зрительный механизм сверху вниз (Beck and Kastner, 2009; McMains and Kastner, 2011; Shea, 2015).
Нисходящая роль в репрезентациях зрительной коры может быть облегчена и усилена с помощью задачи или цели (Beck and Kastner, 2009; Khan et al., 2009; Stokes et al., 2009; Гилберт и Ли, 2013). Например, Ли и др. (2004) продемонстрировали, что нейроны могут нести больше информации об атрибутах стимула, основываясь на нисходящем порядке, когда люди выполняют задачу. Хорикава и Камитани (2017a) показали, что категории воображаемых изображений могут быть декодированы, а Senden et al. (2019) пришли к выводу, что воображаемые буквы можно реконструировать по ранней зрительной коре головного мозга, что выявило тесное соответствие между зрительными ментальными образами и восприятием.Эти исследования предполагали, что визуальная информация может поступать из зрительной коры высокого уровня, чтобы модулировать представления коры низкого уровня, основываясь на нисходящем порядке. Более того, для тех, у кого нет задач или целей во время распознавания, визуальное внимание (Kastner and Ungerleider, 2000; Baluch and Itti, 2011; Carrasco, 2011), по-видимому, также способно облегчить нисходящую роль в репрезентациях зрительной коры. Люди могут выбрать направление внимания на интересующие области на основе механизма визуального внимания после получения семантического понимания сенсорного ввода.Таким образом, семантическая информация также может поступать от зрительной коры высокого уровня, чтобы модулировать представления зрительной коры низкого уровня.
Хотя многие работы были сосредоточены на взаимодействии (McMains and Kastner, 2011; Coco et al. , 2014) между методами снизу вверх и сверху вниз, все еще неясно, что такое «верх», а что «низ» в дискуссии. о нисходящем влиянии на восприятие (Teufel and Nanay, 2017). Однако текущие анатомические и функциональные роли восходящего и нисходящего зрительного механизма действительно указывают на некоторые важные точки зрения.Высокоуровневые зрительные коры могут формировать семантические представления или знания посредством иерархической обработки информации, основанной на восходящем способе, и представления в низкоуровневых зрительных кортиках также могут модулироваться на основе нисходящего способа. Кроме того, человек-испытуемый видел один и тот же графический стимул в нескольких повторных испытаниях в ходе эксперимента по визуальному декодированию, и испытуемый обращал внимание на эти интересные области после уловления основного значения визуального стимула, потому что люди могут сосредоточиться только на одной части. в то же время из-за конкуренции визуальных предубеждений (Desimone and Duncan, 1995). Во время обработки визуальной информации снизу вверх и сверху вниз визуальная информация часто перетекает от зрительной коры низкого уровня к зрительной коре высокого уровня и в обратном направлении. Таким образом, мы можем предположить, что двунаправленные информационные потоки несут семантические знания от зрительной коры высокого уровня. Следовательно, максимизация двунаправленных информационных потоков в зрительной коре будет иметь большое значение для декодирования категорий.
Однако три типа методов декодирования категорий игнорировали внутреннюю взаимосвязь между различными визуальными областями и рассматривали вокселы в выбранных зрительных корках в целом, чтобы подать их в модель декодирования.Поэтому мы ввели двунаправленные информационные потоки в нашу модель декодирования, чтобы охарактеризовать внутренние отношения. По сравнению с нейронными сетями прямого распространения, рекуррентные нейронные сети (RNN) (Mikolov et al., 2010; Graves et al., 2013; LeCun et al., 2015) могут очень хорошо работать с временными данными и широко используются при моделировании последовательностей. Общие RNN обычно имеют только одно направленное соединение от прошлых к будущим (или слева направо) узлов входной последовательности. Двунаправленные рекуррентные нейронные сети (BRNN) (Schuster, Paliwal, 1997; Schmidhuber, 2015) разделяют нейроны регулярных RNN на положительные и отрицательные направления.Два направления позволяют использовать входную информацию из прошлого и будущего текущего периода времени. Вдохновленные BRNN, мы рассматривали двунаправленные информационные потоки (одну пространственную последовательность) как одну фальшивую временную последовательность. Поэтому мы предложили подавать вокселы в каждой визуальной области как один узел последовательности в модуль двунаправленного соединения (Hochreiter and Schmidhuber, 1997; Sutskever et al., 2014). Таким образом, выходные данные двунаправленного модуля RNN можно рассматривать как представления восходящего и нисходящего способов.Категория может быть предсказана с последующим полностью подключенным слоем softmax путем комбинирования двунаправленных представлений.
В этом исследовании наши основные вклады заключаются в следующем: (1) мы проанализировали недостатки существующих методов декодирования, основанных на восходящих и нисходящих визуальных механизмах, (2) мы предложили использовать BRNN для имитации двунаправленной информации. потоков для категориального декодирования визуальных стимулов, и (3) мы проанализировали, что двунаправленные информационные потоки устанавливают внутренние отношения между визуальными областями, связанными с категорией, и подтвердили, что моделирование внутренних отношений имело значение для категориального декодирования.
Материалы и методы
Экспериментальные данные
Набор данных, использованный в нашей работе, был построен на основе предыдущих исследований (Kay et al., 2008; Naselaris et al., 2009). Набор данных содержал визуальные стимулы, соответствующие данные фМРТ и метки категорий, состоящий из 1750 обучающих образцов и 120 проверочных образцов. Подробную информацию о визуальных стимулах и данных фМРТ можно получить из предыдущих исследований (Kay et al. , 2008; Naselaris et al., 2009), а набор данных можно загрузить с http: // crcns.org / data-sets / vc / vim-1.
Визуальные стимулы
Визуальные стимулы состояли из последовательностей естественных фотографий, которые в основном были получены из знаменитого набора данных сегментации Беркли (Martin et al., 2001). Содержание фотографий включало животных, здания, продукты питания, людей, сцены в помещении, искусственные объекты, сцены на открытом воздухе и текстуры. Фотографии были преобразованы в оттенки серого и уменьшены до 500 пикселей. Фотографии (500 × 500 пикселей), представленные испытуемым, были получены путем кадрирования по центру, маскирования с циклом, размещения на сером фоне и добавления белого квадрата размером 4 × 4 пикселей в центральном положении.Всего в качестве визуальных стимулов было выбрано 1870 изображений, которые были разделены на 1750 и 120 изображений для обучения и проверки соответственно.
Схема эксперимента
Фотографии были представлены в последовательных четырехсекундных испытаниях. Каждое испытание содержало 1 с представления фотографии с частотой мигания 200 мс и 3 с представления серого цвета. Соответствующие данные фМРТ были собраны, когда два субъекта с нормальным зрением или зрением с поправкой на нормальное просмотрели фотографии и сфокусировались на центральном белом квадрате фотографий.Эксперимент с каждым испытуемым состоял из пяти сеансов сканирования, и каждый сеанс состоял из пяти тренировочных прогонов и двух проверочных прогонов. Семьдесят различных изображений были представлены два раза во время каждого тренировочного прогона, и 12 различных изображений были представлены 13 раз во время валидационного прогона. Изображения были выбраны случайным образом и были разными для каждого прогона. Таким образом, испытуемым были представлены все 1750 различных (5 сеансов × 5 запусков × 70) изображений и 120 различных (5 сеансов × 2 запусков × 12) изображений для обучения и проверки.
Сбор и предварительная обработка данных фМРТ
Система 4T INOVA MRI с квадратурной передающей / приемной поверхностной катушкой использовалась для получения данных fMRI. Функциональные и анатомические объемы мозга реконструировали с помощью программного пакета ReconTools https://github.com/matthew-brett/recon-tools. Время повторения (TR) составляло 1 с, а размер изотропного вокселя составлял 2 × 2 × 2,5 мм 3 в последовательности однократного градиента EPI. Полученные данные были подвергнуты серии предварительной обработки, включая фазовую коррекцию, синк-интерполяцию, коррекцию движения и совместную регистрацию с анатомическим сканированием.Что касается временных рядов предварительной обработки для каждого воксела, курсы времени отклика для конкретного вокселя были оценены на основе модели ограниченного базисного разделения (BRS) и оценки амплитуды (одно значение) откликов вокселей для каждого из них. Изображение было получено путем деконволюции курсов времени отклика из данных временных рядов для повторных испытаний. Затем ответы были стандартизированы для повышения согласованности ответов во время сеансов сканирования. Вокселы были назначены каждой зрительной области на основе эксперимента по ретинотопному картированию, проведенного в отдельных сеансах. В набор данных были собраны вокселы в пяти областях интереса (V1, V2, V3, V4 и LO) от зрительной коры низкого до высокого уровня.
Ярлыки категорий
В дополнение к изображениям-стимулам и соответствующим данным фМРТ, пять опытных людей вручную пометили 1870 изображений, соответственно, в соответствии с тремя уровнями (5, 10 и 23 категории), и окончательные метки были получены путем голосования. Как показано на Рисунке 1, набор данных с трехуровневыми категориями может всесторонне подтвердить метод декодирования от крупнозернистого до мелкозернистого.
Рисунок 1. Трехуровневые метки с 5, 10 и 23 категориями. Трехуровневые категории были разработаны для проверки предложенного метода по разным параметрам, что может сделать сравнение более убедительным.
выборки (кортежи данных) при обучении и проверке
Каждый образец включал один стимул изображения, соответствующие предварительно обработанные данные фМРТ и три метки для трехуровневых категорий. Размер стимула изображения был изменен на 224 × 224, чтобы соответствовать входным данным модели кодирования (см. Раздел «Визуальное кодирование на основе характеристик CNN»).Следует подчеркнуть, что данные фМРТ образцов не имеют измерения времени. Данные фМРТ удалили измерение времени посредством предварительной обработки, и каждый воксель в визуальных областях имел одно значение отклика для одного просматриваемого изображения. Сто вокселей (один вектор) в каждой визуальной области были выбраны на основе модели кодирования. Три метки в каждой выборке использовались для разных уровней категоризации. Поскольку двум испытуемым было показано 1750 обучающих изображений и 120 проверочных изображений, набор данных содержал 1750 обучающих образцов и 120 проверочных образцов для каждого испытуемого.
Обзор предлагаемого метода
Чтобы ввести двунаправленные информационные потоки в метод декодирования, мы использовали метод на основе BRNN для имитации восходящего и нисходящего поведения в системе человеческого зрения. Таким образом, в методе декодирования можно использовать не только информацию о каждой визуальной области, но и внутренние отношения между зрительными корками. Как показано на рисунке 2, предложенная модель включает части кодирования и декодирования. Для кодирующей части мы можем получить соответствующие характеристики заданных стимулов изображения на основе преобладающего предварительно обученного ResNet-50 (He et al., 2016) модели и используют эти функции для соответствия каждому вокселю для построения модели кодирования по вокселям. В соответствии с характеристиками подгонки мы можем измерить важность каждого вокселя для всех визуальных областей. Мы выбрали фиксированное небольшое количество вокселей с более высокой предсказательной корреляцией для каждой визуальной области (V1, V2, V3, V4 и LO), чтобы предотвратить переобучение при последующем декодировании. Для части декодирования мы построили модуль RNN и использовали выбранные воксели каждой визуальной области в качестве пяти узлов входной последовательности, чтобы использовать как иерархические визуальные представления, так и двунаправленные информационные потоки в зрительной коре головного мозга. Наконец, мы объединили извлеченные функции двунаправленного модуля RNN в качестве входных данных последнего полностью подключенного уровня классификатора softmax для прогнозирования категории.
Рисунок 2. Предлагаемый способ. Иерархические особенности в глубокой сети использовались для прогнозирования воксельных паттернов в каждой визуальной области для направления кодирования. На основе производительности можно выбрать ценные воксели, чтобы уменьшить размер вокселей до фиксированного числа. Чтобы предсказать категорию, последовательность вокселей, содержащая пять визуальных областей, подается в метод на основе BRNN для извлечения семантической информации из каждой визуальной области, и двунаправленная информация течет в зрительной коре головного мозга.
Раздел «Визуальное кодирование на основе функций CNN» знакомит с тем, как построить модель визуального кодирования на основе иерархических функций CNN. Раздел «Декодирование категории на основе функций BRNN» демонстрирует, как использовать BRNN для имитации двунаправленных информационных потоков для декодирования категории.
Визуальное кодирование на основе функций CNN
Мозг можно рассматривать как систему, которая нелинейно отображает сенсорную информацию в мозговой деятельности. Модель линеаризации кодирования (Naselaris et al., 2011) подтверждена и признана во многих исследованиях. Поэтому мы использовали линейную модель кодирования, которая состояла из нелинейного отображения пространства изображений в пространство признаков и линейного отображения пространства признаков в пространство активности мозга.
Нелинейное отображение из пространства изображения в пространство признаков на основе предварительно обученной модели ResNet-50
Многие работы (Agrawal et al., 2014; Yamins et al., 2014; Güçlü and van Gerven, 2015) показали, что иерархические визуальные особенности, извлеченные с помощью предварительно обученной модели CNN, продемонстрировали сильную корреляцию с нейронной активностью зрительной коры, и визуальное кодирование, основанное на функциях CNN, обеспечило лучшую производительность кодирования, чем эти вручную разработанные функции, такие как функции Габора (Kay et al. , 2008). В этом исследовании мы использовали преобладающую глубокую сеть ResNet-50 для извлечения иерархических функций для визуального кодирования. Предварительно обученный ResNet-50 может распознавать 1000 типов естественных изображений (Русаковский и др., 2015) с ультрасовременной производительностью, которая демонстрирует, что сеть обладает богатыми и мощными представлениями функций.
В модели ResNet-50 50 скрытых слоев были сложены в иерархию снизу вверх. Помимо первого сверточного слоя, в сеть были включены четыре модуля (16 остаточных блоков, каждый из которых в основном состоит из 3 сверточных слоев) и последний полностью связанный слой softmax.Подробную конфигурацию сети можно увидеть в Таблице 1. По сравнению с предыдущей классической моделью AlexNet (Крижевский и др., 2012), ResNet-50 был намного глубже и содержал более мелкие иерархические функции, что полезно для кодирования. Чтобы снизить вычислительные затраты, мы выбрали только некоторые репрезентативные функции, включая результаты последней операции AvgPooling и 16 остаточных блоков для визуального кодирования. Таким образом, мы извлекли 17 видов функций для каждого стимула (1750 обучающих изображений и 120 проверочных изображений), чтобы изучить сопоставление конкретных видов функций с каждым вокселем в каждой визуальной области (V1, V2, V3, V4 и LO).В эксперименте предварительно обученную модель ResNet-50 можно загрузить с https://download.pytorch.org/models/resnet50-19c8e357.pth в рамках преобладающей структуры глубокой сети PyTorch (Ketkar, 2017).
Таблица 1. Структура модели ResNet-50.
Линейное отображение из пространства признаков в пространство действий на основе разреженной регрессии
Для каждого слоя модель линейной регрессии сопоставляет вектор признаков X с каждым вокселем y , и он определяется следующим образом:
у = Xw (1)
, где y — это матрица размером м на 1, а X — это матрица м на n , где м — количество обучающих выборок, а n — размер признака. вектор. w , матрица размером n на 1, является вектором взвешивания, который необходимо обучить. В таблице 1 представлены размеры каждого выбранного вектора признаков. Количество обучающих выборок m (∼2 K) значительно меньше размерности деталей n (∼100 K), что является некорректной задачей. Таким образом, мы предположили, что каждый воксель может быть охарактеризован небольшим количеством признаков в векторе признаков, и регуляризованный w был разреженным, чтобы предотвратить переобучение при обучении отображению с высокой размерности вектора признаков на один воксель.На основе сделанного выше предположения основную проблему можно выразить следующим образом:
minww0 при условии Xw = y (2)
В этом исследовании мы использовали метод разреженной оптимизации, называемый регуляризованным поиском ортогонального соответствия (ROMP) (Needell and Vershynin, 2010), чтобы соответствовать шаблону вокселей. ROMP добавляет ортогональный элемент и групповую регуляризацию на основе алгоритма поиска совпадений (Mallat and Zhang, 1993). Подробности этих шагов алгоритма можно найти в Needell and Vershynin (2010).Мы построили модели кодирования вокселей, используя каждый из 17 различных уровней функций, и оптимизировали 17 линейных моделей для каждого воксела. Корреляция использовалась для измерения производительности кодирования, и была вычислена средняя корреляция верхних 200 вокселей для каждой визуальной области. Признаки, которые имели наилучшую корреляцию, были выбраны в качестве окончательных признаков для кодирования этой визуальной области. На рисунке 3 представлена производительность кодирования для каждой визуальной области при использовании другого уровня функций. На рисунке особенности оптимального слоя отмечены кружком в соответствии с характеристиками кодирования.Наконец, мы выбрали 100 верхних вокселей для каждой визуальной области (V1, V2, V3, V4 и LO) в соответствии с характеристиками подгонки, и всего 500 вокселей для пяти областей были выбраны для декодирования следующей категории. На основе модели кодирования размер вокселей для каждой визуальной области был уменьшен до небольшого фиксированного числа, в то время как ценная информация была зарезервирована. Кроме того, производительность кодирования продемонстрировала, что функции низкого уровня лучше подходят для кодирования зрительной коры низкого уровня, а функции высокого уровня подходят для кодирования зрительной коры высокого уровня, что согласуется с предыдущим исследованием (Wen et al., 2018). Кроме того, мы проиллюстрировали, что выбранные воксели в визуальных областях, показанных на рисунке 4, указывают кластерное распределение для выбранных вокселей.
Рисунок 3. Производительность кодирования каждой визуальной области на основе функций ResNet-50. Для кодирования каждого вокселя в каждой визуальной области (V1, V2, V3, V4 и LO) использовалось семнадцать типов функций, и каждый узел представляет среднюю производительность кодирования 200 верхних вокселей с более высокой корреляцией. Каждый цвет представляет один тип визуальной области, а соответствующий «кружок» указывает на оптимальную производительность.Таким образом, можно выбрать оптимальные характеристики и выбрать 100 верхних вокселей для каждой визуальной области.
Рисунок 4. Распределение выбранных вокселей в визуальных областях. Белые линии разделяют пять визуальных областей (V1, V2, V3, V4 и LO). Каждая желтая точка представляет один воксель, который указывает, где находятся 100 выбранных вокселей каждой визуальной области. Эти выбранные воксели объединяются в кластеры вместо рассеянного распределения.
Декодирование категориина основе характеристик BRNN
Чтобы представить двунаправленные информационные потоки для моделирования взаимоотношений между зрительной корой, мы использовали преобладающий модуль долговременной краткосрочной памяти (LSTM) в методе декодирования для извлечения характеристик категории из пространственной последовательности, состоящей из пяти визуальных областей.Тогда категория может быть предсказана через полностью подключенный слой softmax.
Модуль РНН
Долговременная кратковременная память (Hochreiter, Schmidhuber, 1997; Sutskever et al., 2014) является известным модулем RNN во многих вариантах RNN (Cho et al., 2014; Greff et al., 2016) и широко используется в приложения последовательного моделирования. В этом исследовании мы использовали двунаправленный LSTM для характеристики двунаправленных информационных потоков в зрительной коре, а двунаправленный LSTM можно легко построить, добавив двунаправленные (прямые и обратные) соединения на основе LSTM.Таким образом, мы сначала рассмотрели LSTM, и за подробным описанием читатель может обратиться к следующему блогу: http://colah.github.io/posts/2015-08-Understanding-LSTMs/.
Долговременная кратковременная память обычно дополняется повторяющимися вентилями, называемыми вентилями «забыть», и может предотвратить исчезновение или взрыв ошибок обратного распространения. LSTM может изучать задачи, требующие воспоминаний о событиях, которые произошли ранее. LSTM включает в себя три элемента (ворота «забыть», «вход» и «выход»), которые зависят от предыдущего состояния h t – 1 и текущего входа x t .Элемент «забыть» может управлять степенью забывания предыдущей информации в соответствии с f t , вычисленным с помощью уравнения (3), где σ представляет собой сигмовидную функцию для ограничения f t от 0 до 1. Таким образом , LSTM может включать в себя долговременную или краткосрочную память по мере необходимости, настраивая f t . «Входной» вентиль может контролировать, насколько подавать текущий вход x t в вычисление в соответствии с i t , вычисленным с помощью уравнения (4).«Выходной» вентиль может контролировать, сколько информации нужно вывести в соответствии с o t , вычисленным с помощью уравнения (5).
ft = σ (Wf⋅ [ht-1, xt] + bf) (3)
it = σ (Wi⋅ [ht-1, xt] + bi) (4)
ot = σ (Wo⋅ [ht-1, xt] + bo) (5)
На основе трех вентилей LSTM может вычислить состояние c t и h t через уравнения (6) и (7), которые также являются выходом текущего вычисление.
ct = ft⋅ct-1 + it⋅ {𝑡𝑎𝑛ℎ (Wc⋅ [ht-1, xt] + bc)} (6)
ht = ot⋅𝑡𝑎𝑛ℎ (ct) (7)
Предлагаемая архитектура
Соединения в модуле RNN обычно имеют только одно направление (слева направо), но BRNN добавляет другое направление (справа налево), чтобы сделать модуль двунаправленным. На основе двунаправленного модуля LSTM мы представили архитектуру декодирования категорий.
Как показано на рисунке 5, входными данными для архитектуры являются вокселы, выбранные из пяти визуальных областей (V1, V2, V3, V4 и LO), которые составляют одну последовательность пробелов, следовательно, длина последовательности равна пяти.Согласно разделу «Визуальное кодирование на основе характеристик CNN» мы выбрали 100 вокселей для каждой визуальной области. Поскольку воксели не имеют измерения времени, 100 выбранных вокселей из каждой области рассматривались как один узел (вектор 100-D) входной последовательности, которая была передана в двунаправленный модуль LSTM. Таким образом, каждый узел также можно рассматривать как один момент (t 1 , t 2 , t 3 , t 4 и t 5 ) поддельного временного ввода. По сути, мы использовали моделирование пространственной последовательности вместо временной последовательности для категории, и мы использовали двунаправленную LSTM для характеристики пространственных (несколько визуальных областей) серий отношений вместо временных рядов отношений для каждого воксела, что является важной характеристикой. нашего метода.
Рисунок 5. Модель декодирования категорий на основе модуля BRNN. Все визуальные области рассматриваются как одна последовательность, и модуль BRNN особенно хорош при моделировании последовательности. Красная линия указывает восходящие информационные потоки, а зеленая линия указывает нисходящие информационные потоки в зрительной коре. Комбинация характеристик с двух направлений используется для прогнозирования категории. Таким образом, информация из каждой зрительной области и двунаправленные информационные потоки в зрительной коре могут использоваться для декодирования.
Один уровень двунаправленного LSTM был добавлен в качестве входного уровня в архитектуре декодирования, чтобы охарактеризовать взаимосвязь во входной последовательности. Направления слева направо и справа налево характеризуют поведение снизу вверх и сверху вниз в системе человеческого зрения соответственно. Таким образом, на выходные характеристики одного узла влияют левые зрительные коры низкого уровня и правые зрительные коры высокого уровня. Следовательно, характеристики категории в каждой визуальной области и отношения между областями могут быть извлечены.Затем предложенный метод объединил выходные характеристики с двух направлений и подал их в последовательный полностью связанный слой softmax для прогнозирования категории. Кроме того, потеря фокуса (Lin et al., 2017) с гаммой 5.0 использовалась во время обучения для работы с трудными выборками. Что касается деталей архитектуры, входной узел был 100-D, а выход узла в каждом направлении LSTM был 16-D особенностью. Таким образом, для следующей классификации был получен 32-мерный признак, сочетающий два направления.Количество узлов в последнем полностью подключенном слое softmax составляло 5, 10 и 23 для трехуровневых меток соответственно. Мы добавили операцию выпадения со скоростью 0,5 за выводом двунаправленного LSTM, чтобы избежать переобучения. Наконец, в модели декодирования использовалась не только визуальная информация в каждой визуальной области, но и отношения между областями.
Предлагаемый метод может быть обучен сквозным образом с использованием алгоритмов, аналогичных стандартным RNN. Благодаря обучению в глубокой сетевой структуре PyTorch (Ketkar, 2017) двунаправленные информационные потоки, включая информацию о категориях, могут быть добыты на основе обучающих выборок.Во время обучения мы установили размер пакета равным 64 и использовали оптимизацию Адама, в которой скорость обучения составляла 0,001, а регуляризация веса была 0,001, для обновления параметров. На обучение в системе Ubuntu 16.04 с одной видеокартой NVIDIA Titan Xp потребовалось около 200 эпох.
Результаты
Обычные линейные и нелинейные классификаторы
Мы выбрали несколько классических классификаторов, включая дерево решений (DR), случайный лес (RF), AdaBoost (AB), линейный и нелинейный SVM.Декодирование трехуровневой категории (5, 10 и 23) было выполнено на основе этих традиционных классификаторов. Для декодирования с 5 категориями на рисунке 6 эти традиционные методы с использованием одной визуальной области были более точными, чем случайные, и даже первичные визуальные области полезны для декодирования семантической категории. Линейный тренд производительности декодирования от зрительной коры низкого уровня к высокому также изображен на рисунке, который показывает, что производительность декодирования была улучшена. Это явление указывало на то, что больше семантической информации было получено из визуальных областей более высокого уровня.Кроме того, эти классические классификаторы обеспечивают лучшую производительность декодирования, когда все визуальные области используются вместо одной визуальной области, что указывает на то, что представления категории в разных визуальных областях дополняют друг друга. Результаты двух других уровней (10 и 23 категории) декодирования продемонстрировали аналогичное явление, которое показано на рисунках 7, 8. Кроме того, были рассчитаны среднее значение и дисперсия точности декодирования по результатам пяти повторных экспериментальных тестов с теми же гиперпараметрами. и нанесены на рисунки 6–8.Следует отметить, что дисперсия устойчивого линейного и нелинейного SVM и классификатора AB была равна нулю. Из рисунков видно, что точность декодирования SVM была выше, чем у других методов (DR, RF и AB), а производительность линейной и нелинейной SVM была аналогичной. Кроме того, эффективность S1 была выше, чем у S2, что согласуется с предыдущими исследованиями (Kay et al., 2008).
Рисунок 6. Расшифровка пяти категорий с использованием обычных классификаторов.Представлены точности различных обычных классификаторов при использовании только одной визуальной области и всех визуальных областей («V»). Можно наблюдать распределенные, иерархические и дополнительные представления семантической категории в системе человеческого зрения (подробный анализ в разделе «Обсуждение»).
Рисунок 7. Расшифровка 10 категорий с помощью обычных классификаторов.
Рисунок 8. Расшифровка 23 категорий с помощью обычных классификаторов.
Полностью подключенная нейронная сеть
В дополнение к традиционным классификаторам в разделе «Обычные линейные и нелинейные классификаторы» также был протестирован метод полносвязной нейронной сети (NN). Чтобы сравнить и проверить эффект моделирования двунаправленных информационных потоков, в методе NN использовалась архитектура, аналогичная предложенному методу, за исключением модуля RNN. В частности, метод NN имел три полностью связанных слоя. Количество нейронных узлов каждого слоя составляло 500, 64 и 32 соответственно.«500» было получено из комбинации выбранных вокселей в пяти визуальных областях. Выходы последнего полностью подключенного слоя softmax были 5-D, 10-D и 23-D для трехуровневых меток соответственно. Подобные гиперпараметры использовались во время тренировки. Таким образом, разница между методами на основе NN и BRNN заключалась в том, моделировались ли двунаправленные информационные потоки. Из рисунка 9 видно, что метод NN имеет лучшие или сравнительные характеристики относительно линейных и нелинейных методов SVM.Мы проанализировали преимущества мощной нелинейной способности нейронных сетей.
Рисунок 9. Количественное сравнение производительности декодирования для разных методов. Обычные методы и метод NN могут задействовать все визуальные области. Однако метод NN с мощной нелинейной способностью обеспечивает более высокую точность. Методы на основе BRNN с мощными нелинейными возможностями также могут использовать дополнительную информацию (двунаправленные информационные потоки), что обеспечивает лучшую производительность.
Предлагаемый метод
Как показано на рисунке 9, предложенный нами метод имел лучшую производительность для всех трех уровней декодирования категорий, поскольку он может дополнительно использовать двунаправленные информационные потоки в зрительной коре головного мозга. В таблице 2 представлена точность нашего метода, и точность декодирования по 5, 10 и 23 категориям достигла 60,83 ± 1,17%, 46,17 ± 0,42% и 39,50 ± 0,85% соответственно. Предложенный метод улучшился более чем на 5% по сравнению с другими лучшими методами.Аналогичные результаты для субъекта S2 можно найти в таблице 3. Чтобы проверить статистическую значимость, мы вычислили соответствующие значения p для измерения разницы между предложенным методом и другими классификаторами в таблице 4. Он показал, что большинство значений значимости достигнуто. более высокий уровень ( P <0,001), что подтвердило значимость предлагаемого метода. Более того, минимальные значения значимости для каждого уровня категории были подчеркнуты в таблице 4, а значения значимости находились между ( P <0.01) и ( P <0,05), которые продемонстрировали приемлемую статистическую значимость. Подчеркнутые значения указывают на то, что предлагаемый нами метод показал значимость, даже несмотря на то, что использовались более строгие сравнения, в которых мы сравнивали предлагаемый метод с лучшими из всех других методов. Кроме того, на Рисунке 10 представлена матрица неточностей, отражающая подробные результаты классификации, и показано, что большинство образцов классифицированы правильно. Однако класс «текстура» показал худший результат, и мы представили два изображения, соответствующие данные фМРТ которых были классифицированы неправильно.Один был ошибочно отнесен к классу «естественный», а другой - к классу «созданный руками человека». Визуальные атрибуты двух изображений действительно были похожи на атрибуты изображений, принадлежащих к «естественным» и «искусственным» классам. Более того, классы «человек» и «животное» легко перепутать, что может быть результатом схожести визуальных атрибутов между классами «человек» и «животное».
Таблица 2. Количественное сравнение характеристик декодирования различными методами для субъекта S1.
Таблица 3. Количественное сравнение характеристик декодирования различными методами для субъекта S2.
Таблица 4. Статистическая значимость предлагаемого нами метода по сравнению с другими методами для субъектов S1 и S2.
Рисунок 10. Нормализованная матрица неточностей результатов и два примера ошибочной классификации для предложенного метода. Нормализованная матрица путаницы представляет подробную ошибочную классификацию, и два образца изображений используются для анализа класса («текстуры»), который имеет худшие характеристики классификации.
Эффект прямого, обратного и двунаправленного подключений
Кроме того, мы сравнили точность модуля RNN при использовании прямого, обратного и двунаправленного соединений. Двунаправленные соединения включали прямые и обратные соединения. Прямые связи характеризовали восходящие информационные потоки, а обратные связи характеризовали нисходящие информационные потоки в визуальных областях. Мы сравнили двунаправленные соединения (двунаправленный LSTM) с прямыми соединениями (LSTM с входом V1 → V 2 → V 3 → V 4 → последовательность LO), обратными соединениями (LSTM с входом LO → V 4 → V 3 → V2 → V1 последовательность), и никаких повторяющихся соединений (полностью связанный слой с вводом целых визуальных областей в целом).Соответствующие результаты были представлены в Таблице 5. Мы видим, что метод на основе LSTM («→ •»), который характеризует восходящие информационные потоки, ведет себя лучше, чем метод NN без повторяющихся соединений и LSTM («←≤») — на основе метода, характеризующего нисходящие информационные потоки. Тем не менее, использование двунаправленных соединений по-прежнему давало преимущества, поскольку было охарактеризовано больше взаимосвязей и использовалось больше визуальной информации. Двунаправленные методы на основе LSTM в целом показали наилучшее поведение согласно среднему значению в таблице 5 за счет комбинирования соединений LSTM («→ •») и LSTM («←»).Мы также вычислили значения значимости, чтобы измерить разницу между LSTM («→ •») и двунаправленным LSTM («→ • и ←»). Для субъекта 1 значения значимости для декодирования по 5, 10 и 23 категориям составили 7,83 × 10 –4 , 7,72 × 10 –3 и 4,34 × 10 –5 , соответственно. Для субъекта 2 значения значимости для декодирования по 5, 10 и 23 категориям составили 3,07 × 10 –1 , 2,41 × 10 –2 и 5,31 × 10 –3 , соответственно. Эти результаты показали некоторую разницу между LSTM («→ •») и двунаправленным LSTM («→ • и ←»), а точность задачи декодирования для субъекта 1 имеет более высокие значения значимости, чем для субъекта 2.В заключение, одиночные соединения LSTM («←») вели себя немного хуже, чем метод на основе NN, но улучшение подтвердило роль LSTM («←»). Следовательно, для декодирования необходимы двунаправленные соединения, характеризующие восходящие и нисходящие информационные потоки.
Таблица 5. Сравнение того, используются ли прямые, обратные и двунаправленные соединения для модуля RNN.
Обсуждение
Известно, что визуальное декодирование предназначено для изучения того, что существует в зрительной коре головного мозга, но легче исследовать паттерн визуальных представлений в системе человеческого зрения.Таким образом, мы пришли к выводу о некоторых существующих моментах и суммировали сходства и различия между нашим методом и другими. Кроме того, были обсуждены методы визуального декодирования на основе CNN и RNN, чтобы продемонстрировать преимущества и ограничения предлагаемого нами метода, и был представлен наш вклад в эту область.
Некоторое соответствие с предыдущими исследованиями
Известно, что низкоуровневые и высокоуровневые функции глубоких сетей сосредоточены на подробной и абстрактной информации соответственно (Mahendran and Vedaldi, 2014).С точки зрения визуального кодирования, рисунок 3 показывает, что низкоуровневые и высокоуровневые функции подходят для кодирования зрительной коры низкого и высокого уровня соответственно, что было показано в серии предыдущих исследований (Güçlü and van Gerven, 2015; Eickenberg et al., 2016; Horikawa, Kamitani, 2017b). С точки зрения визуального декодирования рисунки 6–8 нашего исследования показывают линейное улучшение от зрительной коры низкого уровня к зрительной коре высокого уровня, что может быть дополнением к основанным на CNN методам визуального кодирования для поддержки иерархических представлений в визуальном восприятии. кортикальный слой.
Когда только одна конкретная визуальная область используется в разных классификаторах, производительность декодирования категории лучше, чем случайная, и даже визуальные области низкого уровня могут вносить вклад в декодирование категории, что указывает на то, что визуальные области низкого уровня могут содержать визуальную информацию о категориях . Таким образом, как и в предыдущей работе (Haxby et al., 2001; Cox and Savoy, 2003), можно сделать вывод о распределенных представлениях категорий в зрительной коре. Например, Haxby et al. (2001) продемонстрировали, что в вентральной коре головного мозга были распределены изображения лиц и предметов.Основываясь на двунаправленных информационных потоках, мы предположили, что распределенные представления могут быть вызваны динамическими информационными потоками. Визуальная информация из зрительных областей низкого уровня может перетекать в зрительные области высокого уровня, а визуальная информация из зрительных областей коры верхнего уровня также может поступать в зрительные области коры нижнего уровня. Следовательно, зрительные области в вентральной коре являются интерактивными, что может способствовать распределению репрезентаций в зрительной коре.
Результаты показывают, что производительность декодирования с использованием пяти визуальных областей превосходит использование только одной отдельной области.Улучшение подтверждает, что эти представления в различных визуальных областях не являются избыточными, а содержат различную информацию. Результаты кодирования на основе иерархической CNN (см. Рисунок 3) показали, что низкоуровневые функции подходят для кодирования первичной зрительной коры, а высокоуровневые функции более полезны для кодирования высокоуровневой зрительной коры. Учитывая, что низкоуровневые и высокоуровневые функции глубокой сети сосредоточены на подробной и абстрактной информации (Mahendran and Vedaldi, 2014), улучшение дополняет точку зрения о том, что низкоуровневые зрительные коры в основном обрабатывают низкоуровневые представления (граница, текстура , и цвет) и что высокоуровневые зрительные коры в основном отвечают за высокоуровневые репрезентации (форма и объект).Более того, дополнительные изображения указывают на то, что следует рассмотреть больше визуальных областей. Однако это исследование охватывает только пять зрительных областей, что является ограничением, а в некоторых предыдущих исследованиях даже упоминается меньшее количество зрительных корковых областей (Senden et al., 2019). Следовательно, следующим направлением может стать использование большего количества визуальных областей в методе декодирования и моделирование более сложных отношений в визуальных областях.
Корреляционные представления о категории в зрительной коре
За исключением иерархических, распределенных и дополнительных представлений о категориях в зрительной коре, результаты на рисунке 9 продемонстрировали, что мы можем получить улучшение примерно на 5% после введения двунаправленных информационных потоков и моделирования внутренней взаимосвязи в методе декодирования, что указывает на взаимосвязь между визуальные области могут содержать семантическую информацию категорий и могут способствовать декодированию.Это показывает, что эти зрительные области связаны, а представления категорий в зрительной коре коррелятивны. Соответствующие представления категорий означают, что отношения между визуальными областями содержат атрибуты категорий. Поскольку мы не нашли литературы, в которой моделировались бы корреляционные представления для декодирования категорий из данных фМРТ, мы попытались проанализировать происхождение явления в соответствии с двунаправленными информационными потоками. А именно, семантическое знание сначала формируется посредством восходящей иерархической обработки сенсорной информации.Затем семантическая информация может поступать от зрительной коры высокого уровня для модуляции нейронной активности зрительной коры низкого уровня из-за задачи или внимания. Таким образом, мы можем сделать вывод, что семантическая информация, содержащаяся в отношении, происходит от визуальной обработки снизу вверх и визуальной модуляции сверху вниз, а отношение связано с категориями из-за эффекта нисходящего способа. Современные методы, такие как преобладающие методы на основе CNN, не могут моделировать визуальный механизм сверху вниз и обычно учитывают только иерархические представления.
Отличие от преобладающих CNN и RNN на основе методов визуального декодирования
Целью нашего исследования является прямое декодирование категорий из вокселей (деятельности фМРТ) с использованием классификатора на основе модуля RNN. Известно, что CNN очень эффективны для задач визуального распознавания за счет извлечения иерархических и мощных функций из 2D-изображений. Таким образом, CNN особенно подходят для визуального кодирования, но не для классификации вокселей (1D). Как показано в разделе «Визуальное кодирование на основе функций CNN», функции, извлеченные CNN, используются для кодирования вокселей для выбора ценных вокселей.Кроме того, CNN могут выполнять декодирование косвенным способом, называемым «методами на основе сопоставления шаблонов признаков» (Han et al., 2017; Horikawa and Kamitani, 2017a), который существенно отличается от нашего метода под названием «Методы на основе классификаторов, », Который является наиболее прямым способом декодирования. Кроме того, своего рода «методы, основанные на сопоставлении шаблонов признаков», берут целые визуальные области в целом и сопоставляют их с функциями CNN, что затрудняет использование внутренних отношений между вокселями.Однако RNN обычно используются для моделирования данных последовательности, а методы на основе RNN (Spampinato et al., 2017; Shi et al., 2018) могут характеризовать данные с измерением времени в области визуального декодирования. Например, Spampinato et al. (2017) предложили использовать RNN для извлечения признаков из данных ЭЭГ для декодирования, и они использовали модуль LSTM для характеристики временных рядов отношений. В качестве улучшения мы использовали модуль LSTM для характеристики пространственных (несколько визуальных областей) рядов отношений, поскольку измерение времени для данных фМРТ обычно не слишком сильно учитывается в области визуального кодирования и декодирования.Более конкретно, их последовательность состоит из разных временных точек для каждого воксела, но последовательность для наших RNN состоит из вокселей в разных визуальных областях, что является существенным различием между нашим методом и другими основанными на RNN методами. В заключение, наш метод является прямым и новым, потому что мы используем моделирование пространственной последовательности вместо временной последовательности для категории. Таким образом, следующим направлением визуального декодирования может быть характеристика пространственно-временной последовательности вокселей в визуальных областях.
Заключение
В этом исследовании мы проанализировали недостатки существующих методов декодирования с точки зрения двунаправленных информационных потоков (визуальные механизмы снизу вверх и сверху вниз). Чтобы охарактеризовать двунаправленные информационные потоки в зрительной коре, мы использовали модуль BRNN для моделирования пространственного ряда отношений вместо общего временного ряда отношений. Мы рассматривали выбранные воксели каждой визуальной области (V1, V2, V3, V4 и LO) как один узел в пространственной последовательности, которая подавалась в BRNN для дополнительного извлечения функций взаимосвязи, связанных с категорией, для повышения производительности декодирования.Мы проверили наш предложенный метод на наборе данных с тремя уровнями меток категорий (5, 10 и 23). Экспериментальные результаты показали, что предложенный нами метод позволяет получать более точные результаты декодирования, чем другие линейные и нелинейные классификаторы, при этом подтверждая статистическую значимость двунаправленных информационных потоков для декодирования категорий. Кроме того, основываясь на экспериментальных результатах, мы пришли к выводу, что представления в зрительной коре были иерархическими, распределенными и дополнительными, что согласуется с предыдущими исследованиями.Что еще более важно, мы проанализировали, что двунаправленные информационные потоки в зрительной коре коры заставляют отношения между областями содержать представления категорий и могут быть успешно использованы на основе BRNN, которую мы назвали коррелятивными представлениями категорий в зрительной коре.
Авторские взносы
KQ участвовал во всех этапах исследовательского проекта и написании статей. JC разработал процедуры общих экспериментов. LW внесла свой вклад в идею декодирования на основе BRN.CZ внесла свой вклад в реализацию идеи. Л.З. участвовал в подготовке статьи, рисунков и диаграмм. LT ввел восприятие иерархических, распределенных, дополнительных и коррелятивных представлений в зрительной коре. BY предложил идею и написание.
Финансирование
Эта работа была поддержана Национальным планом ключевых исследований и разработок Китая (№ 2017YFB1002502) и Национальным фондом естественных наук Китая (№№ 61701089 и 162300410333).
Заявление о конфликте интересов
Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.
Список литературы
Агравал П., Стэнсбери Д., Малик Дж. И Галлант Дж. Л. (2014). Пиксели в воксели: моделирование визуального представления в человеческом мозге. arXiv препринт arXiv: 1407.5104.
Google Scholar
Бушман, Т.Дж., И Миллер, Э. К. (2007). Контроль внимания сверху вниз по сравнению с контролем снизу вверх в префронтальной и задней теменной области коры. Наука 315, 1860–1862. DOI: 10.1126 / science.1138071
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Chang, C.-C., and Lin, C.-J. (2011). «Транзакции ACM в интеллектуальных системах и технологиях (TIST)», в LIBSVM: Библиотека для опорных векторных машин , Vol. 2, (Нью-Йорк, Нью-Йорк: ACM Press). DOI: 10,1145 / 1961189.1961199
CrossRef Полный текст | Google Scholar
Чо, К., Ван Мерриенбор, Б., Гульчере, К., Богданау, Д., Бугарес, Ф., Швенк, Х., и др. (2014). Изучение представлений фраз с использованием кодировщика-декодера RNN для статистического машинного перевода. arXiv препринт arXiv: 1406.1078.
Google Scholar
Коко, М. И., Малькольм, Г. Л., и Келлер, Ф. (2014). Взаимодействие механизмов снизу вверх и сверху вниз в визуальном руководстве во время именования объектов. Q. J. Exp. Psychol. 67, 1096–1120. DOI: 10.1080 / 17470218.2013.844843
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Кокс, Д. Д., и Савой, Р. Л. (2003). Функциональная магнитно-резонансная томография (фМРТ) «чтение мозга»: обнаружение и классификация распределенных паттернов активности фМРТ в зрительной коре головного мозга человека. Neuroimage 19, 261–270. DOI: 10.1016 / s1053-8119 (03) 00049-1
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Дезимоне, Р.и Дункан Дж. (1995). Нейронные механизмы избирательного зрительного внимания. Annu. Rev. Neurosci. 18, 193–222. DOI: 10.1146 / annurev.neuro.18.1.193
CrossRef Полный текст | Google Scholar
Эгер, Э., Хенсон, Р., Драйвер, Дж., И Долан, Р. Дж. (2006). Механизмы облегчения нисходящего восприятия визуальных объектов, изучаемых с помощью фМРТ. Cereb. Cortex 17, 2123–2133. DOI: 10.1093 / cercor / bhl119
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Айкенберг, М., Грамфорт, А., Вароко, Г., Тирион, Б. (2016). Видеть все: слои сверточной сети отображают функции зрительной системы человека. Нейроизображение 152, 184–194. DOI: 10.1016 / j.neuroimage.2016.10.001
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Грейвс, А., Мохамед, А.-Р., и Хинтон, Г. (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей», в Акустика, обработка речи и сигналов (ICASSP), 2013 Международная конференция IEEE , (Ванкувер, Британская Колумбия: IEEE), 6645–6649.
Google Scholar
Грефф К., Шривастава Р. К., Коутник Дж., Стойнебринк Б. Р. и Шмидхубер Дж. (2016). LSTM: поисковая космическая одиссея. IEEE Trans. Neural Netw. Учить. Syst. 28, 2222–2232. DOI: 10.1109 / TNNLS.2016.2582924
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Güçlü, U., и van Gerven, M.A. (2015). Глубокие нейронные сети обнаруживают градиент сложности нейронных репрезентаций вентрального потока. Дж.Neurosci. 35, 10005–10014. DOI: 10.1523 / JNEUROSCI.5023-14.2015
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Хан, К., Вэнь, Х., Ши, Дж., Лу, К.-Х., Чжан, Ю., и Лю, З. (2017). Вариационный автоэнкодер: неконтролируемая модель для моделирования и декодирования активности фМРТ в зрительной коре. bioRxiv 214247. doi: 10.1016 / j.neuroimage.2019.05.039
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Хэксби, Дж. В., Гоббини, М.И., Фьюри, М. Л., Ишаи, А., Схоутен, Дж. Л., и Пьетрини, П. (2001). Распределенные и перекрывающиеся изображения лиц и предметов в вентральной височной коре. Наука 293, 2425–2430. DOI: 10.1126 / science.1063736
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Хе К., Чжан Х., Рен С. и Сун Дж. (2016). «Глубокое остаточное обучение для распознавания изображений», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Las Vegas, NV, 770–778.
Google Scholar
Хорикава, Т., и Камитани, Ю. (2017b). Иерархическое нейронное представление объектов сновидения, выявленных путем декодирования мозга с помощью глубоких нейронных сетей. Фронт. Комп. Neurosci. 11: 4. DOI: 10.3389 / fncom.2017.00004
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Кастнер С. и Унгерлейдер Л. Г. (2000). Механизмы зрительного внимания в коре головного мозга человека. Annu. Rev. Neurosci. 23, 315–341.
PubMed Аннотация | Google Scholar
Кеткар, Н. (2017). «Введение в pytorch», в Deep Learning with Python , ed. Н. Кеткар (Беркли, Калифорния: Апресс), 195–208. DOI: 10.1007 / 978-1-4842-2766-4_12
CrossRef Полный текст | Google Scholar
Хан, Ф. С., Ван Де Вейер, Дж., И Ванрелл, М. (2009). «Цветовое внимание сверху вниз для распознавания объектов», в материалах Proceedings of the 2009 IEEE 12th International Conference on Computer Vision: IEEE , Kyoto, 979–986.
Google Scholar
Крижевский А., Суцкевер И., Хинтон Г. Э. (2012). «Классификация ImageNet с глубокими сверточными нейронными сетями», в Международная конференция по системам обработки нейронной информации , Невада, 1097–1105.
Google Scholar
ЛеКун Ю., Боттоу Л., Бенжио Ю. и Хаффнер П. (1998). Применение градиентного обучения для распознавания документов. Proc. IEEE 86, 2278–2324. DOI: 10.1109 / 5.726791
CrossRef Полный текст | Google Scholar
Ли, К., Сюй Дж. И Лю Б. (2018). Расшифровка естественных изображений вызванных активностью мозга с использованием моделей кодирования с обратимым отображением. Neural Netw. 105, 227–235. DOI: 10.1016 / j.neunet.2018.05.010
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Лин Т.-Й., Гоял П., Гиршик Р., Хе К. и Доллар П. (2017). «Потеря фокуса для обнаружения плотных объектов», в Труды международной конференции IEEE по компьютерному зрению, , Венеция, 2980–2988.
Google Scholar
Махендран А., Ведальди А. (2014). «Понимание представлений глубоких изображений путем их инвертирования», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Columbus, OH, 5188–5196.
Google Scholar
Маллат, С., Чжан, З. (1993). Сопоставление погони с частотно-временными словарями. Технический отчет. Courant Inst. Математика. Sci. N. Y. 41, 3397–3415. DOI: 10.1109 / 78.258082
CrossRef Полный текст | Google Scholar
Мартин, Д., Фаулкс, К., Тал, Д., и Малик, Дж. (2001). «База данных сегментированных естественных изображений человека и ее применение для оценки алгоритмов сегментации и измерения экологической статистики», в материалах Восьмой Международной конференции IEEE по компьютерному зрению Proceedings. ICCV , Ванкувер, Британская Колумбия.
Google Scholar
Миколов, Т., Карафят, М., Бургет, Л., Черноцки, Дж., И Худанпур, С. (2010). «Языковая модель на основе рекуррентной нейронной сети», Труды 11-й ежегодной конференции Международной ассоциации речевой коммуникации , Чиба.
Google Scholar
Мисаки М., Ким Ю., Бандеттини П. А. и Кригескорте Н. (2010). Сравнение многомерных классификаторов и нормализации отклика для фМРТ с информацией о паттернах. Нейроизображение 53, 103–118. DOI: 10.1016 / j.neuroimage.2010.05.051
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Мишкин М., Унгерлейдер Л. Г., Макко К. А. (1983). Объектное зрение и пространственное видение: два корковых пути. Trends Neurosci. 6, 414–417. DOI: 10.1016 / 0166-2236 (83)-x
CrossRef Полный текст | Google Scholar
Населарис, Т., Пренгер, Р. Дж., Кей, К. Н., Оливер, М., и Галлант, Дж. Л. (2009). Байесовская реконструкция естественных изображений по активности мозга человека: нейрон. Нейрон 63, 902–915. DOI: 10.1016 / j.neuron.2009.09.006
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Ниделл Д., Вершинин Р. (2010). Восстановление сигнала из неполных и неточных измерений с помощью регуляризованного поиска ортогонального согласования. IEEE J. Sel. Вершина. Сигнальный процесс. 4, 310–316. DOI: 10.1109 / jstsp.2010.2042412
CrossRef Полный текст | Google Scholar
Нисимото, С., Ан, Т. В., Населарис, Т., Бенджамини, Ю., Ю., Б., и Галлант, Дж. Л. (2011). Реконструкция визуальных впечатлений от мозговой активности, вызванной естественными фильмами. Curr. Биол. 21, 1641–1646. DOI: 10.1016 / j.cub.2011.08.031
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Норман, К. А., Полин, С.М., Детре, Дж. Дж., И Хаксби, Дж. В. (2006). Помимо чтения мыслей: анализ множественных вокселей данных фМРТ. Trends Cogn. Sci. 10, 424–430. DOI: 10.1016 / j.tics.2006.07.005
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Пападимитриу А., Пассалис Н. и Тефас А. (2018). «Расшифровка общих визуальных представлений от деятельности человеческого мозга с помощью машинного обучения», Европейская конференция по компьютерному зрению, , Мюнхен, 597–606. DOI: 10.1007 / 978-3-030-11015-4_45
CrossRef Полный текст | Google Scholar
Русаковский, О., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., et al. (2015). ImageNet — задача крупномасштабного визуального распознавания. Внутр. J. Comp. Vis. 115, 211–252. DOI: 10.1007 / s11263-015-0816-y
CrossRef Полный текст | Google Scholar
Шустер М. и Паливал К. К. (1997). Двунаправленные рекуррентные нейронные сети. IEEE Trans. Сигнальный процесс. 45, 2673–2681. DOI: 10.1109 / 78.650093
CrossRef Полный текст | Google Scholar
Зенден, М., Эммерлинг, Т. К., Ван Хоф, Р., Фрост, М. А., и Гебель, Р. (2019). Реконструкция воображаемых букв из ранней зрительной коры обнаруживает тесное топографическое соответствие между визуальными мысленными образами и восприятием. Brain Struct. Функц. 224, 1167–1183. DOI: 10.1007 / s00429-019-01828-6
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Ши, Н. (2015). «Отличие нисходящих эффектов от восходящих», в книге Perception and its Modalities , ред.Биггс, М. Маттен и Д. Стоукс (Oxford: Oxford University Press), 73–91.
Google Scholar
Ши, Дж., Вэнь, Х., Чжан, Ю., Хань, К., и Лю, З. (2018). Глубокая рекуррентная нейронная сеть выявляет иерархию памяти процесса во время динамического естественного зрения. Хум. Brain Mapp. 39, 2269–2282. DOI: 10.1002 / hbm.24006
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Сонг, С., Чжан, З., Лонг, З., Чжан, Дж., И Яо, Л. (2011). Сравнительное исследование методов SVM в сочетании с выбором вокселей для классификации категорий объектов на данных фМРТ. PLoS One 6: e17191. DOI: 10.1371 / journal.pone.0017191
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Соргер Б., Райтлер Дж., Дамен Б. и Гебель Р. (2012). Устройство для проверки орфографии на основе фМРТ в реальном времени, сразу обеспечивающее надежную независимую от двигателя связь. Curr. Биол. 22, 1333–1338. DOI: 10.1016 / j.cub.2012.05.022
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Spampinato, C., Palazzo, S., Kavasidis, I., Джордано, Д., Сули, Н., и Шах, М. (2017). «Глубокое обучение человеческого разума для автоматизированной визуальной классификации», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition , Honolulu, HI, 6809–6817.
Google Scholar
Стокс, М., Томпсон, Р., Кьюсак, Р., и Дункан, Дж. (2009). Нисходящая активация популяционных кодов определенной формы в зрительной коре во время мысленных образов. J. Neurosci. 29, 1565–1572. DOI: 10.1523 / JNEUROSCI.4657-08.2009
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Суцкевер И., Виньялс О., Ле К. В. (2014). «Последовательность для последовательного обучения с помощью нейронных сетей», в Достижения в системах обработки нейронной информации , Сан-Франциско, Калифорния, 3104–3112.
Google Scholar
Танака, К. (1996). Нижне-височная кора и предметное зрение. Annu. Rev. Neurosci. 19, 109–139. DOI: 10.1146 / annurev.ne.19.030196.000545
CrossRef Полный текст | Google Scholar
Вэнь, Х., Ши, Дж., Чен, В., и Лю, З. (2018). Глубокая остаточная сеть предсказывает корковое представление и организацию визуальных функций для быстрой категоризации. Sci. Отчет 8: 3752. DOI: 10.1038 / s41598-018-22160-9
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Вэнь, Х., Ши, Дж., Чжан, Ю., Лу, К.-Х., Цао, Дж., И Лю, З. (2017). Нейронное кодирование и декодирование с глубоким обучением для динамического естественного зрения. Cereb. Cortex 28, 4136–4160. DOI: 10.1093 / cercor / bhx268
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Яминь, Д. Л., Хонг, Х., Кадье, К. Ф., Соломон, Э. А., Зайберт, Д., и ДиКарло, Дж. Дж. (2014). Иерархические модели, оптимизированные для производительности, предсказывают нейронные реакции в высших зрительных коре головного мозга. Proc. Natl. Акад. Sci. США, 111, 8619–8624. DOI: 10.1073 / pnas.1403112111
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Чжан, Х., Лю, Дж., Хубер, Д. Э., Рит, К.А., Тиан Дж. И Ли К. (2008). Обнаружение лиц на изображениях с чистым шумом: функциональное МРТ-исследование нисходящего восприятия. Нейроотчет 19, 229–233. DOI: 10.1097 / WNR.0b013e3282f49083
PubMed Аннотация | CrossRef Полный текст | Google Scholar
границ | Расшифровка семантического содержания фильмов с естественным движением по активности мозга человека
Введение
В последнее десятилетие появился значительный интерес к расшифровке стимулов или психических состояний по активности мозга, измеренной с помощью функциональной магнитно-резонансной томографии (фМРТ).Ранние результаты в этой области (Kay et al., 2008; Mitchell et al., 2008; Naselaris et al., 2009; Nishimoto et al., 2011) вызвали значительный интерес к перспективам футуристических неинвазивных интерфейсов мозг-компьютер. который может выполнять «чтение мозга». Эти исследования показали, что с помощью BOLD фМРТ можно получить значительно больше информации, чем многие считали ранее (Kay et al., 2008). Кроме того, одно недавнее исследование, проведенное в нашей лаборатории, показало, что с помощью фМРТ можно декодировать появление быстро меняющихся естественных фильмов (Nishimoto et al., 2011), оспаривая распространенное мнение о том, что фМРТ подходит только для изучения медленных явлений. Здесь мы расширяем нашу предыдущую работу, расшифровывая, какие категории объектов и действий присутствуют в естественных фильмах.
Мозговое декодирование можно рассматривать как проблему поиска стимула, S , который, скорее всего, вызвал наблюдаемые жирные ответы, R , при распределении вероятностей P (S | R) . На сегодняшний день для решения этой проблемы использовались два общих подхода: байесовское декодирование и прямое декодирование.При байесовском декодировании создается явная модель P (R | S) , чтобы предсказать ответ на основе стимула. Затем используется правило Байеса для обращения условной вероятности: P (S | R) = P (R | S) P (S) / P (R). Этот подход использовался для декодирования внешнего вида и семантической категории статических природных изображений (Naselaris et al., 2009), визуального внешнего вида естественных фильмов (Nishimoto et al., 2011) и семантической категории изолированных визуальных объектов. или слова (Mitchell et al., 2008). Однако байесовское декодирование требует построения априорного распределения по стимулам, P (S) , и это непрактично, когда пространство декодирования велико (например, при декодировании естественных сцен или фильмов). В некоторых случаях эту проблему можно решить, используя большой эмпирический априор (Naselaris et al., 2009; Nishimoto et al., 2011). Однако у нас нет возможности оценить эмпирическую априорность категорий, появляющихся в естественных фильмах. Это затрудняет применение структуры байесовского декодирования к этой проблеме.
Другой популярный подход к этой проблеме — прямое декодирование. В этом подходе создается явная модель P (S | R) , которая напрямую предсказывает стимул на основе ответа. Прямое декодирование использовалось для декодирования того, какая из двух визуальных категорий просматривается (Haxby et al., 2001; Carlson et al., 2003; Cox and Savoy, 2003), о какой из двух категорий снится субъект (Horikawa et al. ., 2013), и какие объекты присутствуют в статичных естественных визуальных сценах (Stansbury et al., 2013). Однако по ряду причин прямое декодирование обычно не является оптимальным для декодирования объектов и действий в естественных сценах активности мозга. Во-первых, прямое декодирование неявно предполагает, что каждая декодируемая функция независима, но объекты и действия в естественных сценах имеют тенденцию коррелировать друг с другом (хотя недавняя работа нашей лаборатории показала, что можно обойти эту проблему, преобразовав стимулы в пространство характеристик, в котором допущение независимости справедливо Stansbury et al., 2013). Во-вторых, каждый объект или действие имеет множество потенциальных меток категорий, связанных во вложенной иерархической структуре. Например, Mercury Sable 1993 года можно также назвать универсалом , автомобилем , автомобилем и т. Д. Эти метки не являются независимыми и поэтому не должны декодироваться независимо. Одним из решений этой проблемы было бы декодирование только одной метки в иерархии, например категории базового уровня (Rosch et al., 1976), которой в этом примере, вероятно, будет car .Однако декодер категорий базового уровня будет игнорировать сигналы fMRI, относящиеся к подчиненным категориям (например, универсал или 1993 Mercury Sable ), которые могут нести дополнительную информацию о визуальной сцене. Кроме того, получение меток категорий базового уровня потребует обширного ручного присвоения меток несколькими наблюдателями. По этим причинам здесь мы решили использовать другой подход, в котором мы декодировали категории на многих разных уровнях иерархии одновременно.
Наш подход прямого декодирования, иерархическая логистическая регрессия (HLR), декодирует, какие категории объектов и действий присутствуют в естественных фильмах, фиксируя иерархические зависимости между ними. Логистическая регрессия — естественный выбор для моделирования системы с гауссовскими входными данными (например, жирным шрифтом) и двоичными выходными данными (такими как наличие или отсутствие определенной категории). Самый простой подход логистической регрессии — это построение отдельной модели для каждой категории. Однако этот подход неявно предполагает, что каждая категория независима от всех остальных.Это предположение явно неверно, когда категории связаны иерархически, и это может привести к бессмысленным результатам, таким как декодирование того, что сцена содержит автомобиль , но не автомобиль .
Мы решили эту проблему путем иерархического объединения нескольких моделей логистической регрессии. Модель HLR декодирует условную вероятность того, что каждая категория присутствует, при условии, что присутствуют ее гиперонимы (ее вышестоящие или родительские категории в иерархии). Эти условные вероятностные отношения могут быть представлены в виде графической модели (рисунок 1).Графическая модель показывает, например, что совокупная вероятность того, что сцена содержит категории автомобиль, автомобиль и универсал (с учетом вектора реакций мозга, R ), может быть разложена на произведение условных вероятности:
P (автомобиль, автомобиль, универсал | R) = P (автомобиль | R) × P (автомобиль | автомобиль, R) × P (универсал | автомобиль, R)Рисунок 1. Графическая модель иерархической логистической регрессии . Модель иерархической логистической регрессии (HLR) использовалась для захвата зависимостей между декодируемыми категориями.Здесь показана часть графика WordNet. Белые узлы представляют категории для декодирования. Заштрихованный узел представляет наблюдаемые отклики вокселей. Модель HLR не декодирует каждую категорию из ответов независимо. Вместо этого он декодирует условную вероятность наличия гипонима (подчиненная или дочерняя категория), учитывая, что присутствуют его гиперонимы (вышестоящие или родительские категории). Затем декодированные вероятности гипонимов и гипонимов умножаются, чтобы вычислить вероятность наличия гипонима.
Таким образом, совместная вероятность того, что сцена содержит автомобили категории , автомобиль и универсал , равна произведению трех условных вероятностей (обратите внимание, что этот пример упрощен; в наших фактических данных автомобиль равен не категория верхнего уровня). Кроме того, предельная вероятность того, что на месте происшествия присутствует универсал категории , идентична этой совместной вероятности. Эта модель не рассматривает каждую категорию отдельно.Вместо этого предполагается, что каждая категория условно независима от других, учитывая ее гиперонимы. Эта структура налагает разумное ограничение на то, что вероятность того, что автомобиль находится на месте происшествия, никогда не превышает вероятность присутствия автомобиля на месте происшествия.
Чтобы оценить полную модель HLR, мы сначала оценили отдельную логистическую модель для каждой условной вероятности. Каждая логистическая модель предсказывает двоичное присутствие или отсутствие категории с учетом вектора воксельных ответов за несколько предыдущих временных точек, R .Условные вероятности моделировались путем ограничения набора данных, который использовался для оценки модели. Например, для оценки модели условной вероятности того, что автомобиль присутствует, учитывая, что присутствует автомобиль , мы использовали только моменты времени, когда присутствовал автомобиль (этот метод имеет побочное преимущество что делает оценку модели намного более эффективной, поскольку большинство условных моделей оцениваются с использованием небольших подмножеств полного набора данных).Логистические модели имеют отдельный вес для каждого из включенных вокселей в каждый момент времени. Чтобы учесть гемодинамическое отставание, также были включены ответы из нескольких временных точек (4, 6 и 8 с после декодирования стимула).
Чтобы определить наличие категории с помощью моделей HLR, мы умножили условные вероятности. Например, чтобы декодировать вероятность того, что автомобиль присутствовал в какой-то момент времени, мы сначала извлекли соответствующие воксельные ответы, а затем использовали условную логистическую модель для оценки вероятности того, что автомобиль присутствовал, учитывая, что автомобиль присутствовал. , а затем использовали другую условную логистическую модель для оценки вероятности присутствия автомобиля .Наконец, мы умножили эти вероятности вместе, чтобы найти совместную вероятность того, что автомобиль и автомобиль присутствовали, учитывая ответы вокселей. Из этой формулировки ясно, что вероятность того, что присутствует моторное транспортное средство , никогда не может превышать совокупную вероятность того, что моторное транспортное средство и автомобиль присутствуют, таким образом, соблюдая иерархические отношения между этими категориями.
Мы применили структуру моделирования HLR к ЖИРНЫМ ответам фМРТ, записанным от семи субъектов (рис. 2).Сначала были записаны ответы фМРТ, когда испытуемые смотрели 2 часа естественных фильмов. Семантическая таксономия WordNet (Miller, 1995) использовалась для обозначения основных категорий объектов и действий в каждом секундном сегменте фильмов. Используя 2 часа данных оценки модели, мы затем выбрали 5000 вокселей в коре головного мозга каждого субъекта, которые имели наиболее надежные ответы, связанные с категорией (подробности см. В разделе «Методы»). Метки категорий и ответы жирным шрифтом для 5000 выбранных вокселей были затем использованы для оценки отдельной модели HLR для каждого субъекта.Чтобы протестировать модели HLR, мы записали ЖЕЛТЫЕ ответы одних и тех же испытуемых, пока они смотрели дополнительные 9 минут новых естественных фильмов, которые не использовались для оценки модели. Фильмы о проверке модели были повторены десять раз, и ответы были усреднены по повторам, чтобы уменьшить шум. Наконец, мы использовали модель HLR для каждого субъекта, чтобы расшифровать, какие категории присутствовали в проверочных фильмах.
Рисунок 2. Схема эксперимента . Эксперимент состоял из двух этапов: оценка модели и проверка модели .На этапе оценки модели семи испытуемым были показаны 2 часа естественных фильмов, в то время как ЖИРНЫЕ ответы были записаны с помощью фМРТ. Категории значимых объектов и действий были помечены в каждом сегменте продолжительностью 1 с. Затем были оценены модели прямого декодирования, которые оптимально предсказали метки на основе линейных комбинаций воксельных ответов. На этапе проверки модели тем же семи испытуемым были показаны 9 минут новых естественных стимулов из фильма, которые не были включены в набор оценочных стимулов.Эти фильмы были повторены десять раз, и ответы были усреднены для уменьшения шума. Затем предварительно оцененные модели использовались для декодирования категорий, присутствующих в фильмах. Для оценки производительности модели декодированные вероятности категорий сравнивались с фактическими метками категорий в отдельном наборе проверки, зарезервированном для этой цели.
Материалы и методы
Субъекты
Функциональные данные были собраны у семи человек. Все субъекты не имели неврологических расстройств и имели нормальное или скорректированное до нормального зрение.Протокол эксперимента был одобрен Комитетом по защите людей в Калифорнийском университете в Беркли. Письменное информированное согласие было получено от всех субъектов. Данные для пяти субъектов, использованных здесь, были такими же, как и данные, использованные в предыдущей публикации (Huth et al., 2012).
Экспериментальный проект
Стимулы для этого эксперимента состояли из 129 минут естественных фильмов, взятых из трейлеров к фильмам и других источников. Эти стимулы идентичны тем, которые использовались в более ранних экспериментах нашей лаборатории (Nishimoto et al., 2011; Huth et al., 2012). WordNet использовался для обозначения значимых объектов и действий в каждом сегменте, равном 1 секунде, в этих фильмах (Huth et al., 2012). В результате получено 1364 уникальных метки. После добавления гиперинных ярлыков общее количество категорий составило 1705.
Сбор и предварительная обработка данных МРТ
ДанныеМРТ были собраны на сканере 3T Siemens TIM Trio в Центре визуализации мозга Калифорнийского университета в Беркли с использованием 32-канальной объемной катушки Siemens. Функциональные сканы были собраны с использованием последовательности градиентного эхо-EPI с временем повторения (TR) = 2.0045 с, время эха (TE) = 31 мс, угол поворота = 70 градусов, размер вокселя = 2,24 × 2,24 × 4,1 мм, размер матрицы = 100 × 100, поле зрения = 224 × 224 мм. Образцы всей коры были взяты с использованием 30–32 аксиальных срезов. Специально модифицированный биполярный радиочастотный (RF) импульс возбуждения воды использовался, чтобы избежать сигнала от жира.
Отдельные наборы данных оценки (соответствия) модели и проверки модели (тест) были собраны для каждого субъекта с чередованием в течение трех сеансов сканирования. Стимулы для набора данных оценки модели состояли из 120-минутных трейлеров к фильмам.Эти стимулы идентичны стимулам, использованным в Nishimoto et al. (2011) и Huth et al. (2012) и доступны для загрузки с CRCNS: https://crcns.org/data-sets/vc/vim-2/about-vim-2. Функциональные данные для набора данных оценки модели были собраны за 12 отдельных 10-минутных сканирований. Стимулы для набора данных проверки модели состояли из 9-минутных трейлеров к фильмам, повторенных 10 раз. Функциональные данные для набора данных проверки модели были собраны за 9 отдельных 10-минутных сканирований, а затем усреднены. Обратите внимание, что стимулы оценки и проверки были полностью разными; в обоих наборах клипы не появлялись.На протяжении всей презентации стимулов для обоих наборов данных испытуемые зацикливались на точке, которая была наложена на фильм и расположена в центре экрана. Цвет точки менялся четыре раза в секунду для сохранения видимости.
Каждый прогон корректировался с помощью инструмента регистрации линейных изображений FMRIB (FLIRT) из FSL 4.2 (Jenkinson and Smith, 2001). Затем был получен шаблонный объем высокого качества путем усреднения всех объемов в прогоне. FLIRT также использовался для автоматического согласования объема шаблона для каждого прогона с общим шаблоном, который был выбран в качестве шаблона для первого функционального прогона фильма по каждому предмету.Эти автоматические выравнивания были проверены вручную и отрегулированы на точность. Затем матрица перекрестного преобразования была объединена с матрицами преобразования коррекции движения, полученными с помощью MCFLIRT, и объединенное преобразование использовалось для повторной выборки исходных данных непосредственно в общее пространство шаблона.
Для каждого воксела смещение низкочастотного отклика вокселя определялось с помощью медианного фильтра с окном 120 с, и оно вычиталось из сигнала. Затем вычитали средний отклик каждого воксела, а оставшийся отклик масштабировали до единичной дисперсии.
Анатомические изображения были получены с использованием импульсной последовательности T1 MP-RAGE. Затем эти изображения были сегментированы для получения трехмерного изображения кортикальной поверхности с использованием программного обеспечения Caret5 (Van Essen et al., 2001).
Оценка модели
Модель HLR включает отдельную модель условной логистической регрессии для каждой категории. Каждая модель условной логистической регрессии преобразует пространственно-временной паттерн активности вокселей в бинарное присутствие (1) или отсутствие (0) одной категории для временных точек, где присутствуют все гиперонимы этой категории.В то время как кора головного мозга содержит десятки тысяч вокселей, многие воксели очень зашумлены или содержат мало информации о стимулах. Таким образом, чтобы уменьшить сложность модели и уменьшить шум, только 5000 вокселей для каждого объекта использовались в качестве входных данных для модели HLR. (Модели были протестированы на одном предмете с использованием 1000, 5000 и 10000 вокселей. Наилучшая производительность была обнаружена при 5000 вокселов.) Чтобы найти лучшие 5000 вокселей для каждого объекта, мы сначала использовали регуляризованную линейную регрессию для оценки независимой модели кодирования для каждого воксель (модели кодирования предсказывают отклик отдельных вокселей как взвешенную сумму по меткам двоичных категорий).Эта процедура моделирования повторялась 50 раз, каждый раз удерживая и прогнозируя ответы на отдельном сегменте набора данных оценки модели. Затем характеристики прогнозирования модели были усреднены по 50-кратным значениям, и были отобраны 5000 лучших вокселей. Для этой процедуры использовался набор данных оценки модели, данные валидации были зарезервированы для использования в другом месте.
Для каждой сцены пространственно-временными входными данными для модели HLR является вектор длиной 15000, состоящий из ЖИРНЫХ ответов для 5000 выбранных вокселей в трех последовательных временных точках.Было включено несколько временных точек, потому что ЖИРНЫЕ ответы медленные, через 5–15 секунд на подъем и спад после нейронного события (Boynton et al., 1996). Включение нескольких временных точек в модель позволяет процедуре регрессии изучить линейный фильтр, который будет деконволюционировать медленную ЖИРНУЮ функцию отклика из временного хода стимула. Таким образом, для прогнозирования наличия категории в момент времени t , модель использует воксельные ответы на временах t + 2, t + 3 и t + 4 TR.При TR 2 с эти задержки соответствуют 4, 6 и 8 с.
Для построения каждой модели условной логистической регрессии мы использовали только подмножество данных оценки модели, в котором присутствовали все гиперонимы выбранной категории. Например, для построения модели для категории спорткар мы выбрали все моменты времени, в которых присутствовал автомобиль . Затем модель была оценена с использованием градиентного спуска с ранней остановкой. Сначала данные были разбиты на два набора: 90% данных использовались для градиентного спуска, а 10% использовались для оценки точки остановки.На каждой итерации веса обновлялись на основе данных градиентного спуска, а затем ошибка модели оценивалась с использованием данных ранней остановки. Если ошибка данных ранней остановки не уменьшалась в течение десяти последовательных итераций, процедура градиентного спуска прекращалась. Веса вокселей были инициализированы равными нулю, а член смещения был установлен для получения априорной вероятности категории с учетом ее гиперонима (априорная вероятность была вычислена эмпирически по всему набору обучающих данных). Каждая модель оценивалась трижды с использованием отдельных наборов данных для ранней остановки, а затем полученные веса были усреднены.
Мы проверили, дает ли этот градиентный спуск с ранней остановкой результаты, отличные от более стандартной регрессии с L2-штрафом, но обнаружили очень небольшую разницу. Мы реализовали регуляризованную логистическую регрессию L2 с помощью scikit-learn (Pedregosa et al., 2011) с коэффициентами регуляризации от 10 −6 до 10 4 . Для каждого из трех бутстрапов мы подбирали модель для 90% данных и оценивали потери на 10%, чтобы выбрать лучший коэффициент регуляризации.Затем мы взяли средний коэффициент регуляризации, найденный по бутстрапам, и использовали его для корректировки модели на всем обучающем наборе. Мы сравнили результаты этой процедуры с результатами, использовавшими подход раннего прекращения, и обнаружили, что в среднем регрессия с ранним прекращением работала немного лучше. Для всех категорий с AUC> 0,5 для любого метода регрессии AUC ранней остановки были в среднем выше на 0,09, а 59,0% категорий лучше декодировались моделью ранней остановки, чем регуляризацией L2.Эти различия, по-видимому, связаны с тем, что ранняя остановка намного лучше справляется с категориями с небольшим количеством положительных примеров.
Чтобы избежать переобучения, выходные данные модели были сглажены до исходной априорной вероятности. Мы предположили, что бета-версия распределена по выходным данным модели, со средним значением, равным условной априорной вероятности для каждой категории. Затем мы подбираем параметр масштабирования η так, чтобы P * (Si | S \ i, R) = P (Si | S \ i, R) + ηPi, 01 + η максимизировал логарифмическую вероятность 1 мин удерживаемых данных (где P ( S i | S \ i , R ) — результат логистической модели для ярлыка i th с учетом ярлыков других категорий и ответов, и P i , 0 — это априорная вероятность увидеть i -ю метку при наличии ее гиперонимов).Эта сглаженная вероятность использовалась во всех последующих анализах.
Затем все модели отдельных категорий были объединены, чтобы сформировать модель HLR, которая описывает полное распределение вероятностей по всем меткам сцены.
Оценка моделис шумом на этикетке
Одна потенциальная проблема с описанным выше подходом логистической регрессии заключается в том, что присвоенные вручную метки категорий в наборе данных оценки модели могут быть неточными или зашумленными. Чтобы учесть эту возможность, мы повторно оценили модели логистической регрессии для одного субъекта, используя метод из (Bootkrajang and Kabán, 2012), который итеративно оценивает матрицу вероятности переворота метки 2 × 2 для каждой категории, где первая строка представляет собой вероятность получение метки 0 или 1 при условии, что истинная метка равна 0, а вторая строка — это вероятность получения 0 или 1 при условии, что истинная метка равна 1.Мы дважды переоценили каждую модель логистической регрессии: сначала инициализировали все веса модели до нуля, а затем инициализировали веса модели значениями, найденными с помощью нашего более раннего подхода логистической регрессии. В обоих случаях мы инициализировали вероятность ошибки метки (т. Е. Недиагональные значения в матрице переворачивания метки) равной 0,1. Для обоих условий матрица переворачивания быстро сходилась к единичной матрице почти в каждой категории. Максимальная оценочная вероятность ошибки на этикетке равнялась 0.0086 (т.е. менее 1%). Это говорит о том, что матрицы переворачивания меток для этого эксперимента практически неотличимы от единичной матрицы. Вероятно, это связано с тем, что наши стимулы были помечены вручную одним человеком, а не с использованием краудсорсингового подхода, такого как Механический турок Amazon.
Оценка модели
Анализ рабочих характеристик приемника (ROC)
Для каждой временной точки в наборе данных проверки мы спрогнозировали вероятность того, что каждая категория присутствовала в стимуле, используя HLR.Затем ROC-анализ был использован для оценки производительности декодирования модели для каждой категории. Для выполнения ROC-анализа мы постепенно увеличивали порог обнаружения с нуля до единицы. Для каждого порога мы вычислили количество ложноположительных обнаружений (точки, где прогнозируемый временной ход выше порогового значения, но категория отсутствует) и истинно положительных обнаружений (когда прогнозируемый временной ход выше порогового значения, а категория фактически равна присутствует в стимуле). Затем мы построили график истинно положительной скорости (TPR) против ложноположительной скорости (FPR) для всех пороговых значений, создав кривую ROC.
Обычной статистикой, используемой для измерения эффективности обнаружения, является площадь под кривой ROC (AUC). Значение AUC, равное 1,0, представляет идеальное декодирование, при котором вероятность декодирования для любого момента времени, в котором категория фактически присутствует, выше, чем вероятность декодирования для каждого момента времени, в котором категория отсутствует. Мы определили уровень вероятности AUC, перетасовывая фактические двоичные метки для каждой категории во времени. Блоки из четырех ТУ перетасовывались 1000 раз, чтобы получить новые временные курсы с той же априорной вероятностью и автокорреляционной структурой, аналогичной исходным данным (мы протестировали блоки других размеров, но не обнаружили разницы в результатах).Затем вычислялась AUC для каждого из 1000 перетасованных временных курсов, и нулевое распределение AUC соответствовало бета-распределению с центром на 0,5. Наконец, мы вычислили вероятность получения фактического AUC при этом распределении. Фактическая AUC была объявлена значимой, если ее вероятность при этом нулевом распределении была ниже порога значимости. Пороги значимости были определены путем применения процедуры Бенджамини-Хохберга (Benjamini and Hochberg, 1995), чтобы ограничить частоту ложных открытий q (FDR) при множественных сравнениях до 0.01.
Модель правдоподобия
Анализ ROC проверяет, насколько хорошо каждая категория декодируется за все время. Однако также важно проверить, насколько хорошо все категории декодируются в каждый момент времени. Чтобы проверить это, мы рассчитали вероятность фактических меток категорий в каждый момент времени с учетом декодированных вероятностей категорий. Эта вероятность была вычислена как произведение вероятностей получения фактической двоичной метки для каждой категории в рамках модели. Для нулевой модели мы использовали априорную вероятность согласно набору данных оценки модели, которая была постоянной во времени.Затем мы количественно оценили производительность модели как отношение относительного логарифмического правдоподобия между моделью HLR и нулевой моделью. Чтобы оценить уровень вероятности, мы перетасовали выходные данные модели для каждой категории по времени 100000 раз, пересчитывая логарифмическое отношение правдоподобия при каждой перетасовке. Относительное логарифмическое правдоподобие было объявлено значимым, если вероятность при перетасованном распределении была ниже порога значимости ( p < 0,01 ).
Результаты
Характеристики декодирования для отдельных категорий
На рисунке 3 показана производительность декодирования модели HLR для одного субъекта для нескольких различных категорий: разговор, животное, транспортное средство и вещь (аналогичные графики для других шести субъектов показаны на дополнительных рисунках 1–7).Панели в левой части рисунка показывают временной ход декодированной категории в наборе данных проверки модели. Заштрихованные области указывают периоды, когда категория действительно присутствовала. Панели в правой части рисунка показывают кривую рабочей характеристики приемника (ROC) для декодера соответствующей категории. Заштрихованная область под кривыми ROC показывает плотность нулевого распределения кривых ROC, которая была определена путем перетасовки. Все AUC, показанные на этом рисунке, значительно больше, чем ожидалось случайно (q (FDR) <0.01).
Рис. 3. Временные курсы декодирования и характеристики декодирования одного предмета для четырех отдельных категорий . Результаты для четырех из 479 категорий, расшифрованных в этом исследовании. ( Left ) Каждая строка дает декодированную вероятность того, что определенная категория объекта или действия присутствовала в фильме с течением времени. Синие линии показывают вероятность декодирования, а серые области показывают моменты времени, когда категория действительно присутствовала в фильме. Расшифрованные вероятности для глагола говорить и существительного животное высоки, когда присутствуют эти категории, и ниже в другое время.Однако вероятности не точны по времени. Например, на 2,7 мин после начала фильма разговор появляется для одного момента времени, но декодированная вероятность требует нескольких моментов времени для повышения и понижения. Расшифрованные вероятности для существительного , транспортного средства и существительного , вещи (в частности, thing.n.12 , который включает такие разные категории, как водоем и часть тела ) менее точны, чем talk или животное .Однако модель декодирования правильно приписывает низкую достоверность своим предсказаниям, о чем свидетельствует тот факт, что вероятность декодирования для вещь колеблется около предшествующего значения 0,32. ( справа ) Анализ рабочих характеристик приемника (ROC), обобщающий общую точность декодирования для каждой из четырех категорий. ROC строит график истинных положительных результатов (TPR) как функцию ложных положительных результатов (FPR) декодера. Производительность декодера показана синим цветом. Эффективность была определена путем перетасовки временного курса стимула и пересчета кривой ROC (см. Методы).Распределение кривых на 1000 перетасовок показано на том же графике серым цветом. Площадь под кривой ROC (AUC) показана на каждой панели, а значимые значения (q (FDR) <0,01) отмечены звездочкой. Кривые ROC показывают, что и talk , и animal декодируются точно, но vehicle и thing декодируются не очень хорошо. Аналогичные графики для других шести субъектов показаны на дополнительных рисунках 1–7.
В первой строке рисунка 3 показан временной график для глагола talk .Вероятности декодирования очень высоки, когда talk происходит в фильме, и относительно низки в другое время. В декодированной временной шкале нет ложноположительных пиков. Однако декодированный временной ход не является точным во времени: для подъема и спада требуется несколько секунд. Например, на 2,7 мин после начала фильма разговор появляется для одного момента времени, но вероятность декодирования начинает расти на несколько временных точек раньше, а затем требуется несколько временных точек, чтобы вернуться к базовому уровню после исчезновения категории.Эта временная неточность проявляется даже в том случае, если модель HLR включает ответы на множественные временные задержки, которые должны частично компенсировать вялый гемодинамический ответ. Это может быть связано с тем, что модель HLR декодирует категории в каждый момент времени независимо и не учитывает категории, декодированные для других моментов времени. Тем не менее, площадь под кривой ROC (AUC) составляет 0,918, демонстрируя, что декодер чрезвычайно точен. Это говорит о том, что кортикальное представление talk достаточно устойчиво, чтобы его можно было надежно декодировать с помощью фМРТ.
Во второй строке рисунка 3 показан расшифрованный временной график для категории животных . AUC для животных составляет 0,911, что снова указывает на чрезвычайно высокую точность декодера. Как и в случае с talk , это предполагает, что кортикальное представление животного достаточно устойчиво, чтобы его можно было надежно декодировать с помощью фМРТ.
В третьей строке рисунка 3 показан расшифрованный временной ход для категории транспортного средства (это общая категория, которая включает несколько более конкретных категорий, таких как автомобиль , мотоцикл и лодка ).Декодированный временной ход очень высок и составляет 6,1 мин, когда транспортное средство фактически присутствует в стимуле. Однако декодированный временной ход был низким в течение нескольких других периодов, когда присутствовало транспортное средство . В другое время, например 0,5 мин, декодированный временной ход высокий, но транспортное средство отсутствует. В этом случае AUC составляет 0,758, что указывает на удовлетворительную общую точность декодера. Это говорит о том, что кортикальное представление транспортного средства не так надежно или отличительно, как репрезентации говорит или животное .
В четвертой строке рисунка 3 показан декодированный временной ход для объекта категории . Thing (а именно thing.n.12 в WordNet) — это категория высокого уровня, которая включает такие категории, как часть тела и водоем . Декодированный временной ход всегда является промежуточным, и есть несколько случаев, когда вероятность декодирования была очень высокой или очень низкой. Точки времени, где объект действительно присутствовал в стимуле, имеют лишь незначительно более высокие вероятности декодирования, чем моменты времени, в которых объект не присутствовал.Значение AUC 0,694 является статистически значимым, но оно намного ниже, чем значение AUC, полученное для других категорий, представленных здесь. Это говорит о том, что корковое представление вещи не является отличительным, как представления других, более конкретных категорий. Мы полагаем, что это потому, что вещь — это искусственная категория, изобретенная WordNet, которая не сильно представлена в мозгу.
Качество декодирования для всех категорий
Результаты на Рисунке 3 показали, что декодер не одинаково успешен для всех категорий.Для дальнейшего изучения этой проблемы мы вычислили производительность декодирования (AUC) для всех категорий, которые появлялись как минимум в 3 временных точках в наборе данных проверки. На рисунке 4 мы показываем эти AUC в виде графика, организованного в соответствии со структурой семантической таксономии WordNet (аналогичные графики для каждого предмета в отдельности показаны на дополнительных рисунках 1–7; 30 наиболее декодируемых категорий по всем предметам перечислены в Дополнительная таблица 1). Здесь цвет каждого узла отражает AUC (интегрированную для всех субъектов), а насыщенность отражает уверенность в оценке AUC.
Рисунок 4. Графическая визуализация точности декодирования . Сюжет оформлен в соответствии с графической структурой WordNet. Кружки и квадраты обозначают 479 категорий, представленных в фильмах, используемых для проверки модели. Кружки обозначают предметы (существительные), а квадраты обозначают действия (глаголы). Производительность декодирования была агрегирована по всем предметам путем объединения декодированных вероятностных временных курсов. Размер каждого маркера обозначает площадь под кривой ROC (AUC) для этой категории в диапазоне от 0.5 к 1.0. Цвета маркеров обозначают значение p для AUC данной категории; более глубокий синий отражает большие значения p . Категории, для которых важна точность декодирования, отображаются закрашенными кружками (q (FDR) <0,01). AUC высок для некоторых общих категорий, таких как человек, млекопитающих и артефакт . Это низкий для других, таких как вещь, материя, инструмент и абстракция . Это говорит о том, что некоторые общие категории хорошо представлены в мозгу в масштабе, который можно измерить с помощью фМРТ, а другие нет.AUC обычно низок для определенных категорий, которые встречаются реже. Это не обязательно означает, что редко встречающиеся категории плохо представлены в мозгу; он может просто отражать недостаточные данные. AUC также низка для фоновых категорий, таких как завод , местоположение и атмосферное явление . Это может происходить из-за того, что испытуемые обычно не уделяют должного внимания этим категориям, если это не указано в явной форме. Подобные графики для каждого предмета в отдельности показаны на дополнительных рисунках 1–7.
Многие общие категории, такие как человек, млекопитающее, общение и структура , были декодированы точно, что позволяет предположить, что эти категории представлены конкретными последовательными паттернами активности мозга. Напротив, другие общие категории, такие как вещь и абстракция , были декодированы плохо, хотя мы можем точно декодировать гипонимы (или подчиненные категории) этих плохо декодированных общих категорий. Например, объект плохо декодирован, но его гипонимы водоем и часть тела декодированы точно.Это говорит о том, что часть тела и водоем представлены очень по-разному, поэтому линейная модель не может декодировать обе категории одновременно. Среди действий (обозначенных квадратными маркерами) мы обнаружили, что коммуникативные глаголы, глаголы путешествий и непереходные движения (например, прыжок , поворот ) обычно значительно и точно декодировались, в то время как глаголы потребления и переходные движения (например, перетащить, залить ) ) обычно декодировались плохо.
Производительность условного декодирования
Подход HLR предполагает, что ответы коры соответствуют таксономии WordNet, но в некоторых случаях это предположение, вероятно, неверно.Поэтому мы провели анализ, который показывает, какие гипернимые связи в WordNet не отразились на активности мозга. В рамках подхода HLR мы использовали WordNet для построения условных моделей, которые декодируют наличие данной категории, включая все ее гипонимы. Например, условная модель для автомобиля должна различать любой автомобиль (например, универсал , спортивный автомобиль и т. Д.) И любой другой автомобиль . Эти модели неявно предполагают, что все гипонимы любой данной категории вызывают аналогичные реакции в коре головного мозга (рис. 5).Если это предположение верно, то общая производительность декодирования будет хорошей, но может быть трудно различить категории гипонимов. Если это предположение неверно, то общая производительность декодирования будет низкой, но будет легко различать гипонимы.
Рис. 5. Условная AUC в сравнении с полной . HLR предполагает, что структура WordNet отражается в мозге. Однако это может быть не так. Если определенная группа категорий (показанная синими узлами в A ) сильно отражается в мозгу, то можно ожидать, что группа будет сильно отделима от всех других категорий.Эта ситуация показана графически в (B) , где воксельные ответы на несколько категорий нанесены на график в гипотетическом двухмерном пространстве отклика. Категории внутри группы отображаются синим цветом, а другие категории — серым. Воксельный ответ на категорию, которую мы пытаемся декодировать, показан в виде круга. Здесь синие категории легко линейно отделены от других категорий, что дает высокий общий AUC для выбранной категории. Другая ситуация показана в (C) , где сгруппированные категории не вызывают очень похожих ответов.Здесь выбранную категорию легче отличить от своих братьев и сестер, чем от других категорий, что приводит к высокому cAUC и более низкому общему AUC. Это говорит о том, что для группировок категорий на основе WordNet, которые не отражаются в мозге, cAUC будет значительно выше, чем общая AUC.
Мы использовали эту логику для построения теста для каждой гипернимой связи в подмножестве WordNet, используемом в этом исследовании. Для каждой категории мы вычислили условную AUC (cAUC), используя только моменты времени в наборе данных проверки, когда присутствовали все гиперонимы этой категории.Таким образом, cAUC показывает, насколько хорошо категорию можно отличить от своих братьев и сестер. Затем мы сравнили cAUC с общим AUC для каждой категории. Если cAUC была значительно выше, чем общая AUC, то мы пришли к выводу, что предполагаемая взаимосвязь между этой категорией и ее гипернимом не отражается на активности мозга.
Результаты этого анализа показаны на рисунке 6. Здесь cAUC для каждой категории нанесен на тот же график WordNet, что и на рисунке 4. Размер и цвет каждого узла отражают cAUC соответствующей категории.Для категорий, в которых cAUC значительно выше, чем общий AUC, граница, связывающая эту категорию с ее гиперонимом, окрашена в красный цвет (все значимые взаимосвязи перечислены в дополнительной таблице 2). В общей сложности мы обнаружили, что 17 отношений, приведенных в WordNet, существенно не соответствовали ответам мозга. Некоторые из существенно противоречивых отношений выделяют категории, которые технически связаны, но сильно отличаются от своих братьев и сестер. Например, растение — единственная неживая ветвь организма , лошадь — единственная лошадь, на которой ездят люди, а пингвин — единственная нелетающая морская птица .Между категориями очень высокого уровня появляются и другие существенно противоречивые отношения, вероятно, отражающие трудный выбор, сделанный при разработке WordNet. Например, отношения между thing (а именно thing.n.12 ) и его гипонимами часть тела и водоем кажутся искусственными. В целом, эти результаты показывают несколько взаимосвязей категорий, которые следует пересмотреть, если WordNet будет использоваться для дальнейшего моделирования реакций мозга.
Рисунок 6.Графическая визуализация точности декодирования после кондиционирования по родительским категориям . Производительность декодирования для каждой из 479 категорий, обусловленная присутствием их гиперонима в сцене, объединенная по предметам. Рисунок устроен так же, как на рисунке 4. Условная AUC (cAUC) была вычислена только в моменты времени, когда присутствуют гиперонимы категории, что заставляет модель различать родственные категории. Если cAUC для категории больше, чем полный AUC, это означает, что категорию легче отличить от своих братьев и сестер, чем от других категорий.Значимость этой разницы оценивалась для каждого ребра в графе WordNet. Если категория значительно меньше похожа на своих братьев и сестер, чем можно было бы ожидать, ее край окрашивается в красный цвет. Таким образом, связи WordNet между категориями, которые не связаны между собой в мозгу, отображаются красным цветом. Края между предмет и его гипонимом водоем и часть тела кажутся красными, потому что эти категории не представлены одинаково в мозгу. Кроме того, граница между организмом и растением кажется красной, вероятно, потому, что растение является единственным неживым гипонимом организма . (S (t) | R).Чтобы сравнить с уровнем производительности, который можно было бы ожидать случайно, мы нормализовали это значение на априорную вероятность фактических категорий: P 0 ( S ). Здесь мы аппроксимировали P 0 ( S i ), установив его равным доле времени, в течение которого категория S i присутствовала в фильмах, используемых для оценки параметров модели. . Таким образом, вероятность декодированной категории относительно предыдущей для каждого момента времени определяется выражением:
Рисунок 7 показывает относительную логарифмическую вероятность во времени, усредненную по субъектам (аналогичные графики, показывающие данные для каждого субъекта отдельно, показаны на дополнительных рисунках 1–7).Логарифмические отношения правдоподобия больше нуля указывают периоды, когда оценки модели HLR относительно более вероятны, чем предыдущие, а логарифмические отношения меньше нуля указывают периоды, когда модель относительно менее вероятна, чем предыдущая. На этом рисунке показано, что одни периоды в фильме декодируются лучше, чем другие. Изучение стимулов, появившихся во время пиков и спадов в производительности декодирования, показывает, что декодирование наиболее точно для подводных сцен и сцен, в которых присутствует один человек.Эти сцены содержат только несколько категорий, каждая из которых хорошо смоделирована декодером. Мы наблюдаем слабую тенденцию к более низким относительным логарифмическим отношениям, когда количество категорий в сцене больше (см. Дополнительный рисунок 8), а декодирование относительно плохое для сцен, которые содержат необычные категории (например, сцена крупным планом, в которую наливают вино. бокал) и для временных точек, содержащих переходы между сценами.
Рис. 7. Общая производительность декодирования в каждый момент времени для всех категорий объектов и действий .Здесь результаты в каждый момент времени были усреднены по всем пяти предметам. Точность декодирования выражается как логарифмическая вероятность фактических меток категорий для данной модели относительно априорной вероятности того, что каждая категория присутствует. Значения, равные нулю, указывают на то, что модель работает так хорошо, как можно было бы ожидать, просто предполагая, основываясь на априорных вероятностях. Заштрихованные области показывают, что производительность значительно выше вероятности ( p <0,01 без исправлений, тест перестановки). Вверху показаны два примера хорошо декодированных моментов времени.На одном изображен идущий человек, на другом - подводная сцена, изображающая косяк рыб. Это простые и стереотипные сцены, которые можно точно декодировать. Внизу показаны два примера плохо декодированных моментов времени. Один - это переход между сценами прыжка лошади и пьющей женщины, другой - крупным планом глаза оленя. Сцена перехода не может быть декодирована точно из-за плохой временной точности декодера. Глаз оленя - нетипичная сцена, которая редко встречается в стимулах, используемых для оценки воксельных моделей.Подобные графики, показывающие данные по каждому предмету отдельно, показаны на дополнительных рисунках 1–7.
Сравнение оригинальных фильмов с декодированными категориями
Чтобы обеспечить интуитивно понятную и доступную демонстрацию производительности HLR-декодера, мы создали составное видео, которое показывает стимулирующий фильм слева и категории с наивысшей вероятностью декодирования справа (см. Дополнительное видео 1). Размер каждой метки соответствует прогнозируемой вероятности наличия категории.Обратите внимание, что показанные здесь стимулы взяты из набора для проверки модели и не использовались для обучения декодера. Эта демонстрация показывает, что декодер успешно восстанавливает информацию о многих категориях независимо от конкретного содержания фильма.
Отображение весов моделей декодирования в Cortex
Поскольку декодер HLR, кажется, способен восстанавливать многие категории объектов и действий из ЖИРНЫХ ответов, естественно возникает вопрос, какие воксели используются для декодирования каждой категории.Однако обратите внимание, что результаты декодирования следует интерпретировать с осторожностью; вопрос о том, какие воксели участвуют в декодировании, не эквивалентен вопросу о том, какие воксели представляют информацию о категории (Haufe et al., 2014; Weichwald et al., 2015). Вокселы, которые имеют малые (или нулевые) веса декодирования для категории, могут по-прежнему представлять информацию об этой категории, но если воксель также представляет информацию о других категориях, то это может быть не особенно полезно для декодирования. И наоборот, вокселы, которые имеют большие веса декодирования, могут не представлять информацию о категории, но вместо этого могут быть коррелированы (или антикоррелированы) с шумом в вокселях, которые действительно представляют эту категорию.Эти проблемы интерпретации гораздо менее серьезны для моделей кодирования (Huth et al., 2012), которые предсказывают ответы на стимулы, а не предсказывают стимулы на основе ответов. Вокселы, которые имеют небольшие веса модели кодирования для категории, скорее всего, не участвуют в представлении этой категории. Вокселы с большими весами модели кодирования либо напрямую реагируют на категорию, либо на какой-либо аспект стимула, который коррелирует с категорией. По этим причинам мы направляем читателей, интересующихся тем, как эти категории представлены в коре головного мозга, к нашему исследованию модели кодирования, в котором использовался тот же набор данных, что и проанализированный здесь (Huth et al., 2012).
Чтобы проиллюстрировать сложность интерпретации весов модели декодирования, мы нанесли веса декодирования и кодирования для одной категории, человека.n.01 , на плоские корковые карты для одного субъекта (рис. весь набор данных, а не только временные точки, содержащие гиперонимы человека ()). Более ранние исследования показали, что некоторые области мозга избирательно реагируют на человеческие лица и тела, включая веретеновидную и затылочную области лица [FFA Kanwisher et al., 1997 г. и OFA Kanwisher et al., 1997; Halgren et al., 1999] и экстрастриарной области тела (EBA Downing et al., 2001). Поэтому можно наивно ожидать, что вокселям во всех этих областях будут присвоены большие положительные веса в модели декодирования для человек . Однако модель декодирования имеет большие веса только в областях лица (FFA и OFA), но не в области тела (EBA). Таким образом, прямая интерпретация весов модели декодирования приведет к выводу, что EBA не представляет информацию о людях.Напротив, модель кодирования имеет высокий вес в EBA, а также в областях лица, демонстрируя, что EBA, как и ожидалось, действительно реагирует на присутствие людей. Так почему же модель декодирования проигнорировала EBA? Одна возможность предлагается нашим более ранним исследованием модели кодирования, которое показало, что EBA реагирует как на животных, так и на людей, но что FFA и OFA относительно более избирательны для человеческих лиц (Huth et al., 2012). Основываясь на результатах этих моделей кодирования, вывод модели декодирования о том, что EBA не представляет информацию о людях, кажется ложным.Вместо этого мы должны сделать вывод, что EBA представляет информацию о людях в дополнение к другим категориям. Этот пример показывает, что прямая интерпретация весов декодирования может легко привести к ошибочным выводам, и поэтому ее следует избегать, когда это возможно. Вместо этого на вопросы о корковом представительстве следует отвечать, используя подходы кодирования.
Рис. 8. Сглаженные кортикальные карты, показывающие пример веса модели декодирования и кодирования для одной категории . Мы построили веса моделей декодирования и кодирования для одной категории — человека.№ 01 , по одной теме. Для этой визуализации мы построили модель прямого логистического декодирования для этой категории (т. Е. Мы не ограничились ее гиперонимами). Мы усреднили веса декодирования по трем задержкам в каждом из 5000 вокселей, а затем изменили масштаб полученных средних весов, чтобы получить стандартное отклонение 1,0. Точно так же мы усреднили веса кодирования для тех же 5000 вокселей по трем задержкам, а затем изменили масштаб результатов. Для модели декодирования мы видим большие положительные веса в затылочной области лица (OFA) и веретенообразной области лица (FFA), предполагая, что активность в этих областях предсказывает присутствие человека в визуальной сцене.Для модели кодирования мы также видим положительные веса в OFA и FFA, но некоторые из наиболее положительных весов появляются в экстрастриарной области тела (EBA). Это говорит о том, что присутствие человека в визуальной сцене предсказывает реакцию EBA. Однако отсутствие больших весов EBA в модели декодирования предполагает, что ответы EBA не специфичны для наблюдения за человеком. Это иллюстрирует сложность, присущую интерпретации весов из модели декодирования.
Обсуждение
В этом исследовании мы показали, что можно точно декодировать наличие или отсутствие многих категорий объектов и действий в естественных фильмах по жирным сигналам, измеренным с помощью фМРТ.К ним относятся общие категории, такие как животное и структура , особые категории, такие как собака и стена , а также действия, такие как talk и run . Однако точность декодирования для одних категорий была лучше, чем для других. В частности, мы обнаружили, что точность декодирования в целом была лучше для сцен, содержащих относительно меньше категорий, чем для сцен, содержащих относительно большее количество категорий. Это говорит о том, что количество связанной с категорией информации, доступной в ЖИРНЫХ сигналах в каждый момент времени, ограничено.
Наш декодер использовал модель HLR, основанную на графической структуре WordNet, семантическую таксономию, созданную вручную группой лингвистов (Miller, 1995). Этот иерархический подход имеет две важные особенности, которые делают его привлекательным для расшифровки категорий естественных стимулов. Во-первых, он предоставляет средства для одновременного декодирования информации на многих различных уровнях детализации. Это жизненно важно для декодирования естественных стимулов, когда неясно, какой уровень детализации следует использовать для описания какого-либо конкретного объекта или действия.Например, один и тот же объект можно правильно обозначить как автомобиль , автомобиль, спорткар или Ford Mustang . Посредством одновременного декодирования всех уровней детализации модель HLR обходит вопрос о том, какой уровень является наиболее подходящим: сцена имеет некоторую вероятность содержать автомобиль , некоторую вероятность содержит автомобиль и так далее. Это позволяет модели HLR декодировать относительно более общие категории, когда определенные категории встречаются нечасто или когда их трудно различить с помощью данных мозга.Например, HLR может показать, что сложно декодировать конкретную категорию Ford Mustang , но легко декодировать автомобиль общей категории . Использование нескольких уровней детализации также позволяет HLR обобщить на новые категории: даже если Ford Mustang не появился в наборе данных оценки модели, HLR может декодировать присутствие автомобиля на основе более ранних примеров этой категории.
Вторая важная особенность модели HLR заключается в том, что она использует отношения между категориями для рационального ограничения результатов декодирования.Если бы эти ограничения не были включены, одновременное декодирование иерархически связанных категорий легко могло бы привести к бессмысленным результатам. Например, простой одновременный декодер может обнаружить, что вероятность конкретной сцены, содержащей автомобиль , выше, чем вероятность этой сцены, содержащей автомобиль . Это было бы невозможно, так как каждый автомобиль также является автомобилем . HLR позволяет избежать этой проблемы, ограничивая вероятность декодирования любой категории не более чем равной вероятности декодирования гиперонимов этой категории в WordNet.Этот подход основан на идее, известной как «структурированный результат» или «иерархическое обучение» (DeCoro et al., 2007; Silla and Freitas, 2011), области машинного обучения, связанной с проблемами, в которых выходные данные, как известно, имеют определенные статистические данные. структура. В проблеме декодирования, которую мы здесь рассматриваем, структура вывода определяется иерархией категорий WordNet и знанием того, что категория никогда не может присутствовать, если не присутствуют ее гиперонимы. Эта информация включается в модель с использованием так называемой «местной» или «родственной» политики для выбора отрицательных обучающих примеров для каждой категории (Wiener et al., 1995; Силла и Фрейтас, 2011). Эта номенклатура исходит из того факта, что отрицательные примеры для каждой категории выбираются как моменты времени, когда присутствуют братья и сестры категории (и, таким образом, родитель категории присутствует), но где сама категория отсутствует. Этот подход также может сделать оценку модели более эффективной с точки зрения вычислений без снижения производительности, поскольку он использует только соответствующие обучающие примеры (Fagni and Sebastiani, 2007).
Одна потенциальная проблема с подходом HLR заключается в его неявном предположении, что все гипонимы категории вызывают сходные реакции мозга.Это может привести к проблемам, поскольку отношения категорий исходят из WordNet, которая представляет собой созданную вручную семантическую таксономию и, следовательно, не гарантирует отражения активности мозга. Чтобы решить эту проблему, мы протестировали каждую из взаимосвязей, указанных в подмножестве WordNet, охватываемом нашими стимулами. Это было сделано путем изучения того, насколько легко можно отличить каждую категорию от своих братьев и сестер по одному и тому же гиперониму.
Мы обнаружили, что два конкретных типа отношений WordNet не отражаются в корковых представлениях.Первые — это отношения, которые технически правильны, но в которых конкретная категория не может разделять многие функции с общей категорией. Например, взаимосвязь между растением и организмом не отразилась на мозговой деятельности, вероятно, потому, что растение является единственным неодушевленным гипонимом организма . Второй тип — это отношения, которые кажутся слишком академичными и могут быть характерны для WordNet. Например, отношения между штукой.№ 12 и его гипонимы часть тела и водоем не отражались в мозговой деятельности, вероятно, из-за того, что часть тела и водоем не относятся к аналогичным категориям по большинству показателей. Возможно, изменение иерархии WordNet путем удаления или изменения этих плохо представленных отношений на самом деле улучшит производительность декодирования. Изменение WordNet на основе данных мозга также может оказаться полезным для понимания того, как категории представлены в мозге.В будущих исследованиях можно даже заменить WordNet иерархией, полностью изученной на основе данных мозга. Попытки построить иерархию категорий непосредственно из данных мозга уже дали правдоподобные результаты для нескольких категорий (Kriegeskorte et al., 2008).
Одной из альтернатив подхода HLR могло бы быть декодирование только категорий «базового уровня» (Rosch et al., 1976). Это упростило бы некоторые аспекты моделирования, поскольку избавило бы от необходимости учитывать отношения между категориями.Кроме того, категории базового уровня могут быть лучше представлены в коре головного мозга, чем категории высшего или подчиненного уровня (Iordan et al., 2015). Однако декодер базового уровня не будет таким мощным, как декодер HLR. Во-первых, категория базового уровня конкретного объекта сильно зависит от контекста (Rosch, 1978). Например, наблюдатели могут согласиться с тем, что категория базового уровня для определенного объекта в городской сцене — это автомобиль , но тот же объект, который видели в автосалоне, можно было бы назвать спортивным автомобилем .Неясно, имеет ли смысл в этой ситуации оценивать отдельные модели декодирования для автомобиля и спорткара . Во-вторых, для декодера категорий базового уровня было бы невозможно обобщить на новые категории. Например, предположим, что несколько сцен в наборе данных проверки содержали поезда , но эти поезда не появились в наборе данных оценки. Хотя ни модель HLR, ни декодер базового уровня не смогут напрямую декодировать присутствие train , модель HLR могла бы декодировать присутствие транспортного средства на основе других примеров, таких как автомобили, лодки и самолеты.
Другой альтернативой модели HLR могло бы быть представление категорий не как двоичных переменных, а как векторов признаков, вероятностей темы (Stansbury et al., 2013) или значений совместной встречаемости из больших текстовых корпусов (Mitchell et al., 2008 ; Turney, Pantel, 2010; Wehbe et al., 2014; Huth et al., 2016). Этот тип модели будет иметь несколько преимуществ перед двоичными декодерами. Во-первых, основанный на признаках декодер может улучшить обобщение, потому что он потребует только, чтобы все признаки присутствовали в стимуле оценки, и не обязательно, чтобы присутствовала каждая отдельная категория.Во-вторых, модель HLR предполагает, что каждая категория не зависит от любой другой категории с учетом ее гиперонимов. Во многих случаях это предположение явно неверно (Blei et al., 2003; Stansbury et al., 2013). Например, хотя car и road являются дальними родственниками в таксономии WordNet, они сильно коррелируют в естественных стимулах. Декодер, учитывающий эти статистические взаимосвязи, может комбинировать информацию из категорий, которые не связаны напрямую в таксономии WordNet, что потенциально может улучшить производительность декодирования.
В последние годы область чтения мозга вызвала значительный интерес как у ученых, так и у общественности. Каждое усовершенствование технологии измерения мозга приближает нас к цели создания универсального устройства для считывания состояния мозга человека. С этой целью разработанная здесь модель HLR улучшила нашу способность одновременно декодировать множество переменных, соблюдая при этом некоторые статистические зависимости между ними. Тем не менее, многие проблемы, связанные с чтением мозга, остаются нерешенными.Мы считаем, что наиболее важным теоретическим ограничением является то, что все современные методы (включая HLR) предполагают независимость между переменными, которые на самом деле не являются независимыми. Одним из примеров является предположение, что каждая категория в сцене возникает независимо, как обсуждалось выше. Другой пример — это предположение, что стимулы независимы от момента времени к моменту времени. Ослабление этих предположений должно улучшить производительность будущих декодеров мозга. Будущий идеальный декодер должен улавливать как можно больше этих зависимостей между переменными стимула, тем самым сводя к минимуму количество информации, необходимой для декодирования стимулов.
Авторские взносы
AH и TL разработали и выполнили анализ при участии NB, JG, SN и AV. AH, NB, AV и SN собрали данные. С.Н. разработал стимул. AH пометил семантические категории в стимуле. AH и TL написали статью при участии NB, SN, JG и AV. JG курировал все этапы исследования.
Заявление о конфликте интересов
Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.
Благодарности
Мы хотели бы поблагодарить Джеймса Гао и Толгу Чукур за их помощь в этом проекте. Работа была поддержана грантами Национального института глаз (EY019684), Центра науки информации (CSoI) и Научно-технологического центра NSF в рамках соглашения о гранте CCF-0939370. AH также поддерживалось нейролингвистическим сообществом Уильяма Орра Дингуолла.
Дополнительные материалы
Дополнительные материалы к этой статье можно найти в Интернете по адресу: https: // www.frontiersin.org/article/10.3389/fnsys.2016.00081
Список литературы
Бенджамини Ю. и Хохберг Ю. (1995). Контроль уровня ложного обнаружения: практичный и эффективный подход к множественному тестированию. J. R. Stat. Soc. Сер. В . 57, 289–300.
Google Scholar
Блей Д. М., Нг А. Ю. и Джордан М. И. (2003). Скрытое размещение Дирихле. J. Mach. Учить. Res. 3, 993–1022.
Google Scholar
Буткраджанг, Дж., и Кабан, А. (2012). Метка-шум Робастная логистическая регрессия и ее приложения . Lect Notes Comput Sci (включая Subser Lect Notes Artif Intell Lect Notes Bioinformatics) 7523 LNAI, 143–158.
Бойнтон, Г. М., Энгель, С. А., Гловер, Г. Х. и Хигер, Д. Дж. (1996). Анализ линейных систем функциональной магнитно-резонансной томографии у человека V1. J. Neurosci. 16, 4207–4221.
PubMed Аннотация | Google Scholar
Карлсон, Т.А., Шратер, П., и Он, С. (2003). Паттерны деятельности в категориальных представлениях предметов. J. Cogn. Neurosci. 15, 704–717. DOI: 10.1162 / jocn.2003.15.5.704
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Кокс, Д. Д., и Савой, Р. Л. (2003). Функциональная магнитно-резонансная томография (фМРТ) «чтение мозга»: обнаружение и классификация распределенных паттернов активности фМРТ в зрительной коре головного мозга человека. Neuroimage 19, 261–270. DOI: 10.1016 / S1053-8119 (03) 00049-1
PubMed Аннотация | CrossRef Полный текст | Google Scholar
ДеКоро, К., Баруткуоглу, З., Фибринк, Р. (2007). «Байесовское агрегирование для иерархической классификации жанров» в ISMIR (Вена).
Google Scholar
Даунинг П. Э., Цзян Ю., Шуман М. и Канвишер Н. (2001). Область коры, отобранная для визуальной обработки человеческого тела. Наука 293, 2470–2473. DOI: 10.1126 / science.1063414
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Fagni, T., and Sebastiani, F. (2007).«О выборе отрицательных примеров для иерархической категоризации текста», в материалах Proceedings 3rd Lang Technology Conference (Познань), 24–28.
Google Scholar
Халгрен, Э., Дейл, А. М., Серено, М. И., Тутелл, Р. Б., Маринкович, К., и Розен, Б. Р. (1999). Расположение избирательной коры человеческого лица по отношению к ретинотопным областям. Хум. Brain Mapp. 7, 29–37.
PubMed Аннотация | Google Scholar
Haufe, S., Meinecke, F., Görgen, K., Dähne, S., Haynes, J.D., Haynes, J.-D., et al. (2014). Об интерпретации весовых векторов линейных моделей в многомерной нейровизуализации. Neuroimage 87, 96–110. DOI: 10.1016 / j.neuroimage.2013.10.067
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Хаксби, Дж. В., Гоббини, М. И., Фьюри, М. Л., Ишаи, А., Схоутен, Дж. Л., и Пьетрини, П. (2001). Распределенные и перекрывающиеся изображения лиц и предметов в вентральной височной коре. Наука 293, 2425–2430. DOI: 10.1126 / science.1063736
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Хут, А. Г., Де Хеер, В. А., Гриффитс, Т. Л., Теуниссен, Ф. Э., и Джек, Л. (2016). Естественная речь раскрывает семантические карты, покрывающие кору головного мозга человека. Природа 532, 453–458. DOI: 10.1038 / nature17637
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Huth, A.G., Nishimoto, S., Vu, A.T., и Gallant, J.Л. (2012). Непрерывное семантическое пространство описывает представление тысяч категорий объектов и действий в человеческом мозгу. Нейрон 76, 1210–1224. DOI: 10.1016 / j.neuron.2012.10.014
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Иордан, М., Грин, М., Бек, Д., и Ли, Ф. (2015). Структура категорий базового уровня постепенно проявляется в вентральной зрительной коре человека. J. Cogn. Neurosci . 27, 1426–1446. DOI: 10.1162 / jocn_a_00790
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Канвишер, Н., Макдермотт, Дж., И Чун, М. М. (1997). Веретенообразная область лица: модуль в экстрастриальной коре головного мозга человека, специализирующийся на восприятии лица. J. Neurosci. 17, 4302–4311.
PubMed Аннотация | Google Scholar
Кригескорте, Н., Мур, М., Руфф, Д. А., Киани, Р., Бодурка, Дж., Эстеки, Х. и др. (2008). Сопоставление категориальных представлений объектов в нижней височной коре человека и обезьяны. Нейрон 60, 1126–1141. DOI: 10.1016 / j.neuron.2008.10.043
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Митчелл, Т.М., Шинкарева С.В., Карлсон А., Чанг К.-М., Малав В.Л., Мейсон Р.А. и др. (2008). Прогнозирование активности человеческого мозга, связанной со значениями существительных. Наука 320, 1191–1195. DOI: 10.1126 / science.1152876
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Населарис, Т., Пренгер, Р. Дж., Кей, К. Н., Оливер, М., и Галлант, Дж. Л. (2009). Байесовская реконструкция естественных изображений по активности мозга человека. Нейрон 63, 902–915.DOI: 10.1016 / j.neuron.2009.09.006
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Нисимото, С., Ву, А. Т., Населарис, Т., Бенджамини, Ю., Ю., Б., и Галлант, Дж. Л. (2011). Реконструкция визуальных впечатлений от мозговой активности, вызванной естественными фильмами. Curr. Биол. 21, 1641–1646. DOI: 10.1016 / j.cub.2011.08.031
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Педрегоса, Ф., Вароко, Г., Грамфор, А., Мишель, В., Тирион, Б., Grisel, O., et al. (2011). Scikit-learn: машинное обучение на Python. J. Mach. Учить. Res. 12, 2825–2830.
Google Scholar
Рош, Э. (1978). «Принципы категоризации», в «Познание и категоризация» , ред. Э. Рош и Б. Ллойд (Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум), 27–48.
Рош, Э., Мервис, К. Б., Грей, В. Д., Джонсон, Д. М., и Бойс-Брем, П. (1976). Основные объекты в природных категориях. Cogn. Psychol. 8, 382–439.DOI: 10.1016 / 0010-0285 (76)
-XCrossRef Полный текст
Силла, К. Н., Фрейтас, А. А. (2011). Обзор иерархической классификации по различным доменам приложений. Данные Мин. Знай. Discov. 22, 31–72. DOI: 10.1007 / s10618-010-0175-9
CrossRef Полный текст | Google Scholar
Стэнсбери Д. Э., Населарис Т. и Галлант Дж. Л. (2013). Статистика естественных сцен учитывает представление категорий сцен в зрительной коре головного мозга человека. Нейрон 79, 1025–1034. DOI: 10.1016 / j.neuron.2013.06.034
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Терни, П. Д., и Пантел, П. (2010). От частоты к значению: векторные пространственные модели семантики. J. Artif. Intell. Res. 37, 141–188. DOI: 10.1613 / jair.2934
CrossRef Полный текст | Google Scholar
Ван Эссен, Д. К., Друри, Х. А., Диксон, Дж., Харвелл, Дж., Хэнлон, Д., и Андерсон, К. Х. (2001). Интегрированный программный комплекс для поверхностного анализа коры головного мозга. J. Am. Med. Поставить в известность. Доц. 8, 443–459. DOI: 10.1136 / jamia.2001.0080443
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Wehbe, L., Murphy, B., Talukdar, P., Fyshe, A., Ramdas, A., and Mitchell, T. (2014). Одновременное выявление паттернов областей мозга, участвующих в различных подпроцессах чтения рассказов. PLoS ONE 9: e112575. DOI: 10.1371 / journal.pone.0112575
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Weichwald, S., Мейер, Т., Озденицци, О., Шёлкопф, Б., и Болл, Т. Гросс-Вентруп, М. (2015). Правила причинной интерпретации для моделей кодирования и декодирования в нейровизуализации. Нейроизображение 110, 48–59. DOI: 10.1016 / j.neuroimage.2015.01.036
PubMed Аннотация | CrossRef Полный текст | Google Scholar
Винер Э. Д., Педерсен Дж. О. и Вейгенд А. С. (1995). «Подход нейронной сети к определению тем», в Proceedings of SDAIR-95, 4th Annual Symposium on Document Analysis and Information Retrieval , (Las Vegas, NV), 317–332.
Google Scholar
Расшифровка взносов участников и вкладов работодателей — Миссури LAGERS
Джефф Пабст, CRC
Работодатели, которые сотрудничают с LAGERS, могут потребовать от сотрудников внести свой вклад. Работодатели могут выбрать размер взноса работника 0%, 2%, 4% или 6%. В этом блоге мы разберем различия между тем, что вы можете внести, и тем, что ваш работодатель вносит в LAGERS.
Взносы участников:
Когда работодатели выбирают членские взносы, каждый сотрудник, который работает на покрываемой должности в подразделении, должен внести сумму взноса сотрудника.Другими словами, вы не можете отказаться от взносов сотрудников. Однако взносы, которые вы делаете в LAGERS, плюс проценты, гарантированно будут возвращены вам либо в виде ежемесячного пособия в будущем, либо в виде возврата взносов. Кроме того, ваши взносы остаются после уплаты налогов. Таким образом, если у вас есть остаток взносов на момент выхода на пенсию, часть вашего ежемесячного пособия не будет облагаться налогом.
Ваши взносы не меняются, если только работодатель не изменит размер взноса работника.Сумму можно менять не чаще, чем раз в два года. Ваши взносы по функциям помогают финансировать ваше будущее пенсионное пособие. Например, если стоимость пособия вашего работодателя в настоящее время составляет 16%, а ваш работодатель требует, чтобы вы вносили 2%, ваш работодатель заплатит оставшиеся 14%.
Взносы работодателей:
Взносы работодателей представляют собой актуарный расчет, основанный на предположениях и опыте группы сотрудников, а также на экономических условиях.Говоря менее техническим языком, ставки взносов работодателей основаны на таких вещах, как текучесть кадров, выход на пенсию, повышение заработной платы, возврат инвестиций и многое другое. Для каждой из этих категорий у LAGERS есть предположение, основанное на многолетнем опыте, чтобы помочь спрогнозировать будущие вклады. Ежегодно актуарий LAGERS сравнивает все свои актуарные предположения с фактическим опытом. Это сравнение приводит к увеличению или уменьшению ставок взносов.
Риск увеличения взноса лежит на работодателе.Тем не менее, существует несколько защитных мер для плавного увеличения ставок взносов. Первый — это закон штата, согласно которому LAGERS не может увеличивать ставку взносов более чем на 1% в данном цикле оценки. Второй — использование сглаживания вложений. Это актуарный метод определения прибылей и убытков от инвестиций в течение длительного периода (5 лет). Механически инвестиционная прибыль или убытки делятся на 5-летний период, позволяя сглаживать скачкообразные подъемы и спады рынков для более постепенного увеличения и уменьшения.
Таким образом, членские взносы являются фиксированными, обязательными, гарантированными и после уплаты налогов. Взносы работодателей могут колебаться, определяются многими факторами, и существуют меры защиты, обеспечивающие стабильность ставок взносов. В любом случае, сотрудники и работодатели, вносящие необходимые взносы, обеспечивают стабильность финансирования LAGERS для вас и для будущих поколений.
Начата новаторская работа по декодированию языка китов
Холодным весенним утром 2008 года Шейн Геро услышал, как пара китов болтает.Геро, канадский биолог, выслеживал кашалотов у Карибского островного государства Доминика, когда два самца, младенцы из одной семьи, появились недалеко от его лодки. Животные по прозвищам Дроп и Даблбенд уткнулись носом в свои огромные квадратные головы и заговорили.
Кашалоты «говорят» щелчками, которые они издают ритмическими сериями, называемыми кодами. В течение трех лет Геро использовал подводные самописцы для записи кодов сотен китов. Но он никогда не слышал ничего подобного.Киты щелкали взад и вперед в течение 40 минут, иногда неподвижно, иногда закручивая свои серебряные тела вместе, как нити веревки, и редко замолкали надолго. Никогда еще Геро так отчаянно не хотел понять, о чем говорят киты. Ему казалось, что он подслушивает братьев, борющихся в своей комнате. «Они разговаривали, играли и были братьями и сестрами», — говорит он. «Было очевидно, что происходило так много всего».
В течение следующих 13 лет Геро, исследователь National Geographic Explorer, записал и познакомился с сотнями кашалотов.Но он продолжал возвращаться к открытию, которое поразило его, когда он слушал Drop and Doublebend: если бы люди когда-либо расшифровывали язык китов или даже определяли, обладают ли киты тем, что мы действительно могли бы назвать языком, нам нужно было бы соедините свои клики с контекстом. Ключом к разблокировке общения китов является знание того, кто эти животные и что они делают, издавая звуки.
Морской биолог Шейн Геро познакомился с сотнями кашалотов вокруг Доминики, в том числе из того, что он назвал Семейным отрядом F.Он и команда Project CETI надеются, что сопоставление щелчков китов с поведением поможет раскрыть значение их вокализации.
Пожалуйста, соблюдайте авторские права. Несанкционированное использование запрещено.
Одно из самых непреходящих желаний человечества — это завораживающая идея, что однажды мы сможем общаться с другими видами. За годы, прошедшие с момента открытия Геро, и отчасти из-за этого, потенциал преодоления этого разрыва в коммуникациях стал менее фантастическим. В понедельник группа ученых объявила, что они отправились в пятилетнюю одиссею, чтобы развить работу Геро с помощью передового исследовательского проекта, чтобы попытаться расшифровать, что кашалоты говорят друг другу.
Даже несколько лет назад такая попытка показалась бы безумием. Но эти усилия не будут полагаться только на Геро. В команду входят специалисты в области лингвистики, робототехники, машинного обучения и фотоаппарата. Они будут во многом опираться на достижения в области искусственного интеллекта, который теперь может переводить один человеческий язык на другой без помощи Розеттского камня или ключа. Этот квест, получивший название Project CETI (Инициатива перевода китообразных), вероятно, является крупнейшей попыткой межвидового общения в истории.
Эти ученые уже работают над созданием специализированных устройств для записи видео и звука. Они стремятся поймать миллионы китовых кодов и проанализировать их. Надежда состоит в том, чтобы раскрыть основную архитектуру китовой болтовни: какие единицы составляют китовое общение? Есть ли грамматика, синтаксис или что-то подобное словам и предложениям? Эти эксперты будут отслеживать, как киты ведут себя, когда щелкают или слышат щелчки. И используя прорыв в обработке естественного языка — ветвь искусственного интеллекта, которая помогает Alexa и Siri реагировать на голосовые команды, — исследователи попытаются интерпретировать эту информацию.
Слушайте кашалотов
Вокализации кашалотов, одни из самых громких звуков животных на планете, имеют структуру, подобную азбуке Морзе, которая разделяет признаки высокоразвитого языка.
Настройтесь на Secrets of the Whales , оригинальный сериал Disney + от National Geographic, премьера которого состоится 22 апреля 2021 года, и узнайте о секретной культуре косаток в нашем подкасте Overheard at National Geographic .
Ничего подобного еще не предпринималось.Мы обучили собак реагировать на наши команды, а дельфины научились имитировать человеческий свист. Мы научили шимпанзе и горилл использовать язык жестов и бонобо, чтобы отвечать на вопросы, нажимая символы на клавиатуре. Слон в Сеуле по имени Кошик может даже сказать несколько слов по-корейски — правда.
Но цель не в том, чтобы научить китов понимать людей. Чтобы понять, что кашалоты говорят друг другу, живя в дикой природе.
«Они звучат как азбука Морзе»Проект начался с другого морского биолога и с простого тщеславия: большие успехи часто достигаются, когда сотрудничают ведущие эксперты из разных быстро развивающихся дисциплин.
Дэвид Грубер также является исследователем National Geographic, но его интересы давно вышли за традиционные рамки. Профессор биологии и экологии из городского университета Нью-Йорка использовал подводные лодки для исследования коралловых рифов. Но он также обнаружил биофлуоресцентную морскую черепаху на Соломоновых островах, обнаружил, что стаи рыб-фонариков используют свой светящийся свет для координации движений, изучил молекулы, которые заставляют кошачьих акул и некоторых угрей светиться, и построил камеру, чтобы имитировать вид одной акулы. мир.Однажды он объединился с робототехником, чтобы разработать изящное устройство с шестью щупальцами, которое позволяет исследователям собирать медуз, не причиняя им вреда.
Лингвисты утверждают, что даже у самых умных животных, кроме человека, отсутствует система общения, которую можно было бы назвать языком. Но могут ли киты стать исключением?
В 2017 году, будучи научным сотрудником Института Рэдклиффа Гарвардского университета, ныряльщик Грубер увлекся кашалотами, самыми большими зубастыми китами, после прочтения книги о фридайверах, изучающих их.Однажды, когда он слушал китовую кодировку на своем ноутбуке, мимо прошел другой Рэдклифф, Шафи Гольдвассер.
«Это действительно интересно — они звучат как азбука Морзе», — вспоминает Грубер высказывание Гольдвассера. Она вела лекции для группы стипендиатов Рэдклиффа по машинному обучению, подполе искусственного интеллекта, которая использует алгоритмы для поиска и прогнозирования закономерностей в данных. Сегодня машинное обучение управляет всем: от поисковых систем до домашних роботов-пылесосов, таких как Roomba, и автономных транспортных средств.Она призвала Грубера поделиться кликами со своей группой Рэдклиффа.
В эту группу входили необычайно острые компьютерные умы. Гольдвассер — ученый-компьютерщик и один из ведущих мировых экспертов в области криптографии. Майкл Бронштейн, заведующий кафедрой машинного обучения в Имперском колледже Лондона, создал компанию по машинному обучению, которую позже продал Twitter для обнаружения фейковых новостей. Группу заинтриговала презентация Грубера. Может ли машинное обучение помочь людям понять общение животных?
Грубер увидел возможность.Он провел эклектическую карьеру, пытаясь привлечь людей к волшебству океанов, сосредоточив внимание на вещах, которые он считал замечательными, таких как кораллы, биофлуоресценция и медузы. Может быть, это был проект, который мог зажечь воображение публики, вдохновив людей упиваться тайнами и чудесами моря. «У меня была идея, что если я смогу заставить людей полюбить медуз, они смогут полюбить что угодно», — говорит Грубер. «Но в китах есть что-то, что действительно пробуждает человеческое любопытство.
Груберу нужно было поговорить с кем-то, кто разбирался в китах. Поэтому он нашел Геро, основателя проекта «Доминиканский кашалот», который отслеживает динамику китовых семей, и отправил ему электронное письмо. Геро согласился выслушать Грубера.
Лингвисты утверждают, что даже у самых умных животных, кроме человека, отсутствует система общения, которую можно было бы назвать языком. Но могут ли киты стать исключением? Человеческий язык развился, по крайней мере частично, чтобы опосредовать социальные отношения, и Геро показал, что кашалоты ведут сложную социальную жизнь. (Подробнее о культурах китов.)
У кашалотов самый большой мозг в животном мире, в шесть раз больше нашего. Они живут в социальных сетях, где доминируют женщины, и обмениваются кодами в виде дуэта стаккато, особенно когда они находятся на поверхности. Они разделяются на кланы, состоящие из сотен или тысяч человек, которые идентифицируют себя с помощью различных кодов кликов. В некотором смысле кланы говорят на разных диалектах. Киты также идентифицируют друг друга по определенным шаблонам щелчков, которые они, кажется, используют как имена.И они изучают свои коды так же, как люди изучают язык, бормоча щелчки в подростковом возрасте, пока не усвоят репертуар своей семьи.
На протяжении многих лет Геро идентифицировал сотни людей из двух больших кланов у побережья Доминики. Он может узнать многих с первого взгляда по уникальным отметкам на их лабиринтах. Анализируя ДНК из китовых фекалий и образцов кожи, он идентифицировал бабушек, тетушек, братьев и сестер.
И он вел подробные записи, включая тысячи исчерпывающе аннотированных записей щелчков, которые описывали, кто говорил, к какому клану они принадлежали, с кем были и чем занимались в то время.
В 1970 году революционный альбом представил миру «песни» горбатых китов. Спустя десятилетия ученые работают над расшифровкой их и других звуков китов. National Geographic Explorers Натали Синклер, исследователь горбатых китов, и эксперт по кашалотам Шейн Геро обсуждают, как изучение звуков китов меняет то, как мы их понимаем.
Этого было более чем достаточно для теста. Применяя методы искусственного интеллекта к некоторым звукам Геро, коллеги Грубера по машинному обучению обучили компьютер распознавать отдельных кашалотов по их звукам.Компьютер был прав более 94 процентов времени.
Взволнованный, Грубер собрал рабочую группу, чтобы развить этот многообещающий результат. Помимо компьютерных коллег Геро и Грубера по Рэдклиффу, есть китовый биолог Роджер Пейн, обладатель премии Макартура, который популяризировал завораживающие песни горбатых горбачей в 1960-х и 1970-х годах, помогая разжечь движение «Спасите китов». Роберт Вуд, робототехник из Гарварда, который вместе с Грубером сконструировал манипулятор с медузами и чья лаборатория построила самосгибающееся оригами и летающий дрон размером с насекомое.И есть Даниэла Рус, еще одна получательница Макартура и директор по информатике и искусственному интеллекту Массачусетского технологического института.
Они сошлись во мнении, что впервые у людей могут появиться инструменты, чтобы начать более тщательно понимать, о чем говорят животные — даже существа, которые живут в основном в темноте и охотятся на кальмаров на глубине тысячи футов ниже поверхности моря.
Тот факт, что эти животные почти полностью полагаются на акустическую информацию, может даже упростить задачу.В ресторане в нескольких кварталах от Гарвард-Ярда команда набросала планы новой программы Apollo, одна из которых была сосредоточена на переводе речи пришельцев из глубин. В какой-то момент кто-то даже предположил, что их работа, в случае успеха, может обеспечить основу для разговора с внеземной жизнью. «Я все смотрел вокруг, ожидая, пока кто-нибудь рассмеется, и не видел ничего, кроме множества кивков», — говорит Грубер.
Машинное обучение может стимулировать прорывыЭто не означает, что шансы в пользу ученых.
За последние несколько десятилетий мы многое узнали об уникальных способах общения животных. Луговые собачки меняют свои крики в зависимости от того, подходят ли к ним ястребы, койоты или люди. Они даже будут издавать разные звуки, если человек, которого они видят, высокий или низкий, одет в белое или красное. Некоторые виды обезьян издают отчетливые звуковые сигналы об опасности. При приближении леопарда они визжат иначе, чем при виде орла.
Все чаще открытиям в области коммуникации между животными помогает ИИ.С помощью машинного обучения исследователи в 2016 году расшифровали различия в звонках между египетскими летучими мышами, ссорящимися из-за еды, и теми, которые дерутся за места для отдыха. Крысы и мыши общаются намного дальше человеческого слуха. Преобразуя эти звуки в сонограммы и пропуская изображения через искусственные нейронные сети, в значительной степени вдохновленные схемами человеческого мозга, ученые в 2019 году связали разные звуки с различным поведением, таким как бегство от опасности или попытка привлечь помощника. Исследователи окрестили свой алгоритм DeepSqueak.
Кашалоты проводят у поверхности всего около 10 минут каждый час, поэтому исследователи создают множество аудио- и видеомагнитофонов, чтобы фиксировать то, что они говорят друг другу, глубоко под поверхностью. Затем искусственный интеллект будет искать закономерности в болтовне.
Пожалуйста, соблюдайте авторские права. Несанкционированное использование запрещено.
Эти идеи теперь возможны, потому что прорывы в машинном обучении произошли молниеносно в последнее десятилетие, поскольку алгоритмы становятся более сложными, а вычислительная мощность компьютеров резко возрастает.
Некоторое компьютерное обучение является «контролируемым», то есть ученые дают примеры алгоритмов, аннотированные людьми, для их обучения. Например, анализируя тысячи изображений с пометкой «кошки», алгоритмы могут научиться распознавать кошек на других фотографиях.
Но нейронные сети могут находить закономерности в таких вещах, как язык, без первоначальной помощи со стороны человека. Загрузив в сеть миллионы историй из Новостей Google вместе с фразами с недостающими элементами — «В _ или не быть», эта сеть смогла построить математическую модель языка.Затем эта модель усвоила ассоциации между словами, например, что «Париж» для «Франции», как «Рим» для «Италии». Такие модели теперь являются краеугольным камнем обработки естественного языка и используются, например, для прогнозирования того, будет ли отзыв о ресторане на Yelp отрицательным, или для обнаружения спама в электронной почте.
Но проблем много. Машинный перевод возможен для людей отчасти потому, что словесные ассоциации в разных языках обычно схожи; «Луна» и «небо»
относятся друг к другу так же, как французские слова «луна», и «ciel». «Что касается китов, большой вопрос заключается в том, присутствует ли вообще что-либо из этого», — говорит Джейкоб Андреас, эксперт по обработке естественного языка в Массачусетском технологическом институте и член команды Project CETI. «Есть ли в этой коммуникационной системе минимальные единицы, которые ведут себя как язык, и существуют ли правила для их соединения?»
Чтобы выяснить это, команда планирует использовать множество методов. Например, один из подходов к глубокой сети требует случайных попыток обрисовать в общих чертах систему правил для языка. Затем он проверяет, соответствуют ли «единицы» разговора этим правилам.Если они этого не делают, он вносит изменения и пытается снова. Компьютеры выполняют «этот процесс настройки и проверки правил очень быстро, повторяя его тысячи или миллионы раз, чтобы создать набор правил, которые хорошо справляются с объяснением данных», — говорит Андреас.
Конечно, прогресс зависит от того, соберут ли исследователи достаточно данных. Машинное обучение требует огромного количества информации, но записей Геро исчисляются только тысячами. Для поиска закономерностей в речи китов, вероятно, потребуются десятки миллионов кодов, а может, и больше.
Кроме того, как и подозревал Геро с помощью Drop и Doublebend, ученые считают, что им необходимо сопоставить общение с поведением. Есть ли какая-то конкретная кодировка, которая появляется перед охотой, или последовательность, которая возникает, когда киты решают спариться?
«Это проблема коктейльной вечеринки», — говорит Грубер. Разложите несколько микрофонов по вечеринке, и они уловят обрывки разговора. Но наблюдайте за людьми — отслеживая, кто дотрагивается до чьей-то руки, кто просматривает комнату в поисках лучшей компании — «и вся сцена начинает обретать больше смысла», — говорит Грубер.
Революция в изучении общения животныхВ понедельник команда представила основные шаги, которые она предпринимает в этом направлении. Лидеры CETI установили партнерские отношения с Доминикой, чтобы развернуть больше технологий мониторинга китов в водах страны. CETI также получил статус проекта Ted Audacious Project, который объединил усилия с восемью крупными благотворительными донорами, заинтересованными в реализации смелых идей. Команда также получила финансирование от Национального географического общества.
Исследователи CETI уже потратили год на разработку огромного количества сложных подводных датчиков с высоким разрешением, которые будут записывать звук 24 часа в сутки на огромной части территории исследования китов Геро. Три из этих систем прослушивания, каждая из которых прикреплена к бую на поверхности, упадут прямо вниз на тысячи футов до дна, с гидрофонами через каждые несколько сотен метров.
Речь идет о том, чтобы слушать китов в их собственном окружении, на их собственных условиях. Идея заключается в том, что мы хотим знать, что они говорят, и это нам небезразлично.
ByDavid Gruber Морской биолог, National Geographic Explorer
Лаборатория исследовательских технологий National Geographic и Вуд, робототехник из Гарварда, который также является исследователем National Geographic, помогли разработать новую версию видеокамеры, которая прикрепляется к китам с помощью присосок. Эта камера, в отличие от предыдущих версий, может выдерживать давление на глубине, где охотятся киты, делать снимки почти в полной темноте и записывать высококачественный звук.
Rus в Массачусетском технологическом институте работает над дополнительной робототехникой, помогая разрабатывать воздушные, плавучие и подводные дроны, которые могут незаметно записывать звук и видео.Недавно она помогла построить плавательного робота, который путешествует бесшумно, имитируя волнообразные движения хвоста рифовой рыбы.
«Мы хотим знать как можно больше», — говорит Грубер. «Что делает погода? Кто с кем разговаривает? Что происходит в 10 километрах отсюда. Кит голоден, болен, беременен, спаривается? Но мы хотим быть настолько невидимыми, насколько это возможно ».
Внешние эксперты говорят, что CETI может революционизировать элементы исследования дикой природы. Джанет Манн, профессор Джорджтаунского университета, десятилетиями изучающая дельфинов в Австралии, считает, что этот проект может стать «новаторским для кашалотов, но также и для изучения других систем общения животных.
Мишель Фурнет, акустический эколог из Корнельского университета, говорит, что проект направлен на решение ключевой проблемы исследования на животных. Люди, в том числе ученые, склонны видеть человеческие модели в поведении животных. «Мы видим, как горбун машет грудным плавником, и думаем, что он здоровается», — говорит она. Но горбатые обычно просто агрессивны. По словам Фурне, искусственный интеллект может отсеять наши предубеждения и более точно находить смысл в общении и поведении.
Для исследователей CETI большая часть ценности будет заключаться в самом путешествии к открытиям.Миссия Аполлона отправила людей на Луну, но попутно люди изобрели калькуляторы, липучки и транзисторы, и они помогли запустить эпоху цифровых технологий, которая сделала этот проект возможным. Даже если CETI никогда не взломает код кашалота, исследователи обязательно добьются значительных успехов в машинном обучении, общении с животными и в нашем понимании одного из самых загадочных существ в мире.
И, спустя годы, если структура вокализации кашалотов станет более ясной, команда может попытаться связаться с китами — не для проведения межвидового диалога, а для того, чтобы увидеть, будут ли киты предсказуемо реагировать.Цель состояла в том, чтобы подтвердить оценку группы общения с кашалотами.
«Возникает вопрос: что вы собираетесь им сказать? Это упускает суть, — говорит Геро. «Предполагается, что у них есть язык, на котором можно поговорить о нас, лодках, погоде или обо всем, о чем мы могли бы их спросить».
Грубер соглашается. «Дело не в том, чтобы мы с ними разговаривали», — говорит он. «Речь идет о том, чтобы слушать китов в их собственном окружении, на их собственных условиях. Идея заключается в том, что мы хотим знать, что они говорят, и это нам небезразлично.
Национальное географическое общество, стремящееся освещать и защищать чудо нашего мира, финансировало исследователей Дэвида Грубера, Шейна Геро и Роберта Вуда. Узнайте больше о поддержке Общества исследователей океана.
Расшифровка типов программ MBA по названию
Постоянно меняющийся рынок требует от школ создания широкого спектра программ MBA. При таком большом количестве вариантов бывает сложно определить, что подходит именно вам. Все программы MBA аккредитованных учебных заведений научат вас основам овладения бизнес-администрированием, но они различаются двумя ключевыми аспектами: типом и форматом.
- Типы MBA: общий, исполнительный, глобальный и двойной.
В рамках этих категорий существует семь различных форматов, в которых они могут быть предложены.
- Форматы программ MBA: онлайн, смешанные, в кампусе, очные, неполные, ускоренные и вечерние / выходные.
Конечно, есть несколько нюансов, в зависимости от школы. Некоторые учебные заведения требуют, чтобы их программа MBA для руководителей проходила полный рабочий день в кампусе, но по большей части вы найдете «что» и «как» в различных программах MBA довольно стандартными.Итак, как выбрать, какой тип и формат программы вам подходят? Во-первых, важно понимать нюансы каждого из них, чтобы понять, какие из них будут наиболее полезными для вас. Затем подведите итоги своего образования, профессионального опыта, личных целей, времени, бюджета, жизненных обязательств и т. Д. Эти факторы помогут вам определить, какой тип и формат лучше всего подходят.
Различные типы программ MBA
Общий:
Как следует из названия, степень магистра делового администрирования (MBA) — это степень магистра, специально разработанная для охвата основных функций управления и администрирования бизнеса.Общая программа MBA обычно охватывает основные бизнес-темы, такие как бухгалтерский учет, финансовый менеджмент, маркетинг и т. Д. Студенты обычно имеют степень бакалавра в области бизнеса или смежной области обучения, хотя это не всегда требуется. Большинство общих программ MBA требуют, чтобы при поступлении учитывались баллы GMAT или GRE. Типичные кандидаты на получение степени MBA — это молодые бизнес-профессионалы, которые могут иметь многолетний опыт работы и стремятся повысить свою компетентность.
- Типичная стоимость: 50 000–150 000 долл. США
- Среднее время выполнения: 2 года
Исполнительный:
Executive MBA — это, по сути, более мудрый и опытный наставник для общего MBA.По большому счету, программы такие же, но материал специально разработан для бизнес-профессионалов, которые уже являются руководителями или менеджерами в своей области. Кандидаты на экзамен EMBA обращаются к этому типу, чтобы еще больше отточить свои и без того важные бизнес-навыки, поэтому этот тип не совсем подходит для начинающего бизнес-профессионала.
- Типичная стоимость: 70 000-200 000 долларов США
- Среднее время выполнения: 1-2 года
4 + 1:
В деловом мире время — деньги, поэтому получить степень MBA как можно быстрее — это всегда привлекательная идея.В программе 4 + 1 студент бакалавриата совмещает продвинутую курсовую работу в течение старшего года с дополнительным годом интенсивного, динамичного изучения курсов B-школы. В результате всего за пять лет мы получили как , так и степень бакалавра в области бизнеса. Программы 4 + 1 становятся все более популярными из-за их удобства. Это отличный вариант для дальновидного бизнес-профессионала, который хочет сэкономить время и деньги.
- Типовая стоимость: бакалавриат + за кредитный час
- Среднее время выполнения: 4 года бакалавриата + 1 год магистерской работы
Двойной:
Двойная степень MBA или EMBA позволяет студентам совмещать бизнес-степень с другой программой обучения в аспирантуре.По сути, студент одновременно завершает две магистерские программы. Популярные двойные программы включают:
- Магистр управления здравоохранением (MHA) / MBA.
- Магистр человеческих ресурсов и производственных отношений (HRIR) / MBA.
- Прикладная экономика (MS-APEC) / MBA.
- Магистр наук в области бизнес-аналитики (MSBA) / MBA.
- Доктор фармацевтических наук (PharmD) / MBA.
- Магистр инженерии / MBA.
- Доктор стоматологии / MBA.
- Типичная стоимость: 600-1000 долларов за кредитный час
- Среднее время выполнения: 3-4 года
Различные форматы программ MBA
В кампусе:
Программы MBA на территории кампуса предлагают более традиционный метод обучения. Ожидайте, что вы будете сидеть в классе со сверстниками и учиться у профессора лицом к лицу. Этот формат отлично подходит для студентов, которые ищут более традиционную, иммерсивную программу.Обучение на территории кампуса позволяет студентам развивать более тесные отношения со своими сверстниками и профессорами, что способствует обучению и созданию сетей. Студенты, у которых нет времени или ресурсов для участия в программе на территории кампуса, ни в коем случае не находятся в невыгодном положении, поэтому не беспокойтесь, если работа и жизненные обязанности затрудняют этот вариант для вас.
Онлайн:
Онлайн-обучение развивается экспоненциально, делая этот формат таким же строгим и полезным, как обучение на территории кампуса.Онлайн-обучение предлагает большую гибкость, поэтому этот формат идеально подходит для студентов, которые также работают или могут иметь семейные обязанности. При полностью интерактивных занятиях некоторые курсы могут предлагаться в режиме реального времени, в то время как другие могут быть доступны в любое время в течение дня.
Гибрид / смешанный:
Гибридное обучение — лучшее из обоих миров! Как правило, учащийся гибридного курса выполняет основную часть курсовой работы онлайн и отправляется в университетский городок для сдачи экзаменов, сетевых мероприятий или групповых заданий по проекту.Этот формат идеально подходит для студентов, у которых плотный рабочий график, но которые все же хотят личного общения.
Полный рабочий день:
В отличие от традиционного курса бакалавриата из 15 кредитов, полный курс MBA обычно составляет около девяти кредитов (3 курса) за семестр. Таким образом, традиционная продолжительность очной программы MBA составляет два семестра в учебный год, в общей сложности два года.
Неполный рабочий день:
Магистр делового администрирования с частичной занятостью позволяет распределить курсовую работу на более длительный период времени.С меньшим количеством курсов в семестре студенты могут сосредоточиться как на классе, так и на других своих обязанностях. Эта повышенная гибкость и свобода идеально подходят для профессионалов, которым необходимо работать, пока они учатся. Программы неполного рабочего дня обычно длятся не менее трех лет. Дополнительным преимуществом является то, что студенты могут применять свои новые классные знания в своей карьере в режиме реального времени.
Ускоренный:
Ускоренная программа MBA может сэкономить несколько месяцев — даже год! — времени до окончания учебы.Конечно, студент, желающий пройти ускоренную программу MBA, должен иметь возможность уделять больше времени одновременно в рамках меньшего окна, чтобы выполнить необходимую курсовую работу. Например, если для общего MBA на полный рабочий день требуется 2-3 часа работы в день, для ускоренного MBA может потребоваться более чем в два раза больше. Этот формат идеально подходит для студентов, которые могут уделять обучению больше времени и ресурсов. Ускоренные программы можно завершить всего за 12-18 месяцев.
Вечер / выходные:
Вечерняя программа MBA или MBA выходного дня — это, по сути, MBA с частичной занятостью, но она разработана с еще большим осознанием нетрадиционных потребностей студентов.Для студентов, у которых есть работа на полную ставку, или для семей, о которых нужно заботиться, вечерняя / выходная программа MBA — отличный выбор. Это может занять немного больше времени, но в конечном итоге вызовет наименьшие нарушения в жизни студента. Большинство программ Executive MBA используют этот формат, чтобы не отнимать у студентов время в течение недели. Вечерние / выходные MBA — это неполный рабочий день, но это не всегда означает, что их выполнение занимает больше двух лет; классы могут быть сокращены до меньшего количества календарных дней, но требуют более продолжительных периодов учебного времени.
Так как же выбрать?
Важно помнить, что ни один тип или формат не могут быть лучше других. Важно только то, какая программа подходит вашим целям и потребностям. Как только вы поймете эти цели и потребности, вы сможете выбрать подходящий вам тип и формат MBA. Как только вы определитесь, какой путь выбрать, Abound: MBA поможет вам найти школы, которые являются доступными, доступными, ускоренными и продвинутыми. Взгляните на школы, которым мы доверяем, и найдите программу, которая подходит вам.
.