stringtranslate.com

Джон К. Крушке

Джон Кендалл Крушке — американский психолог и статистик, известный своими работами в области коннекционистских моделей человеческого обучения [1] и байесовского статистического анализа. [2] Он является почетным проректором [3] [4] на кафедре психологических и мозговых наук в Индианском университете в Блумингтоне . Он получил премию Troland Research Award от Национальной академии наук в 2002 году. [5]

Исследовать

Байесовский статистический анализ

Распространение

Популярный учебник Крушке, Doing Bayesian Data Analysis [ 2] , был примечателен своей доступностью и уникальным каркасом концепций. В первой половине книги использовался простейший тип данных (т. е. дихотомические значения) для представления всех основных концепций байесовского анализа, включая обобщенный байесовский анализ мощности и планирование размера выборки. Во второй половине книги использовалась обобщенная линейная модель в качестве основы для объяснения приложений к спектру других типов данных.

Крушке написал множество учебных статей о байесовском анализе данных, включая статью с открытым доступом, в которой байесовские и частотные концепции объясняются бок о бок. [6] Существует сопутствующее онлайн-приложение, которое интерактивно выполняет частотный и байесовский анализ одновременно. Крушке выступил с пленарным докладом на эту тему на конференции США по преподаванию статистики (USCOTS).

Руководство по составлению отчетов по байесовскому анализу

Байесовский анализ данных становится все более популярным, но все еще остается относительно новым во многих областях, и руководящие принципы для представления байесовского анализа полезны для исследователей, рецензентов и студентов. Руководящие принципы отчетности по байесовскому анализу (BARG) [7] с открытым доступом от Крушке предоставляют пошаговый список с пояснениями. Например, BARG рекомендует, чтобы если аналитик использует проверку байесовских гипотез, то отчет должен включать не только фактор Байеса, но и минимальную априорную вероятность модели для того, чтобы апостериорная вероятность модели превысила критерий принятия решения.

Оценка нулевых значений параметров

Крушке предложил процедуру принятия решения для оценки нулевых значений параметров, основанную на неопределенности апостериорной оценки параметра. [8] Этот подход контрастирует с байесовской проверкой гипотез как сравнением моделей. [9]

Порядковые данные

Лидделл и Крушке [10] показали, что распространенная практика обработки порядковых данных (таких как субъективные оценки) как если бы они были метрическими значениями, может систематически приводить к ошибкам интерпретации, даже инверсии средних значений. Проблемы были решены путем обработки порядковых данных с помощью порядковых моделей, в частности, модели упорядоченного пробита. Частотные методы также могут использовать модели упорядоченного пробита, но авторы отдали предпочтение байесовским методам за их надежность.

Модели обучения

Обзор моделей обучения с помощью внимания Крушке до 2010 года представлен в ссылке. [11] Эта ссылка суммирует многочисленные результаты человеческого обучения, которые предполагают обучение с помощью внимания. Эта ссылка также суммирует ряд моделей обучения Крушке в рамках общей структуры.

Размерность в сетях обратного распространения

Сети обратного распространения — это тип модели коннекционизма, лежащей в основе нейронных сетей глубокого обучения. Ранняя работа Крушке с сетями обратного распространения создала алгоритмы для расширения или сокращения размерности скрытых слоев в сети, тем самым влияя на то, как сеть обобщается от обучающих случаев к проверочным случаям. [12] Алгоритмы также улучшили скорость обучения. [13]

Модели, основанные на образцах, и приобретенное внимание

Модель ассоциативного обучения ALCOVE [1] использовала градиентный спуск по ошибке, как в сетях обратного распространения, чтобы узнать, какие измерения стимула следует учитывать или игнорировать. Модель ALCOVE была получена из обобщенной контекстной модели [14] RM Nosofsky. Эти модели математически представляют стимулы в многомерном пространстве на основе воспринимаемых человеком измерений (таких как цвет, размер и т. д.) и предполагают, что обучающие примеры хранятся в памяти как полные образцы (то есть как комбинации значений измерений). Модель ALCOVE обучается с парами вход-выход и постепенно связывает образцы с обученными выходами, одновременно переключая внимание на релевантные измерения и отвлекая от нерелевантных измерений.

Усовершенствование модели ALCOVE, названное RASHNL, предоставило математически последовательный механизм градиентного спуска с ограниченной емкостью внимания. [15] Модель RASHNL предполагала, что внимание быстро переключается при предъявлении стимула, в то время как обучение вниманию в ходе испытаний происходит более постепенно.

Эти модели были подогнаны под эмпирические данные многочисленных экспериментов по обучению людей и дали хорошие отчеты об относительных трудностях обучения различным типам ассоциаций и точности отдельных стимулов во время обучения и обобщения. Эти модели не могут объяснить все аспекты обучения; например, для учета скорости обучения человека обратному сдвигу (то есть то, что было «A», теперь «B» и наоборот) требовался дополнительный механизм. [16]

Эффект подсветки

Когда люди учатся последовательно категоризировать комбинации дискретных признаков в течение сеанса обучения, они будут стремиться узнать об отличительных признаках элементов, изученных позже, вместо того, чтобы узнать об их полной комбинации признаков. Это внимание к отличительным признакам элементов, изученных позже, называется «эффектом выделения» и вытекает из более раннего открытия, известного как «обратный эффект базовой скорости». [17]

Крушке провел обширную серию новых экспериментов по обучению с участием людей и разработал две модели коннекционизма для объяснения результатов. Модель ADIT [18] научилась обращать внимание на отличительные черты, а модель EXIT [19] использовала быстрые переключения внимания в каждом испытании. Канонический эксперимент по выделению и обзор результатов были представлены в ссылке. [20]

Гибридные модели представления правил или функций с исключениями

Люди могут научиться классифицировать стимулы в соответствии с правилами, такими как «контейнер для жидкостей, который шире своей высоты, называется миской», а также исключениями из правила, такими как «если только это не тот конкретный случай, который называется кружкой». Серия экспериментов продемонстрировала, что люди склонны классифицировать новые предметы, которые относительно близки к исключительному случаю, в соответствии с правилом больше, чем можно было бы предсказать с помощью моделей, основанных на образцах. Для учета данных Эриксон и Крушке разработали гибридные модели, которые смещали внимание между представлением, основанным на правилах, и представлением, основанным на образцах. [21] [22] [23]

Люди также могут изучать непрерывные отношения между переменными, называемыми функциями, например, «высота страницы примерно в 1,5 раза больше ее ширины». Когда люди обучаются на примерах функций, имеющих исключительные случаи, данные учитываются гибридными моделями, которые объединяют локально применимые функциональные правила. [24]

Байесовские модели обучения

Крушке также исследовал байесовские модели результатов обучения человека, которые рассматривались его моделями коннекционизма. Эффекты последовательного или преемственного обучения (такие как выделение, упомянутое выше) могут быть особенно сложными для байесовских моделей, которые обычно предполагают независимость порядка. Вместо того чтобы предполагать, что вся система обучения является глобально байесовской, Крушке разработал модели, в которых слои системы являются локально байесовскими. [25] Это «локально байесовское обучение» учитывало комбинации явлений, которые сложны для небайесовских моделей обучения или для глобально-байесовских моделей обучения.

Еще одним преимуществом байесовских представлений является то, что они по своей сути представляют неопределенность значений параметров, в отличие от типичных коннекционистских моделей, которые сохраняют только одно значение для каждого параметра. Представление неопределенности может использоваться для руководства активным обучением, в котором обучающийся решает, какие случаи было бы наиболее полезно изучить следующими. [26]

Карьера

В 1989 году Крушке присоединился к преподавательскому составу кафедры психологических и мозговых наук Индианского университета в Блумингтоне в качестве лектора. Он оставался в Университете Индианы до выхода на пенсию в должности почетного проректора в 2022 году.

Образование

В 1983 году Крушке получил степень бакалавра по математике с отличием по специальности «Общая стипендия» в Калифорнийском университете в Беркли. В 1990 году он получил степень доктора философии по психологии также в Калифорнийском университете в Беркли.

Крушке посетил летнюю научную программу 1978 года в The Thacher School в Охае, штат Калифорния, которая была сосредоточена на астрофизике и небесной механике. Он посетил летнюю школу Connectionist Models 1988 года [27] в Университете Карнеги-Меллона.

Награды

Ссылки

  1. ^ ab Kruschke, John K. (1992). "ALCOVE: Коннекционистская модель обучения категориям на основе образцов". Psychological Review . 99 (1): 22–44. doi :10.1037/0033-295X.99.1.22. PMID  1546117.
  2. ^ ab Kruschke, John K. (2015). Выполнение байесовского анализа данных: учебник с R, JAGS и Stan (2-е изд.). Academic Press. ISBN 9780124058880.
  3. ^ ab "Премия проректора-профессора". Офис вице-проректора по преподавательскому составу и академическим вопросам . Получено 27.05.2022 .
  4. ^ ab Hinnefeld, Steve (2018-03-19). "IU Bloomington объявляет лауреата премии Sonneborn Award, Provost Professors". Новости в IU . Получено 2021-10-01 .
  5. ^ ab "Troland Research Awards". Национальная академия наук . Получено 22 января 2022 г.
  6. ^ Крушке, Джон К.; Лидделл, Торрин М. (2018). «Новая байесовская статистика: проверка гипотез, оценка, метаанализ и анализ мощности с байесовской точки зрения». Psychonomic Bulletin & Review . 25 (1): 178–206. doi : 10.3758/s13423-016-1221-4 . PMID  28176294. S2CID  4523799.
  7. ^ Крушке, Джон К. (2021). «Руководящие принципы отчетности по байесовскому анализу». Nature Human Behaviour . 5 (10): 1282–1291. doi :10.1038/s41562-021-01177-7. PMC 8526359. PMID  34400814 . 
  8. ^ Крушке, Джон К. (2018). «Отклонение или принятие значений параметров в байесовской оценке» (PDF) . Достижения в методах и практиках психологической науки . 1 (2): 270–280. doi :10.1177/2515245918771304. S2CID  125788648.
  9. ^ Крушке, Джон К.; Лидделл, Торрин М. (2018). «Байесовский анализ данных для новичков». Psychonomic Bulletin & Review . 25 (1): 155–177. doi : 10.3758/s13423-017-1272-1 . PMID  28405907. S2CID  4117798.
  10. ^ Лидделл, Торрин М.; Крушке, Джон К. (2018). «Анализ порядковых данных с помощью метрических моделей: что может пойти не так?» (PDF) . Журнал экспериментальной социальной психологии . 79 : 328–348. doi :10.1016/j.jesp.2018.08.009. S2CID  149652068.
  11. ^ Крушке, Джон К. (2011). «Модели обучения с учетом внимания». В Потосе, Э.М.; Уиллс, А.Дж. (ред.). Формальные подходы к категоризации (PDF) . Cambridge University Press. стр. 120–152. ISBN 9781139493970.
  12. ^ Крушке, Джон К. (1989). «Распределенные узкие места для улучшенного обобщения в сетях обратного распространения» (PDF) . Международный журнал исследований и приложений нейронных сетей . 1 : 187–193.
  13. ^ Крушке, Джон К.; Дж. Р. Мовеллан, Дж. Р. Мовеллан (1991). «Преимущества усиления: ускоренное обучение и минимальные скрытые слои в сетях обратного распространения» (PDF) . Труды IEEE по системам, человеку и кибернетике . 21 : 273–280. doi :10.1109/21.101159.
  14. ^ Нософски, Р. М. (1986). «Внимание, сходство и идентификация-категоризация». Журнал экспериментальной психологии . 115 (1): 39–57. doi :10.1037/0096-3445.115.1.39. PMID  2937873.
  15. ^ Крушке, Джон К.; Йохансен, МК (1999). «Модель вероятностного обучения категориям». Журнал экспериментальной психологии: обучение, память и познание . 25 (5): 1083–1119. doi :10.1037/0278-7393.25.5.1083. PMID  10505339.
  16. ^ Крушке, Джон К. (1996). «Изменение размерной релевантности в обучении категориям». Connection Science . 8 (2): 201–223. doi :10.1080/095400996116893.
  17. ^ Медин, Д. Л.; Эдельсон, С. М. (1988). «Структура проблемы и использование базовой информации из опыта». Журнал экспериментальной психологии: Общие сведения . 117 (1): 68–85. doi :10.1037/0096-3445.117.1.68. PMID  2966231.
  18. ^ Крушке, Джон К. (1996). «Базовые показатели в категориальном обучении». Журнал экспериментальной психологии: обучение, память и познание . 22 (1): 3–26. doi :10.1037/0278-7393.22.1.3. PMID  8648289.
  19. ^ Крушке, Джон К. (2001). «Эффект обратной базовой ставки не объясняется элиминативным выводом». Журнал экспериментальной психологии: обучение, память и познание . 27 (6): 1385–1400. doi :10.1037/0278-7393.27.6.1385. PMID  11713874.
  20. ^ Крушке, Джон К. (2009). «Выделение: канонический эксперимент». В Росс, Брайан (ред.). Психология обучения и мотивации, том 51 (PDF) . Том 51. Academic Press. стр. 153–185. doi :10.1016/S0079-7421(09)51005-5.
  21. ^ Эриксон, MA; Крушке, Джон К. (1998). «Правила и образцы в категориальном обучении». Журнал экспериментальной психологии: Общие сведения . 127 (2): 107–140. doi :10.1037/0096-3445.127.2.107. PMID  9622910.
  22. ^ Эриксон, MA; Крушке, Джон К. (2002). «Экстраполяция на основе правил в перцептивной категоризации». Psychonomic Bulletin & Review . 9 (1): 160–168. doi : 10.3758/BF03196273 . PMID  12026949. S2CID  2388327.
  23. ^ Дентон, С. Э.; Крушке, Джон К.; Эриксон, МА (2008). «Экстраполяция на основе правил: продолжающаяся проблема для образцовых моделей». Psychonomic Bulletin & Review . 15 (4): 780–786. doi : 10.3758/PBR.15.4.780 . PMID  18792504. S2CID  559864.
  24. ^ Калиш, М. Л.; Левандовски, С. (2004). «Популяция линейных экспертов: разделение знаний и функциональное обучение». Psychological Review . 111 (4): 1072–1099. doi :10.1037/0033-295X.111.4.1072. PMID  15482074.
  25. ^ Крушке, Джон К. (2006). «Локально байесовское обучение с приложениями к ретроспективной переоценке и выделению». Psychological Review . 113 (4): 677–699. doi :10.1037/0033-295X.113.4.677. PMID  17014300.
  26. ^ Крушке, Джон К. (2008). «Байесовские подходы к ассоциативному обучению: от пассивного к активному обучению». Learning & Behavior . 36 (3): 210–226. doi : 10.3758/LB.36.3.210 . PMID  18683466. S2CID  16668044.
  27. ^ Турецки, Д.; Хинтон, Г.Е.; Сейновски, Т., ред. (1989). Труды летней школы коннекционистских моделей 1988 года (PDF) . Морган Кауфманн. ISBN 978-9999081214.
  28. ^ «Офис проректора по преподавательскому составу и академическим вопросам: Премия попечителей за преподавание».

Внешние ссылки