stringtranslate.com

Эффект Даннинга – Крюгера

График, показывающий разницу между самооценкой и фактической производительностью
Связь между средней самооценкой и средней фактической успеваемостью на экзамене в колледж. [1] Красная область показывает склонность людей с низкими показателями переоценивать свои способности. Тем не менее, самооценка у низкоэффективных работников ниже, чем у высокоэффективных.

Эффект Даннинга -Крюгера представляет собой когнитивное искажение [2] , при котором люди с ограниченной компетентностью в определенной области переоценивают свои способности. Некоторые исследователи также отмечают противоположный эффект для высокоэффективных людей: их склонность недооценивать свои навыки. В популярной культуре эффект Даннинга-Крюгера часто неправильно понимается как утверждение об общей чрезмерной самоуверенности людей с низким интеллектом, а не о конкретной чрезмерной самоуверенности людей, неквалифицированных для выполнения конкретной задачи.

Эффект Даннинга-Крюгера обычно измеряется путем сравнения самооценки с объективными результатами. Например, участники могут пройти тест и после этого оценить свои результаты, которые затем сравниваются с их фактическими результатами. Первоначальное исследование было опубликовано Дэвидом Даннингом и Джастином Крюгером в 1999 году. Оно было сосредоточено на логическом рассуждении , грамматике и социальных навыках. С тех пор были проведены другие исследования по широкому кругу задач. Они включают в себя навыки из таких областей, как бизнес , политика , медицина , вождение, авиация , пространственная память , школьные экзамены и грамотность .

Существуют разногласия относительно того, что вызывает эффект Даннинга-Крюгера. Согласно метакогнитивному объяснению, плохие исполнители неправильно оценивают свои способности, потому что не осознают качественную разницу между своими действиями и действиями других. Статистическая модель объясняет эмпирические результаты как статистический эффект в сочетании с общей тенденцией думать, что человек лучше среднего . Рациональная модель утверждает, что чрезмерно позитивные предварительные убеждения о своих навыках являются источником ложной самооценки. Другое объяснение утверждает, что самооценка более сложна и подвержена ошибкам для людей с низкими показателями, поскольку многие из них имеют очень схожие уровни навыков.

Существуют разногласия относительно величины и практических последствий эффекта Даннинга-Крюгера. Неточная самооценка может привести к принятию людьми неверных решений, например, к выбору карьеры, для которой они непригодны, или к опасному поведению. Это также может помешать пострадавшим устранить свои недостатки и улучшить себя.

Определение

Эффект Даннинга-Крюгера определяется как склонность людей с низкими способностями в определенной области давать слишком положительные оценки этих способностей. [3] [4] [5] Это часто рассматривается как когнитивная предвзятость , то есть как систематическая тенденция к ошибочным формам мышления и суждения . [2] [6] [7] В случае с эффектом Даннинга-Крюгера это касается в основном людей с низкими навыками в конкретной области, пытающихся оценить свою компетентность в этой области. Систематическая ошибка связана с их склонностью сильно переоценивать свою компетентность, т.е. считать себя более квалифицированными, чем они есть на самом деле. [2]

Эффект Даннинга-Крюгера обычно определяют именно для самооценок людей с низким уровнем компетентности . [8] [2] [9] Но некоторые теоретики не ограничивают это предвзятостью людей с низкой квалификацией, а также обсуждают обратный эффект, то есть тенденцию высококвалифицированных людей недооценивать свои способности по сравнению со способностями других. [3] [5] [9] В этом случае источником ошибки может быть не самооценка своих навыков, а чрезмерно положительная оценка навыков других. [3] Это явление можно понимать как форму эффекта ложного консенсуса , то есть склонность «переоценивать степень, в которой другие люди разделяют его убеждения, взгляды и поведение». [10] [3] [9]

Незнание масштабов собственного невежества является частью человеческого состояния. Проблема в том, что мы видим это в других людях и не видим в себе. Первое правило клуба Даннинга-Крюгера: ты не знаешь, что являешься членом клуба Даннинга-Крюгера.

Дэвид Даннинг [11]

Некоторые исследователи включают в свое определение метакогнитивный компонент. С этой точки зрения эффект Даннинга-Крюгера представляет собой тезис о том, что те, кто некомпетентен в определенной области, склонны игнорировать свою некомпетентность, то есть им не хватает метакогнитивной способности осознавать свою некомпетентность. Это определение дает простое объяснение эффекта: некомпетентность часто включает в себя неспособность отличить компетентность от некомпетентности. По этой причине некомпетентному трудно признать свою некомпетентность. [12] [2] Иногда это называют учетной записью «двойного бремени», поскольку на сотрудников с низкими показателями влияют два бремени: им не хватает навыков, и они не осознают этого недостатка. [9] Другие определения фокусируются на тенденции переоценивать свои способности и рассматривают связь с метапознанием как возможное объяснение, которое не является частью определения. [2] [9] [13] Этот контраст актуален, поскольку метакогнитивное объяснение противоречиво. Многие критики эффекта Даннинга-Крюгера направлены против этого объяснения, но признают эмпирические данные о том, что люди с низкими показателями склонны переоценивать свои навыки. [8] [9] [13]

Среди непрофессионалов эффект Даннинга-Крюгера часто неправильно понимается как утверждение о том, что люди с низким интеллектом более уверены в своих знаниях и навыках, чем люди с высоким интеллектом. [14] По мнению психолога Роберта Д. Макинтоша и его коллег, в популярной культуре это иногда понимается как утверждение, что «глупые люди слишком глупы, чтобы знать, что они глупы». [15] Однако эффект Даннинга-Крюгера применим не к интеллекту в целом, а к навыкам выполнения конкретных задач. Он также не утверждает, что люди, не обладающие определенными навыками, столь же уверены в себе, как и высокоэффективные люди. Скорее, люди с низкими показателями переоценивают себя, но уровень их уверенности все еще ниже, чем у людей с высокими показателями. [14] [1] [7]

Измерение, анализ и исследуемые задачи

Успеваемость на экзамене, состоящем из 45 вопросов, измеряется сначала по отношению к группе сверстников (вверху), а затем по количеству вопросов, на которые даны правильные ответы (внизу). На диаграмме показаны средние показатели групп, соответствующих каждому квартилю. [16]

Наиболее распространенный подход к измерению эффекта Даннинга-Крюгера заключается в сравнении самооценки с объективными показателями деятельности. Самооценку иногда называют субъективной способностью в отличие от объективной способности , соответствующей фактической деятельности. [7] Самооценка может проводиться до или после выступления. [9] Если это сделать позже, участники во время выступления не получат независимых подсказок о том, насколько хорошо они справились. Таким образом, если задание включает в себя ответы на вопросы викторины, никакой информации о том, был ли данный ответ правильным, не предоставляется. [13] Измерение субъективных и объективных способностей может осуществляться в абсолютных или относительных величинах. В абсолютном выражении самооценка и успеваемость измеряются в соответствии с объективными стандартами, например, относительно того, на сколько вопросов викторины были даны правильные ответы. Если все сделано в относительном выражении, результаты сравниваются с группой сверстников. В этом случае участников просят оценить свои результаты по сравнению с другими участниками, например, в форме оценки процента сверстников, которые они превзошли. [17] [13] [3] Эффект Даннинга-Крюгера присутствует в обоих случаях, но имеет тенденцию быть значительно более выраженным, если выражаться в относительных показателях. Это означает, что люди обычно более точны при прогнозировании своего исходного результата, чем при оценке того, насколько хорошо они справились с заданием по сравнению со своей группой сверстников. [18]

Основным предметом интереса исследователей обычно является соотношение между субъективными и объективными способностями. [7] Для упрощения анализа измерений характеристики объективов часто делят на четыре группы. Они начинаются с нижнего квартиля стран с низкими показателями и переходят к верхнему квартилю стран с высокими показателями. [3] [7] Самый сильный эффект наблюдается у участников нижнего квартиля, которые склонны считать себя частью двух верхних квартилей, если измерять их в относительном выражении. [19] [7] [20]

Первоначальное исследование Дэвида Даннинга и Джастина Крюгера изучало успеваемость и самооценку студентов бакалавриата в индуктивных , дедуктивных и абдуктивных логических рассуждениях; Английская грамматика; и понимание юмора. Результаты четырех исследований показывают, что участники, набравшие балл в нижнем квартиле, переоценили свои результаты тестов и свои способности. Их результаты тестов поместили их в 12-й процентиль , но они поставили себя в 62-й процентиль. [21] [22] [2] Другие исследования посвящены тому, как самооценка человека приводит к неточной самооценке. [23] Некоторые исследования показывают, что степень неточности зависит от типа задачи и ее можно улучшить, если стать более эффективным исполнителем. [24] [25] [21]

В целом, эффект Даннинга-Крюгера изучался в широком спектре задач: в авиации , бизнесе , дебатах, шахматах , вождении, грамотности , медицине , политике , пространственной памяти и других областях. [26] Многие исследования сосредоточены на студентах — например, на том, как они оценивают свою успеваемость после экзамена. В некоторых случаях эти исследования собирают и сравнивают данные из разных стран. [27] [28] Исследования часто проводятся в лабораториях; эффект также был изучен в других условиях. Примеры включают оценку знаний охотников об огнестрельном оружии и крупные интернет-опросы. [19] [13]

Пояснения

Различные теоретики пытались предоставить модели, объясняющие основные причины эффекта Даннинга-Крюгера. [13] [20] [9] Первоначальное объяснение Даннинга и Крюгера гласит, что за это ответственно отсутствие метакогнитивных способностей. Эта интерпретация не является общепринятой, и в академической литературе обсуждается множество альтернативных объяснений. Некоторые из них акцентируют внимание только на одном конкретном факторе, другие видят в качестве причины сочетание различных факторов. [29] [13] [2]

Метакогнитивный

Метакогнитивное объяснение основано на идее, что часть приобретения навыка состоит в том, чтобы научиться различать хорошие и плохие проявления навыка. Предполагается, что люди с низким уровнем квалификации не способны должным образом оценить свою работу, поскольку они еще не приобрели способность различать это. Это заставляет их верить, что они лучше, чем есть на самом деле, потому что они не видят качественной разницы между своими результатами и результатами других. В этом отношении им не хватает метакогнитивной способности признавать свою некомпетентность. [2] [7] [30] Эту модель также называют «счетом двойного бремени» или «двойным бременем некомпетентности», поскольку бремя регулярной некомпетентности сочетается с бременем метакогнитивной некомпетентности. [9] [13] [15] Недостаток метакогнитивных способностей может помешать некоторым людям стать лучше, скрывая от них свои недостатки. [31] Затем это можно использовать, чтобы объяснить, почему уверенность в себе иногда выше у неквалифицированных людей, чем у людей со средними навыками: только последние осознают свои недостатки. [32] [33]

Были предприняты некоторые попытки непосредственно измерить метакогнитивные способности, чтобы проверить эту гипотезу. Некоторые результаты показывают, что у людей с плохой успеваемостью снижена метакогнитивная чувствительность, но неясно, достаточна ли ее степень для объяснения эффекта Даннинга-Крюгера. [9] Другое исследование пришло к выводу, что неквалифицированным людям не хватает информации, но их метакогнитивные процессы имеют такое же качество, как и у квалифицированных людей. [15] Косвенный аргумент в пользу метакогнитивной модели основан на наблюдении, что обучение людей логическому мышлению помогает им делать более точную самооценку. [3] Многие критики метакогнитивной модели утверждают, что она не имеет достаточных эмпирических данных и что альтернативные модели предлагают лучшее объяснение. [20] [9] [13]

Статистический

Смоделированные данные о связи между субъективным (самооценкой) и объективным IQ. На верхней диаграмме показаны отдельные точки данных, а на нижней — средние значения различных групп IQ. Это моделирование основано только на статистическом эффекте, известном как регрессия к среднему значению , вместе с эффектом «лучше среднего» . Сторонники статистического объяснения используют его для подтверждения своего утверждения о том, что этих двух факторов достаточно для объяснения эффекта Даннинга-Крюгера. [7]

Другая интерпретация еще дальше отходит от психологического уровня и рассматривает эффект Даннинга-Крюгера главным образом как статистический артефакт. [7] [34] [30] Он основан на идее о том, что статистический эффект, известный как регрессия к среднему значению, объясняет эмпирические результаты. Этот эффект возникает, когда две переменные не коррелируют идеально: если кто-то выбирает образец, который имеет экстремальное значение для одной переменной, он имеет тенденцию показывать менее экстремальное значение для другой переменной. Для эффекта Даннинга-Крюгера двумя переменными являются фактическая производительность и самооценка производительности. Если выбран человек с низкой фактической производительностью, его самооценка производительности, как правило, будет выше. [13] [7] [30]

Большинство исследователей признают, что регрессия к среднему значению является важным статистическим эффектом, который необходимо учитывать при интерпретации эмпирических результатов. Этого можно добиться различными методами. [35] [9] Некоторые теоретики, такие как Жиль Жиньяк и Марсен Заженковски, идут дальше и утверждают, что регрессия к среднему значению в сочетании с другими когнитивными искажениями, такими как эффект «лучше среднего» , может объяснить большую часть эмпирических результатов. [3] [7] [9] Этот тип объяснения иногда называют «шум плюс предвзятость». [15]

В соответствии с эффектом «лучше среднего» люди обычно склонны оценивать свои способности, качества и черты личности как выше среднего. [36] [37] Например, средний IQ равен 100, но люди в среднем думают, что их IQ равен 115. [7] Эффект «выше среднего» отличается от эффекта Даннинга-Крюгера, поскольку он не отслеживает, как чрезмерно Позитивный взгляд на жизнь связан с навыками. Эффект Даннинга-Крюгера, с другой стороны, фокусируется на том, как такого рода ошибочные суждения происходят у плохих исполнителей. [38] [3] [5] Когда эффект выше среднего сочетается с регрессией к среднему значению, наблюдается аналогичная тенденция. Таким образом, это может объяснить как то, что неквалифицированные люди сильно переоценивают свою компетентность, так и то, что обратный эффект для высококвалифицированных людей гораздо менее выражен. [7] [9] [30] Это можно продемонстрировать с помощью смоделированных экспериментов, которые имеют почти такую ​​же корреляцию между объективными и самооцениваемыми способностями, как и реальные эксперименты. [7] Некоторые критики этой модели утверждают, что она может объяснить эффект Даннинга-Крюгера только при оценке своих способностей по сравнению с группой сверстников. Но он, возможно, не сможет объяснить самооценку относительно объективного стандарта. [39] [9] Еще одно возражение утверждает, что рассмотрение эффекта Даннинга-Крюгера как регрессии к среднему значению является лишь формой перемаркировки проблемы и не объясняет, какой механизм вызывает регрессию. [40] [41]

Основываясь на статистических соображениях, Nuhfer et al. приходят к выводу, что нет сильной склонности к чрезмерно положительной самооценке и что ярлык «неквалифицированный и неосведомленный об этом» применим лишь к немногим людям. [42] [43] Но их исследование подверглось критике по методологическим причинам. [44]

Рациональный

Рациональная модель эффекта Даннинга-Крюгера объясняет наблюдаемую регрессию к среднему значению не как статистический артефакт, а как результат предшествующих убеждений. [13] [30] [20] Если люди с низкими показателями ожидают хорошей работы, это может привести к тому, что они будут давать слишком положительную самооценку. Эта модель использует психологическую интерпретацию, отличную от метакогнитивного объяснения. Он считает, что ошибка вызвана чрезмерно позитивными предшествующими убеждениями, а не неспособностью правильно оценить себя. [30] Например, ответив на тест из десяти вопросов, человек с низкими показателями, давший только четыре правильных ответа, может поверить, что он ответил на два вопроса правильно и на пять вопросов неправильно, в то время как он не уверен в остальных трех. Из-за своих позитивных предварительных убеждений они автоматически предполагают, что правильно ответили на три оставшихся вопроса, и тем самым переоценивают свои результаты. [13]

Распределение лучших и низких исполнителей

Другая модель рассматривает способ распределения высокоэффективных и низкоэффективных сотрудников как источник ошибочной самооценки. [45] [20] Он основан на предположении, что уровни навыков многих исполнителей с низкими показателями очень схожи, то есть что «многие люди [находятся] на нижних ступенях уровня навыков». [3] Из-за этого им будет намного сложнее точно оценить свои навыки по сравнению со своими сверстниками. [9] [45] Согласно этой модели, причиной повышенной склонности давать ложные самооценки является не отсутствие метакогнитивных способностей, а более сложная ситуация, в которой эта способность применяется. [45] [3] [9] Одна критика этой интерпретации направлена ​​против предположения, что этот тип распределения уровней квалификации всегда можно использовать в качестве объяснения. Хотя его можно найти в различных областях, где исследовался эффект Даннинга-Крюгера, он присутствует не во всех из них. Другая критика утверждает, что эта модель может объяснить эффект Даннинга-Крюгера только тогда, когда самооценка измеряется по сравнению с группой сверстников. Но он может потерпеть неудачу, если его измерять относительно абсолютных стандартов. [3]

Отсутствие стимула

Дальнейшее объяснение, которое иногда дают теоретики с экономическим образованием, фокусируется на том факте, что участникам соответствующих исследований не хватает стимула давать точные самооценки. [46] [47] В таких случаях интеллектуальная лень или желание хорошо выглядеть в глазах экспериментатора могут мотивировать участников давать чрезмерно положительные самооценки. По этой причине некоторые исследования проводились с дополнительными стимулами для обеспечения точности. В одном исследовании участникам предлагалось денежное вознаграждение в зависимости от точности их самооценки. Эти исследования не смогли показать какого-либо значительного увеличения точности для стимулирующей группы по сравнению с контрольной группой. [46]

Практическая значимость

Существуют разногласия относительно величины и практических последствий эффекта Даннинга-Крюгера по сравнению с другими психологическими эффектами. Утверждения о его значимости часто сосредотачиваются на том, как оно заставляет пострадавших людей принимать решения, которые имеют плохие последствия для них самих или других. Например, по мнению Жиля Э. Жиньяка и Марсена Заженковски, это может иметь долгосрочные последствия, поскольку плохие работники начинают делать карьеру, для которой они непригодны. Однако высокопроизводительные работники, недооценивающие свои навыки, могут отказаться от жизнеспособных карьерных возможностей, соответствующих их навыкам, в пользу менее перспективных, которые находятся ниже их уровня квалификации. В других случаях неправильные решения также могут иметь краткосрочные последствия. Например, Павел и др. считают, что чрезмерная самоуверенность может привести к тому, что пилоты будут управлять новым самолетом, для управления которым у них нет достаточной подготовки, или выполнять маневры, которые превышают их квалификацию. [5] [7] [8]

Неотложная медицина – еще одна область, где важна правильная оценка своих навыков и рисков лечения. По мнению Лизы ТенЭйк, необходимо учитывать склонность обучающихся врачей к чрезмерной самоуверенности, чтобы обеспечить соответствующую степень контроля и обратной связи. [33] Шлоссер и др. считают, что эффект Даннинга-Крюгера также может негативно влиять на экономическую деятельность. Так обстоит дело, например, когда цена товара, такого как подержанный автомобиль, снижается из-за неуверенности покупателей в его качестве. Самоуверенный покупатель, не осознающий своего недостатка знаний, может быть готов заплатить гораздо более высокую цену, поскольку он не принимает во внимание все потенциальные недостатки и риски, связанные с ценой. [3]

Другое следствие касается областей, в которых исследователи полагаются на самооценку людей для оценки их навыков. Это часто встречается, например, при профессиональной консультации или для оценки навыков информационной грамотности студентов и специалистов . [4] [7] По мнению Халида Махмуда, эффект Даннинга-Крюгера указывает на то, что такие самооценки часто не соответствуют основным навыкам. Это означает, что они ненадежны как метод сбора данных такого типа. [4] Независимо от рассматриваемой области, метакогнитивное невежество, часто связанное с эффектом Даннинга-Крюгера, может мешать людям с низкими показателями совершенствоваться. Поскольку они не осознают многих своих недостатков, у них может быть мало мотивации для их устранения и преодоления. [48] ​​[49]

Не все описания эффекта Даннинга-Крюгера сосредоточены на его отрицательных сторонах. Некоторые также концентрируются на его положительных сторонах, например, на том, что невежество иногда является блаженством. В этом смысле оптимизм может заставить людей воспринимать свою ситуацию более позитивно, а чрезмерная самоуверенность может помочь им достичь даже нереальных целей. [50] Чтобы отличить отрицательные стороны от положительных, было предложено два важных этапа, которые важны для реализации цели: подготовительное планирование и выполнение плана. По мнению Даннинга, чрезмерная самоуверенность может быть полезна на этапе выполнения, поскольку повышает мотивацию и энергию. Но это может оказаться вредным на этапе планирования, поскольку агент может игнорировать плохие шансы, идти на ненужный риск или не быть готовым к непредвиденным обстоятельствам. Например, чрезмерная самоуверенность может быть выгодна генералу в день битвы, поскольку его войска получают дополнительное вдохновение. Но в предшествующие недели это может оказаться невыгодным, если игнорировать необходимость в резервных войсках или дополнительном защитном снаряжении. [51]

В 2000 году Крюгер и Даннинг были удостоены сатирической Шнобелевской премии в знак признания научной работы, зафиксированной в «их скромном отчете». [52]

Смотрите также

Рекомендации

Цитаты

  1. ^ ab Dunning 2011, с. 263.
  2. ^ abcdefghi Дуиньян 2023.
  3. ^ abcdefghijklm Schlösser et al. 2013, стр. 85–100.
  4. ^ abc Mahmood 2016, стр. 199–213.
  5. ^ abcd Павел, Робертсон и Харрисон 2012, стр. 125–129.
  6. ^ Литвак и Лернер 2009, Когнитивное искажение.
  7. ^ abcdefghijklmnop Жиньяк и Заженковски 2020.
  8. ^ abc Магнус и Пересецкий 2022.
  9. ^ abcdefghijklmnopq Макинтош и др. 2019, стр. 1882–1897.
  10. ^ Колман 2009, эффект ложного консенсуса.
  11. ^ Резник 2019.
  12. ^ Даннинг 2011, стр. 260–261.
  13. ^ abcdefghijkl Mazor & Fleming 2021, стр. 677–678.
  14. ^ ab ScienceAlert Staff 2022.
  15. ^ abcd Макинтош и др. 2022.
  16. ^ Даннинг 2011, стр. 262–263.
  17. ^ Даннинг 2011, стр. 262–264.
  18. ^ Даннинг 2011, стр. 263–264.
  19. ^ ab Dunning 2011, с. 264.
  20. ^ abcde Магнус и Пересецкий 2022, с. 840180.
  21. ^ ab Kruger & Dunning 1999, стр. 1121–1134.
  22. ^ Ли 2016, с. 3.
  23. ^ Эрлингер и Даннинг 2003, стр. 5–17.
  24. ^ Берсон, Ларрик и Клейман 2006, стр. 60–77.
  25. ^ Даннинг и Хельцер, 2014, стр. 126–130.
  26. ^
    • Дуиньян 2023
    • Павел, Робертсон и Харрисон, 2012, стр. 125–129.
    • TenEyck 2021, 20. Эффект Даннинга – Крюгера
    • Макинтош и др. 2019, стр. 1882–1897.
    • Даннинг 2011, стр. 264–265.
  27. ^ Даннинг 2011, стр. 264–265.
  28. ^ Rowell & Bilz 2021, стр. 85–86.
  29. ^ Даннинг 2011, стр. 261–262, 265–270.
  30. ^ abcdef Янсен, Рафферти и Гриффитс, 2021, стр. 756–757.
  31. ^ Даннинг 2011, стр. 260–262.
  32. ^ Даннинг 2011, с. 257.
  33. ^ ab TenEyck 2021, стр. 123–128, 20. Эффект Даннинга – Крюгера.
  34. ^ Акерман, Бейер и Боуэн 2002, стр. 587–605.
  35. ^ Даннинг 2011, стр. 265–266.
  36. ^ Ким, Квон и Чиу, 2017, с. 898.
  37. ^ Алике и Говорун 2005, с. 123, Эффект лучше среднего..
  38. ^ Даннинг 2011, с. 260.
  39. ^ Даннинг 2011, с. 268.
  40. ^ Даннинг 2011, с. 266.
  41. ^ Магнус и Пересецкий 2022, с. 6.
  42. ^ Нухфер и др. 2017, с. 26.
  43. ^ Нухфер и др. 2016, стр. 21–22.
  44. ^ Даннинг 2022.
  45. ^ abc Krajc & Ortmann 2008, стр. 724–738.
  46. ^ ab Dunning 2011, стр. 268–269.
  47. ^ Эрлингер и др. 2008, стр. 107–108.
  48. ^ Даннинг 2011, стр. 260–262, 286–287.
  49. ^ Highhouse, Далал и Салас, 2013, с. 55.
  50. ^ Даннинг 2011, стр. 288–289.
  51. ^ Даннинг 2011, с. 289.
  52. ^ Сотрудники IR 2006.

Источники

дальнейшее чтение

Внешние ссылки