Эффект "сужения скобок": судьи не видят леса за деревьями (реферат статьи из журнала Psychological Science) | "Narrow bracketing" effect: judges not seeing the forest for the trees

Whether an applicant receives a high or low score may have more to do with who else was interviewed that day than the overall strength of the applicant pool, according to new research published in Psychological Science, a journal of the Association for Psychological Science.

Оценки при поступлении на работу (или при сдаче экзамена) больше зависят от того, кто проходит собеседование в один день с вами, и не отражают вашего "объективного" места среди всех кандидатов, опрошенных за все дни. Об этом говорится в исследовании, опубликованном в журнале Psychological Science, издаваемом Ассоциацией психологических наук США.

Drawing on previous research on the gambler fallacy, Uri Simonsohn of The Wharton School of the University of Pennsylvania and Francesca Gino of Harvard Business School hypothesized that admissions interviewers would have a difficult time seeing the forest for the trees. Instead of evaluating applicants in relation to all of the applicants who had been or would be interviewed, interviewers would only consider them in the frame of applicants interviewed on that day.

На основе прежних исследований "предвзятости игроков" два американских учёных, Ури Симонсон и Франческа Джайно (Uri Simonsohn of The Wharton School of the University of Pennsylvania and Francesca Gino of Harvard Business School), выдвинули гипотезу, что экзаменаторы не всегда видят лес за деревьями. Они не могут определить место претендента объективно, если опрос/экзамен длится несколько дней: они лишь определяют его место среди опрошенных в один день с ним.

This phenomenon is often referred to as "narrow bracketing."

Это феномен часто называют "сужение скобок".

Much like gamblers bet on red after the wheel stops at black four times in a row, an interviewer bets on "bad" after she interviews four "goods" in a row; the difference in this case is that the interviewer controls the wheel. If the interviewer expected that half of the whole pool would be recommended, she would avoid recommending more than half of the applicants she interviewed in a given day.

Как игроки в рулетку начинают ставить на "красное" после того, как колесо 4 раза подряд остановилось на "чёрном", так и экзаменаторы начинают ставить "плохо", если четыре раза подряд поставили "хорошо". Разница в том, что на экзамене колесо полностью управляется экзаменатором. Если экзаменатор знает, что пройти экзамен/собеседование должна половина участников, то в каждый день проходной балл у него получит не более половины испытуемых.

Simonsohn and Gino analyzed ten years of data from over 9000 MBA interviews to test their hypothesis. As predicted, interviews earlier in the day had a negative impact on the assessments for the interviews that followed—if the interviewer had already given several high scores, the next score was likely to be lower. As the average score for previous applicants increased by 0.75 (on a 1-5 scale), the predicted score for the next applicant dropped by about 0.075. This drop may seem small, but the effect is meaningful. An applicant would need about 30 more points on the GMAT, 23 more months of experience, or 0.23 more points in the assessment of the written application to make up for the drop.

Для проверки своей гипотезы Симонсон и Джайно изучили данные о собеседованиях при поступлении на работу 9000 человек со степенью "магистр делового администрирования". Эти данные накопились за 10 лет. Как и думали учёные, в течение дня результаты более ранних собеседований влияют на результаты более поздних. Если экзаменатор уже поставил несколько высоких оценок, то затем, скорее всего, поставит более низкую оценку. Если предыдущие испытуемые уже получили оценку на 0,75 балла выше среднего (по 5-балльной шкале), то можно предсказать, что оценка испытуемого, идущего за ними, упадёт на 0,075 балла. Казалось бы, немного - но общий эффект значителен. Для компенсации этого занижения на 0,075 балла испытуемому надо было бы получить на 30 баллов больше при поступлении в магистратуру, иметь 23 лишних месяца опыта работы или на 0,23 балла выше оценку его письменного заявления о принятии на работу.

And the impact of previous scores grew stronger as the interviewer progressed through the day. "People are averse to judging too many applicants high or low on a single day, which creates a bias against people who happen to show up on days with especially strong applicants," Simonsohn and Gino observe. Interestingly, they found that the effect was twice as large when a rating followed a set of identical scores (e.g., 4, 4, 4), compared to a set of varied scores (e.g., 4, 3, 5) with the same average.

И влияние прежних оценок, поставленных в тот же день, росло с течением дня. "Люди не хотят ставить слишком много хороших или плохих оценок в один день - а это ставит в невыгодное положение тех, кто попал на испытание в один день с сильными конкурентами", - замечают Симонсон и Джайно. Интересно, что для испытуемых с ровными оценками (типа 4,4,4) эффект "сужения скобок" в два раза сильнее, чем для тех, у кого оценки неровные (типа 4,3,5), - хотя средняя оценка у них одинакова.

Simonsohn and Gino point out that these findings are relevant to many different kinds of judgments, from evaluating job candidates to approving loan applications, even choosing contestants trying out for a reality show. So, if you want to get that job, or that loan, or make it onto that reality show, you might want to make sure the strongest contenders stay home that day.

Симонсон и Джайно подчёркивают, что эти результаты справедливы для самого разного судейства: от приёма на работу до выдачи потребительских кредитов и кастинга для реалити-шоу. Так что если хотите получить работу или кредит, попасть в реалити-шоу - есть смысл позаботиться, чтобы сильные конкуренты сидели дома в день вашего экзамена.