Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность - Бен Орлин

Таков компромисс: сложность против прозрачности. Рейтинг пасующего против доли завершенных пасов. Для меня очевидно, что Мэтьюс относится к тем людям, которые любят вычислять своего рода долю завершенных пасов. В предисловии к рейтингу, опубликованному в Newsweek в 2009 году, он пишет:

Все это делает его «Индекс вызовов» грубым показателем: лучше, чем ничего, и еще лучше, что все недостатки налицо. Честное окно.

Но когда вы публикуете ваши статистические данные под заголовком «Лучшие школы Америки» в журнале, который читает вся страна, — ну, это чертовски похоже на табло результатов.

«Рейтинг зажил своей собственной жизнью, — писал комитет Государственного совета по исследованиям в 2002 году. — Стало настолько важным попасть в топ-100 учебных заведений, что руководство некоторых конкурентоспособных школ, не включенных в этот перечень, публиковало оправдательные дисклеймеры на своих веб-сайтах»[188].

«Больше всего шумят родители, — сказал один учитель из Милуоки (штат Висконсин). — Ваш статус в сообществе растет, если вы предлагаете больше факультативов AP и имеете шансы попасть в топ-100, который публикует Newsweek»[189].

Одно из свойств плохих табло результатов заключается в том, что ими легко манипулировать. В случае «Индекса вызовов» вы можете принудить школьников посещать факультативы AP. «Поскольку рейтинг учитывает попытки сдать экзамен, а не оценки, — писала Валери Штраус, коллега Мэтьюса из The Washington Post, — школы просто запускают в экзаменационный трубопровод максимально возможное число учеников»[190].

Другая проблема в операции деления. Ради удобства Мэтьюс поставил в знаменатель число выпускников старших классов, а не всех учеников. Если предположить, что все старшеклассники оканчивают школу спустя четыре года после поступления, с математической точки зрения разницы нет. Но при высоком уровне отчислений формула дает извращенный результат. Если три школьника сдают экзамен AP, но затем двух из них отчисляют, то мэтьюсовская математика подразумевает, что оставшийся ученик сдал три экзамена AP.

В общем, вот один из способов рассказать историю «Индекса вызовов». Вначале он был хорошим окном. Учитывая не оценки, а количество экзаменов, он показывал не достаток и привилегированность, а более глубокую характеристику: встречаются ли школьники с интеллектуальными вызовами. Безошибочно? Нет. Ценно? Да.

Затем его влияние выросло. Речь шла уже не об одиноком журналисте, выделяющем школы, где от учеников ждут большего, а об авторитетном новостном журнале, венчающем «лучшие» школы. Это извратило стимулы и породило странные результаты, и хорошее окно превратилось в плохое табло результатов.

Казалось бы, мы добавили последнюю вишенку на торте в этой истории и можем вернуться к просмотру футбольных матчей и/или подготовке к экзаменам AP. Однако тогда мы упустим интереснейший вираж сюжета — и глубинную подоплеку игры, которую затеял Мэтьюс.

Как правило, потребительские рейтинги помогают совершить определенный выбор: какой автомобиль приобрести, в какой университет поступить, какой фильм посмотреть. Но неясно, имеет ли эта логика отношение к рейтингу всех школ в стране. Неужели я запланирую переезд из Флориды в Монтану вместе со своей семьей, чтобы мой ребенок получил образование в колледже, одобренном в Newsweek? Консультируетесь ли вы со статистическими сводками, выбирая место жительства: Спрингфилд в Иллинойсе или Спрингфилд в Массачусетсе? Для кого именно предназначен «Индекс вызовов»?[191]

Мэтьюс утверждает: все просто. Он составляет рейтинг ради самого рейтинга. «Мы не в силах не сверяться с рейтингами, — говорит он. — Неважно, о чем идет речь: внедорожники, магазины мороженого, футбольные команды, дозаторы удобрений»[192]. В 2017 году он писал: «Все мы племенные приматы, бесконечно завороженные иерархией»[193]. «Индекс вызовов» ставит своей целью использовать эту причудливую особенность психологии приматов, чтобы обратить ее в орудие повышения конкурентоспособности школ.