Книга хорошая. Она написана простым (для книг по количественным методам) языком, что льстит не очень сведущим в методах читателям и приблизительно первые 100 страниц книги позволяет им думать, что эксперименты в социальных науках – очень простая штука. Это ложное впечатление точно развеется к главе, где обсуждаются дизайны исследований, в которых присутствует проблема one- и two-sided noncompliance, когда вы понимаете, что помимо очевидного для исследований с экспериментальным дизайном измерения среднего эффекта воздействия (Average Treatment Effect – ATE) существуют также эффект запланированного воздействия (Intent-to-Treat Effects) и эффект достигнутого воздействия (Complier Average Causal Effects). Путаница в вычислении этих эффектов приводит к некорректным результатам и неверному вычислению реального размера эффекта воздействия. Книга подробно рассказывает, как вычислить каждый из эффектов и как их использовать в дальнейшей интерпретации результатов.

Одна из наиболее важных глав посвящена методам работы с пропусками. Интерпретация пропусков различается в зависимости от того, находятся они в переменной реакции на эффект воздействия (участник эксперимента принял воздействие, принял частично или не принял) или в зависимой переменной (отказался ли участник от дальнейшего участия в эксперименте, есть ли в отказах системность и т.д.). Авторы предлагают несколько стратегий работы с пропусками и, конечно, советуют не исключать из анализа и интерпретации переменные с пропусками, где бы пропуски ни находились.

Книга последовательно описывает, как формируется выборка, как проводить эксперимент, как обрабатывать данные, интерпретировать результаты (основная часть), как описывать то, что вы сделали в научной публикации, и как не нарушать этические принципы проведения экспериментов. Книга может быть использована в качестве основного учебника по курсу по полевым экспериментам и в качестве гайда по проведению собственного эксперимента с последующей обработкой данных, интерпретацией результатов и подготовкой научной статьи для журнала.

Каждая глава сначала кратко представляет тему, затем дает простые примеры, как это работает на уровне базовой математики (вроде: «Представим, у вас есть 2, к нему прибавляем 3 и получается…»), объясняет, почему это работает именно так, затем иногда представляет код в R и завершается краткими выводами по теме, помещенными в рамочке. Авторы часто используют риторические приемы и суммируют основные аргументы, сводя их к тезису в виде: «Вы думали это так-то, так-то? Нет, это не так. Это создаст вам bias в интерпретации. Нужно делать так, как мы показали выше, потому что…». Иными словами, каждая глава представляет из себя развернутый конспект, имеющий четкую структуру. Это удобно, когда вам необходимо спешно посмотреть что-то по конкретной теме и быстро найти нужный материал.

Качественная работа с текстом (логика изложения и забота о несведущих читателях) выгодно отличает эту книгу от многих учебников по методам. Текст написан на исключительно понятном языке (на очень простом английском) и снабжен различными визуальными и прочими примерами «на пальцах» для тех, кто любит разобраться в вопросе досконально.

Большую часть примеров дизайнов полевых экспериментов авторы приводят из своей обширной практики анализа эффективности предвыборных кампаний, а именно – различные техники агитации и мобилизации избирателей на выборы (исследования на эти темы можно найти, например, на сайте одного из авторов). Авторы суммируют аргументы в пользу эффективности каждой из стратегий и в книге “Get Out the Vote: How to Increase Voter Turnout” (ее полезно прочитать, чтобы разобраться, откуда авторы берут именно такие примеры).

Учитывая, что книга является учебником по дизайну и проведению экспериментов, полезно вместе с чтением выполнять задания в конце каждой главы и просматривать коды для репликации анализа данных в R, предложенные авторами на странице. Наибольшую пользу книга принесет тем, кто будет параллельно с чтением и выполнением упражнений проводить собственное исследование и последовательно обрабатывать данные по предложенной в книге инструкции.

У книги есть 2 недостатка. Если первый – спорный, то второй точно расстроит каждого экономного читателя. Сегодня книгу можно купить только в формате paperback. Это не очень удобно, особенно тем, кто не любит носить с собой кирпич и любит делать пометки и потом экспортировать их в отдельный pdf-файл. Делать пометки в книге, как и загибать страницы вместо закладок, окажется чрезвычайно жалко, учитывая, что наиболее дешевый вариант книги обойдется в 4600 р. на сайте Амазон с доставкой по Москве.

Книга стоит вашего внимания, если вы хотите получить исчерпывающую информацию о том, как планировать и проводить полевые эксперименты.