Тестирование тестеров

Когда я был молодым (все бывают молодыми) стажором — старшие сослуживцы мнс подрабатывали в РЖ Химия (речь о химическом НИИ РАН СССР). Они говорили, что проще одобрить реферат, чем отклонить, т.к. в случае отклонения нужно написать пару фраз обоснования. Еще тогда я задумался об эффективности рецензирования и критики. Позже, когда работал с западными издательствами, увидел, что там с этим не лучше.

В конце лета на Хабре была публикация “Тестирование тестировщиков”, но там про
трудоустройство. А здесь про случаи, когда в фирму или издательство трудоустраиваться не хотите, а хотите, как заказчик, получить хороший софт или, как автор, быть опубликованным в журнале. Как узнать, что тестер, рецензент, редактор добросовестно выполнили свою работу?

КРИТИКА

Реакция на критику у авторов противоречива. С одной стороны не приятно, когда критикуют, с другой – надежда, что на явные ошибки укажут, и статья не будет содержать таких явных опечаток, как

e=2.718281928459045…
Бородинская битва была в 1912 г.

МЕТОД

Где-то, когда-то прочитал об интересном методе тестирования софта: в исходный код вносится 10 ошибок, если тестер отловил из них 9 + еще 2 других, то можно надеется, что в неиспорченном коде осталось 10% от изначальных ошибок. Этот метод сработает и для публикации: сотрите закрывающую скобку в выражении в листинге или программную скобку: на С/С++ это “}”, на Паскале это “end”. Компилятор скорее всего возмутится, но если возмутится тестер, то это будет значить, что он потрудился пропустить ваш листинг через компилятор. Иначе гарантий нет от формального просмотра по диагонали.
(Предлагал добавить в ЯП ключевое слово endAll, чтобы компилятор сам закрыл все скобки, вместо того, чтобы 5 раз писать “end” в конце процедуры).

ОСТАВЬ ПОЛЕ РЕДАКТОРУ

Этому методу созвучен метод, которому меня учили мои наставники: оставь поле редактору. Т.е. если у вас вылизанная статья, то стоит туда добавить несколько явных ошибок. Редактор тоже человек (кушать хочет) и ему нужно доказывать свою полезность. А вы легко согласитесь, что слово “кАгда” написано неверно и что 2+2 не 5.

В ЗАКЛЮЧЕНИЕ

Возвращаясь к тестированию софта. Попробуйте написать что-то типа:

x:=y // присвоить y значение x

Кто из тестеров заметит несообразность?

Возможен и провокационный метод. Тимлид говорит: я внес в код 10 ошибок, а на самом деле только 2. Но вся команда роет землю, чтобы найти 10.

Текст этой статьи прогнал на чекерах и добавил ошибки. Интересно, кто сколько найдет. — Всем заранее благодарен. И м.б. Вы уже использовали эту методику – пишите в комментариях.

Спасибо за внимание!