Люди всё-таки пишут статьи не для того, чтобы ими отчитываться по грантам и выбор журнала не обуславливается необходимостью соответствовать пожеланиям грантодателя. По крайней мере так должно быть. Обычная ситуация такова, что в журнале с более низким ИФ можно опубликоваться быстрее, чем с более высоким. То есть придётся меньшее число раз дорабатывать рукопись или даже менять журнал. В итоге что мы имеем: если человек считает, что его работа заслуживает более солидного журнала, то опубликование статьи откладывается и она может не успеть к моменту отчёта по гранту. Совсем другое дело с оценкой уровня уже опубликованных работ - тут фактор времени не столь существенен: предполагается что большинство соискателей уже не первый год работают в науке...

Оценивать степень выполнение проекта нужно В ПЕРВУЮ ОЧЕРЕДЬ не по числу статей и не по их суммарному импакт фактору, а по ОТЧЁТУ. Число публикаций и уровень журналов это тоже существенно, но не самое главное.

Отчет, конечно, важен, но все-таки это второстепенный критерий. ИФ тоже не абсолютно объективен, но из всех возможных критериев он - лучший. Оценка же по отчету приведет к тому, что победят лучшие писатели, а не ученые. А относительно фактора времени - три года проекта вполне достаточно, чтобы опубликовать 2-3 статьи в приличных журналах. Кстати, именно ИФ является решающим критерием при оценке успешности проекта в NIH, Wellcome Trust и т.п.

Так Вы говорите только о финальном отчёте по проекту??? Он то как раз уж совсем не влияет на финансирование при существующей схеме. Он может как-то учитываться при новой подаче на грант, но тогда уж лучше учитывать все статьи, опубликованные на момент подачи на новый грант, а не только те из них, которые были указаны в финальном очтёте по предыдущему (ведь между ними может быть и временной зазор!). Каждая подача на грант - это независимое явление, а не продление предыдущего. Иначе мы имеем дело с закрытым "клубом избранных".

P.S. Почему для написания отчёта надо быть писателем, а для написания статьи - учёным? На мой взгляд критерии рецензирования того и другого не должны драмматически различаться.

Не должны, но различаются Жизнь, как известно, - искусство возможного. А потому, ИФ - оптимальный вариант. Все остальное - от лукавого!

Оптимальный вариант чего???? Я уже не в состоянии прослеживать логическую нить... Что обсуждается? Оценка чего? На каком этапе? И с какой целью?

Сейчас там не два, а три эксперта. Нужно добиться того, чтобы эксперт находил достаточно времени и затем доказывал, что разобрался, написав рецензию, которая будет передана автору заявки. Либо - пусть отказывается. Некоторые российские журналы уже сейчас посылают статьи соотечественникам за границу, внедрить эту технологию для грантов, вероятно, все-таки реально, так что дефицит времени у некоторых внутрироссийских экспертом не является неразрешимым препятствием.

На Саентифике склоняются к тому, что на совет надо выносить только спорные заявки, автоматически принимая те, которые наберут НЕ МЕНЕЕ фиксированного проходного балла у КАЖДОГО эксперта, и автоматически отбрасывая те, которые наберут НЕ БОЛЕЕ фиксированного отсекающего балла также у КАЖДОГО эксперта.


Там написано, имхо, действительно хорошо, в т.ч. так, что в большинстве случаев разные эксперты будут понимать критерии довольно схожим образом. В принципе, критерии можно еще дополнительно разъяснить в инструкции по заполнению анкеты (не знаю, делается ли это сейчас). См также выше про технологию выноса на экспертный совет заявок, по которым менее всего ясности и согласия между экспертами.


Да, это разумно. Вроде бы это собираются предложить.

Да, конечно.

Продолжаю настаивать, что количество рецензентов должно быть не 2 человека, а по возможности больше.

Попробую привести еще некоторые аргументы.

При эспертизе проекта его оцениваемые параметры можно разделить на абсолютные и относительные.
Абсолютные это то, что можно объективно измерить. К примеру, это количество опубликованных статей, индекс цитирования, количество заявленных участников, наконец, количество страниц, на которых написан проект. Для оценки абсолютных параметров наличие нескольких экспертов совсем необязательно. Если человек честный, (а я верю, что в основном такие и работают в РФФИ) то он однозначно и объективно оценит (или просто проверит) эти абсолютные параметры.

Относительные параметры, это такие, которые каждым из экспертов будут пониматься по-своему, в силу его личного кругозора и опыта. Возьмем, например, такие параметры (взято из анкеты эксперта РФФИ) как
Масштабность заявленной научной проблемы,
Степень новизны заявленной научной задачи:
Степень значимости ожидаемых результатов:
Дальше можно не перечислять, другие параметры ничем не лучше. Все это очень относительные параметры.
Оценки отдельных экспертов по этим параметрам могут очень сильно расходится друг с другом. Честность тут не причем, я, как уже сказал, предполагаю, что все эксперты люди честные. Оценки могут расходится в силу различий в требовательности отдельных экспертов к проектам (да и к себе тоже). Задам вопрос. Может кто-то из участников нашего обсуждения ответственно заявить, что он способен реально определить, надо проекту А ставить оценку 4 («проект целесообразно поддержать»), а не 5 («проект целесообразно поддержать»)? Я не взялся бы даже отличить, категорию «проект можно поддержать» от категории «проект целесообразно поддержать», а разница между ними в баллах может достигать целых 4 балла. Однако как бы эксперты не отличались друг от друга они, я думаю, любой из них легко определит, что проект А относительно лучше, чем проект В, но хуже, чем проект С.

Моя идея состоит в том, что пусть соревнуются между собой проекты в голове каждого эксперта, а не эксперты между собой за столом Совета, кто из них более важный и кто продавит проект, лично им поддерживаемый из большого количества других проектов примерно с одинаковыми баллами, которые, как я пытался доказать, взяты с потолка.