Вопрос о достаточности данных
В результате генерации должен быть получен широкий набор данных, составляющих информационный массив, с которым будет выполнена дальнейшая работа. Однако входе других операций экспертизы могут возникнуть в небольшом количестве некоторые дополнительные данные, которые также должны быть включены восновной информационный массив. Появление этих данных весьма нежелательно, так как с одной стороны, их трудно использовать (как, например, включить, их в материалы, уже подвергнутые анализу экспертами), с другой, это говорит о плохом качестве проведенной генерации, наличии, возможно упущенных показателей или решений, то есть порождает сомнение в качестве выполненной экспертизы в целом.
Но раз эти данные появились, следует их учесть. Вариантов здесь два: либо следует создать небольшую подгруппу из экспертов, согласных повторно обсудить возникшие данные, либо включить эти данные в перечень проблем, которые возникли в ходе экспертизы, но не могли быть решены (приводятся в приложении к отчету). Вопрос о достаточности данных, полученных в результате генерации, не всегда можно уверенно решить. В тех случаях, когда разрабатываемая методика предназначена для квалиметрического оценивания продукции или составления схемы подготовки решений, причем известен полный набор возможных решений, достаточность данных констатировать наиболее просто. Нужно перебрать все сочетания возможных значений показателей в оцениваемых объектах и сопоставить решения, принимаемые согласно методике и решения, назначенные по данным сочетаниям экспертами. Совпадение решений говорит как о достаточности использованных данных, так и о правильности самой разработанной методики.
Если количество данных, которое предполагается получить от экспертов невелико (в пределах двух-трех десятков), то ориентировочно можно определить количество экспертов, достаточное для выявления этих данных с заданной обеспеченностью (см. прил. 6). Это может иметь место при генерации потребительских показателей качества изделия, генерации перечня факторов внешней среды, влияющих на качество функционирования объекта и т.п.
При решении задач прогнозирования или квалиметрического анализа технологического процесса, достаточность генерируемых данных a-priori проверить невозможно. В этих задачах для повышения уверенности в достаточности выявляемых сведений следует проводить повторные операции генерации и анализа обстановки по мере развития ситуации.