Дегрустиваторы [RSS-подписка
]
[Смотреть все]

Системы оценки игр
Полный список статей
28.05.2011

Оценивать игры не только сложное, но и неблагодарное дело. Всегда найдутся недовольные именно таким, а не иным результатам. Одной из трудностей можно назвать выработку подходящей методики и сравнительных критериев. Ещё одной серьёзной  проблемой большинства рейтингов (а может даже всех) является субъективность оценки.

Приведём популярные способы оценки не только игр, но и "чего бы то ни было", не вдаваясь в математику и излишние подробности.


Одноранговые балльные системы

Бинарная, 0 или 1 балл, плохо или хорошо – самая быстрая, примитивная и неточная оценка, применяемая на бытовом уровне повсеместно. Погрешность вплоть до 100%.

"Школьная" оценка, от 0 до 5 баллов – быстрая, простая, не очень точная. Как разновидность может быть до 3 или 4 баллов, дополняться плюсами и минусами, вместо баллов могут быть буквы, символы, смайлики, стилизованные наградки.

Расширенная "школьная", от 0 до 10 баллов – по сравнению с предыдущей, версия с двойной точностью. Разновидностью можно считать использование пятибальной оценки с шагом в полбалла.

100-балльная система и её разновидности: от 0 до 10 баллов с шагом 0.1, от 0 до 100% – позволяет выставить оценку с избыточной точностью, но увеличивает время её формирования и вероятность допустить большую погрешность.

Результат оценки по любой одноранговой системе представляет собой одно число, конечный балл, целиком зависящий от объективности автора.


Одноранговые системы голосования

То же, что и предыдущий вид систем, только балл оценки дают от нескольких до нескольких миллионов человек, а конечный балл получается или делением суммы баллов на количество голосовавших или более сложными вычислениями (возможны гибриды с другими видами систем оценки).

К недостаткам можно отнести как долгое время формирования оценки при затянутых голосованиях, так и эмоциональность, предвзятость, ошибки, необъективность случайных голосующих.

Результат оценки по системе голосования будет в конечном виде представлять собой число, целиком зависящее от объективности и количества голосующих. При низком уровне объективности – от их среза интересов и накопленного опыта.

Ярчайшим примером (правда, из другой "оперы") необъективного голосования, названного "соседским", является конкурс Евровидение. Несмотря на старания организаторов по борьбе с эффектом союзного обмена голосов, его даже не удалось свести к минимуму.


Одноранговые экспертные системы

Сплав предыдущего вида систем, только процедура получения оценки производится на основе группового мнения специалистов (экспертов), которое обладает большей точностью, нежели индивидуальное мнение каждого из специалистов. Данный метод можно рекомендовать для получения качественных оценок, сложность лишь в подборе экспертов, обладающих опытом в нужной области.

Приходится учитывать и момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Также следует полностью исключить влияние членов группы друг на друга (эксперт часто не рискует противоречить мнению большинства или наиболее уважаемого специалиста).

В качестве образца такой системы можно упомянуть известный рейтинг сайта-агрегатора metacritic.com, который строится на базе оценок сторонних специалистов-критиков. Иногда "специалистов" в кавычках. В дополнение к их оценке имеется и голосование посетителей.

К примеру, для игры Portal 2 приводится 48 оценок критиков, нормированных к 100-балльной шкале. Из них: 15 критиков дали максимальный балл 100, один присвоил 83 балла, ещё один "отщепенец" выдал 70 баллов, а остальные дали оценку выше 90 баллов. Результат в 95 баллов получается простым вычислением среднего арифметического. Хотя metacritic.com и упоминает использование весовых коэффициентов, но на данной стадии вычислений их не видно. Если они применены на стадии нормирования и не афишируются, значит могут являться отличным средством подтасовки результата.



Получилась ли в среднем объективная оценка? Кто знает, хотя в данном случае она близка к верной. В научных усреднениях крайние значения могут отбрасываться для получения более качественного результата (в данном примере эта пост-фильтрация дала бы результат 93,5).

Ни один из критиков не представил негативной оценки, что естественно, ибо не за что. В то время как со стороны посетителей пришло 144 негативных отзыва (почти 11%). И намного менее интересные игры не получали от посетителей 2-х баллов, как выпало на долю Portal 2.

Не менее показателен и случай игры Krater, получившей от обозревателей оценки в разбросе от 20 до 95, что намекает, какой "ногой" они выставляются.

Недостатки однорангового голосования и огрехи "метакритики" налицо, хотя экспертный рейтинг, если раскрыть его детали полностью, будет всё же многоранговым, поскольку большинство экспертов должны формировать свои оценки не по одному критерию.


Многоранговые балльные системы

Баллы выставляются по нескольким критериям. Усреднённый, минимальный, максимальный или суммарный балл и будет конечной оценкой. Сложность выставления оценки по сравнению с одноранговой системой увеличивается, зато качество оценки обычно улучшается (за счёт косвенного уменьшения субъективности).

Применяется большинством профессиональных ресурсов и старающимися быть объективными игроками.


Многоранговые системы с весовыми коэффициентами

Подвид предыдущего случая. Баллы каждого критерия умножаются на индивидуальные весовые коэффициенты перед общим сложением / выборкой. Качественность оценки будет зависеть от правильно подобранных коэффициентов.


Статистические оценки

Можно было бы считать их объективными, если бы они рассчитывались на основании косвенных данных, не особо подверженных влиянию субъективных факторов. К примеру, время без перерыва, проведённое за конкретной игрой, процент прохождения игры разными игроками. Качество оценки зависело бы в таком случае от количества входных данных (игроков).

Из недостатков можно выделить сложность получения корректных статистических данных, необходимость их достаточного количества.

Любимый некоторыми рейтинг по количеству продаж, как правило, подвержен влиянию субъективных факторов: обзоров, отзывов, рекламы и тех же одноранговых и прочих рейтингов.

Например, клюнув на обзор и оценку игры, пользователь приобретаёт её – она не нравится, но деньги потрачены – приходится играть, пройти для галочки. Статистика учтёт только то, что он купил, играл, прошёл. Оценка пользователя останется за кадром, а её, при таком подходе, тоже следовало бы учесть.

Дело не в том, что грамотно применённый аппарат статистической обработки данных не сможет дать верной картины, дело в том, что статистика покажет лишь популярность (часто очень кратковременную) того или иного продукта, а не его объективное качество. "Эффект блокбастера" действует как в мире кино, так и в мире игр. А реклама или распродажа способна из чего хочешь "слепить" хит.


Вывод

Он напрашивается сам собой: идеальных в плане объективности оценок не существует, особенно для такого субъективного вида деятельности как компьютерные игры. Ориентироваться на рейтинги можно, но принимать их за истину в последней инстанции по меньшей мере необоснованно.
Опубликовано: 28.05.2011


Если вам есть, что добавить или возразить, оставьте своё мнение.
Если статья просто понравилась, оставьте благодарный отзыв.
Регистрация не требуется, но рамки приличий и законов остаются.
Администрация беспристрастно чистит комментарии, если они выходят за эти рамки.
Реклама, спам и флуд аннигилируются без возврата.

Всего комментариев: 0