Дегрустиваторы [RSS-подписка
]
[Смотреть все]

Про оценивание
Полный список статей
15.07.2013

Вряд ли наше мнение по принципам подхода к оцениванию игр заинтересует профессионалов и снобов, потому адресовать всё нижеследующее мы будем тем, кто пока ещё пытается найти для себя пресловутые объективные способы «раздачи медалек».
 
В предыдущих своих статьях на схожую тематику мы более-менее прояснили вопросы усреднённых оценок, хейтерства, объективности критики. Осталось самое сложное: упорядоченно изложить основы формирования «справедливых» оценок.
 
Кто-то вновь заметит, что игры, как и другие творческие продукты, нельзя измерять цифрами. Постойте, что делают эти люди в теме про измерение игр цифрами? Откуда и по каким критериям вдруг возникает в головах игроков цифра оценки, когда они делятся ею с другими?
 
Можно ли измерять цифрами людей? Любовь? Да без проблем. Все всегда так и делают, только отчёта себе в этом не отдают. Когда вы говорите про другого человека, что он «очень не нравится» – «просто не нравится» – «безразличен» – «нравится» – «любите его и обожаете», вы ставите оценку в примитивной пятибалльной шкале. То, что она выражена одним-двумя словами, а не универсальной цифрой, не имеет принципиальной разницы. Подобную шкалу с вариациями люди сами для себя давно используют и для игр, и для кино, и для музыки, и для всего на свете.
 
Говорить про игру, что она «больше, чем игра», «дарит целостное восприятие», что её «нельзя измерить никаким аршином» – это наделять творческий продукт, результат труда обычных и/или талантливых людей, некими божественными чертами и неприкосновенностью для критики.
 
Вкус арбуза тоже нельзя измерить рулеткой, безменом или количеством полосок, но приобретают его зачастую именно по размеру, цвету и на вес. И пока не попробуешь конкретный арбуз, не узнаешь его вкуса. Но, после дегустации легко скажешь на пять баллов этот арбуз или на четыре с минусом. При условии, что этот арбуз не первый, не второй и не последний в твоей жизни.
 
Впрочем, про оценивание разной хурмы с апельсинами мы уже писали в пародийно-сатирическом стиле в статье про игру Mark of the Ninja. Из притчи в самом конце указанной статьи вы легко сможете вынести идею о том, что «целостное восприятие» всё-таки вполне возможно при отсутствии системы интерпретации ценностей. Но такой случай, увы, не совместим с какими-либо оценками и темой данной статьи.
 
Обычно же, под отговоркой о «целостном восприятии, не поддающемся оценке» скрывается непрофессионализм критика, который не видит или не хочет видеть отдельные детали и недостатки. Ведь в случае, когда оценивает действительно эксперт, даже незначительные огрехи тем сильнее режут глаз, чем безупречнее произведение.
 
Показательно привести сейчас сравнение с судейством таких спортивных дисциплин как художественная гимнастика или фигурное катание. Там где обычный зритель наслаждается «целостным артистичным выступлением» на 5 с плюсом или на 12 из 10, судейская коллегия замечает ещё и череду технических неточностей. И оценка не зря выставляется на основании коллективного мнения экспертов и рассчитывается с точностью до тысячных, а идеальный максимальный балл крайне редко достижим.
 
 
В отличие от вышеприведённого примера, оценка игр в плане системности представляет собой полную анархию, как на локальном, так и на общемировом уровне. То есть игры, даже с миллионными бюджетами, до сих пор не заслужили внятной и точной системы оценок. В сравнении, опять же, с теми же достижениями на спортивно-художественных состязаниях любого уровня. А между тем игры волею авторов тоже состязаются между собой за право называться лучшей, да и баллы игровых оценок вроде бы как-то влияют на гонорары разработчиков.
 
Многие критики, боясь недодать или переоценить, а может и того и другого сразу, в результате ищут в оценках некую «золотую середину», за которую общественное мнение точно не будет их «пинать». Ведь поставишь больше других – скажут «проплачено» или «фанат», меньше – «не занесли» или «хейтер».
 
Пользуясь известным методом «золотого сечения» (если кратко, то это отношение, равное 5:3, а точнее – 8:5) легко найти любую золотую середину. Отношение 8:5 (равное 1.6) можно обнаружить в разрешениях экранов мониторов (1280 x 800, 1680 x 1050, 1920 x 1200, 2560 x 1600 и т.д.), а также в пропорциях удачного дизайна и т.п. как наиболее комфортное для восприятия.
 
Исходя из соотношения 8:5, несложно гипотетически постулировать замещение некогда срединной оценки 5 в 10-балльной шкале на ставшую «золотой серединой» оценку 8, наиболее комфортную публике при клеймении игр среднего пошиба. Естественно, что вся положительная половина шкалы при этом стала умещаться в тесном диапазоне от 8 до 10 баллов. Данное обстоятельство, в совокупности с присущим людям свойством завышать оценку всему понравившемуся, близкому или защищаемому, и породило тенденцию повальных десяток. Но это несколько сторонние рассуждения с нашей стороны вдогонку к предыдущим статьям.
 
Повторим, что численная оценка для игр с привязкой её к каким-то описательным категориям вполне самодостаточна. Рецензия, как правило, не заменяет оценку, поскольку может быть понята по-разному, превалировать стилем над фактами, либо в ней могут быть опущены какие-то детали. Хотя отсутствие в рецензии итоговой оценки в понятной всем шкале в какой-то мере искупает заключительный абзац с краткими выводами.
 
 
А теперь постараемся по пунктам изложить принципы подхода к оцениванию (и хотя именования всех пунктов синонимичны по своей сути, их расшифровка весьма отличается):
 
 
1) Беспристрастность
 
Что такое беспристрастность? Это антоним пристрастности – склонностей и предрасположенностей игрока, сформированных его игровым опытом и социальными реляциями.
 
Игрок предпочитает определённые жанры, определённый стиль и динамику игры, у него есть любимые игры, с которыми он сравнивает все остальные, ему, скорее всего, известно отношение к игре широкой общественности и его друзей, он может симпатизировать разработчикам или даже полюбить/возненавидеть игру задолго до её выхода, и прочие, прочие, прочие условности и определённости.
 
Хорошо было бы каждую игру встречать как первую в жизни, но при этом иметь за плечами и весь игровой опыт. Но, поскольку такого избирательного хитровымученного склероза ещё не изобрели, мы, например, в своих оценках стараемся избегать пристрастности некоторыми нехитрыми приёмами, в первую очередь тем, что всегда помним об этой западне.
 
 
2) Непредвзятость
 
Реклама, трейлеры, дневники разработчиков, превью, отзывы, рецензии – всё это создаёт у игрока определённую картину, как правило куцую и предвзятую, ещё до непосредственного знакомства с игрой и игровым процессом.
 
А ведь есть такое правило экспертизы качества: никакой информации об образцах до вынесения вердикта.
 
Но интересующийся игрок, критик или эксперт заранее знает об игре всё, что посчитал должным сообщить и приукрасить сам производитель. Рекламный ажиотаж как двигатель продаж часто оборачивается предвзятостью оценок как в положительную, так и в отрицательную сторону.
 
При этом слабо рекламируемые игры неизвестных разработчиков либо вообще не получают должного внимания, либо, наоборот, подхваченные случайной волной, оказываются на гребне избыточных восторгов.
 
Стоит ли вообще интересоваться теми, кто разрабатывает игру, а также ждать и заранее обсуждать её, рождая в себе возможные пристрастия и предубеждения? Тем сложнее задача критиков и экспертов, которые, конечно, вынуждены знать больше обычного игрока в силу своей профессии.
 
За примером не нужно далеко ходить:
– мало кого из неспециалистов заинтересовало в своё время рождение польской студии Flying Wild Hog;
– но многие обратили на них пристальное внимание, узнав, что большая часть сотрудников выходцы из People Can Fly и CD Projekt RED;
– кому-то наименования компаний ничего не сказали, а кто-то подпрыгнул, узнав создателей, соответственно, Painkiller и Ведьмака;
– без всей вышеуказанной информации никакого интереса первый проект студии, Hard Reset, вообще бы не вызывал;
– но как увеличилась пристрастность игроков, когда стало известно, что Hard Reset ко всему прочему ещё и олдскульный sci-fi с отменной графикой.
 
Насколько сильно влияет на оценки предвзятость к польским играм и разработчикам, к именитым или пока неизвестным авторам, дебютным проектам или штампованным сериям, жанрам и сеттингам?
 
Вопросов много. Ответов нет. И влияние на оценку может оказать любая косвенная мелочь, невыполненное обещание разработчиков, отсутствующая в игре сцена из трейлера.
 
Оценивание игры сравнением её со своими ранее сложившимися представлениями о ней это, пожалуй, верх предвзятости и в некоторой степени шизофрения. Спасение – в профилактике избытков информации, либо всё тот же избирательный склероз, либо полный иммунитет к любого рода спойлерам и обещаниям.
 
 
 
3) Абстрагирование
 
Без надлежащей методики сложно избежать оценивания новых игр по меркам уже сыгранных. Можно сказать, что перерывание собственного игрового багажа, особенно если он скуден, для выставления оценки новой игре – это не столько предвзятость, сколько солипсизм и в некотором роде рутинёрство.
 
Выискивание штампов и подобий хоть и полезно для критики, но не как фактор исключительного оценивания по нему игры.
 
Наверное, невозможно в принципе создать что-то, не похожее ни на что другое. И если вы видите что-то, не похожее ни на что другое, значит просто не видели или подзабыли то другое, на что это всё-таки похоже.
 
Есть что-то в корне неправильное в недооценке игры лишь за то, что она в точности или частично повторяет черты одной из своих предшественниц.
 
Раскрывая понятие абстрагирования – и примеры будем приводить абстрактные, то есть связанные не с играми, а, допустим, с соком.
 
Таким образом, снижение оценки игре за неоригинальность, похожесть или самоповтор равносильно вердикту типа «в прошлом году пил точно такой сок, значит этот хуже».
 
Уж лучше поставить оценку повыше в редком случае проявления оригинальности.
 
А ещё лучше учитывать, что для кого-то эта игра станет первой в жизни, первой в жанре, первой из серии и так далее. И чем больше игровой опыт оценщика, применяемый им для опосредованной оценки, тем менее ценна такая оценка для постоянно нарождающихся новых игроков.
 
Абстрагироваться на время от всего прежде виденного для непосредственного восприятия нового опыта – это ли не искусство. Но задача профессионального критика абстрагироваться на время и от всех своих вкусовых предпочтений.
 
Ведь хорошее вино не обязательно понравится любителю пива. Как и наоборот. Ах да, примеры должны быть про сок. Значит так: «если любишь только апельсиновый, то вряд ли по достоинству оценишь вкус томатного».
 
При должной методике качество как сока, так и игр можно оценить объективно. Качество, но не вкус. Ведь даже натуральный сок высокого качества, который банально не подсластили или не разбавили, многим своим вкусом понравится не так сильно, как аналоги худшего качества.
 
В этом кроется одна из заковырок и проблем оценивания и оценок, а именно: редкий вкус менее популярен и статистически «объект с таким вкусом» получит меньше высоких оценок, каким бы замечательным он не был. Как антитеза, объект, сиречь игра, созданная под вкусы наиболее широких слоёв общества, получит больше высоких оценок, какой бы несовершенной она не была.
 
И это будет так, покуда балом (и баллами) оценок будет править вкусовщина.
 
От чего ещё стоило бы абстрагироваться эксперту, так это от каких-то личных притязаний и неудобств. Всё это, конечно, напоминает предыдущие пункты о пристрастности и предвзятости. Так вот: абстрагирование – как раз то, что помогает избежать любых предубеждений.
 
Но и абстрагироваться надо в меру, иначе ваши оценки потеряют индивидуальную составляющую.
 
 
4) Надлежащие критерии
 
Совокупность выбранных критериев должна представлять собой необходимый и достаточный набор, одинаково применимый к игре любого жанра и уровня. Иначе придётся делить игры по категориям и в каждой категории использовать свои критерии.
 
Недостаточность критериев приводит к неполноте оценивания, неверно выбранные критерии искажают оценки, ненормированный подход к оценке вызывает ситуации, когда за необычные черты игру переводят в разряд шедевров, не взирая на прочее. Или ставят оценку авансом, говоря, что недоработки якобы будут рано или поздно устранены.
 
Отдельные критики, которые, допустим, начинали свою деятельность кинокритиками, не меняют своего подхода и оценивают игры по меркам кино. То есть сюжет, зрелищность, актёрская игра, музыка для них преобладают над реализацией собственно полноценного игрового процесса.
 
Как метко выразился в своём отзыве на игру The Last of Us один из посетителей сайта metacritic.com:
There are NO better looking games from this generation, but there are many better games...
что в переводе может звучать как «В этом поколении НЕТ лучше выглядящих игр, но полно игр получше». Под поколением имеются в виду игровые приставки.
 
Впору тогда вводить категорию интерактивного кино, а ведь игра в первую очередь должна быть игрой, а не фильмом, тренажёром или учебным симулятором. Иначе требуются другие критерии, либо опять же разбиение игр по условным группам.
 
Но уже существующие категории, как например жанры, и так осложняют задачу оценщикам. Вдобавок приходится руководствоваться тем, что игры делятся по классам и уровням, не говоря уже про платформы.
 
Класс казуальных игр, онлайн-игр или чисто детских в противовес крупным и мелким проектам традиционного класса, экспериментам энтузиастов и прочей куче разного рода поделок. Игры для портативных платформ, для смартфонов, для сенсорных экранов планшетов, для смарт-телевизоров, для приставок, для компьютеров.
 
Так или иначе, оценщик либо вынужден ограничить себя в какой-то области, либо применять разные критерии для каждого случая. Но в последнем случае оценка перестаёт быть универсальной.
 
А теперь про уровень исполнения игр, это самая интересная закавыка. Правомерно ли сравнивать AAA-блокбастер и скромную малоизвестную игру от инди-разработчиков? Оценивать их по одной и той же системе? А если инди-игра ещё и наберёт больше баллов? Разве не нонсенс, что дорогая по качеству исполнения игра, выглядящая как кино, вдруг оценена хуже, чем какая-то там «пиксельно-воксельная головоломка»?
 
Парадокса нет, если не забывать, что главное в игре – игровой процесс, его полнота, проработка, и комфортность для игрока. И критерии оценки должны быть подобраны так, чтобы игра любого уровня могла завоевать максимальный балл. Правда, спору нет, у инди-игр возможностей и ресурсов для этого куда меньше.
 
А блокбастеры благодаря своему AAA-уровню и так получат пристальное общественное внимание, намного большую популярность и прибыль, но при этом и стоить для игрока будут больше.
 
Финансовые составляющие и маркетинг никак не должны влиять на оценки. Под это положение должна подпадать и стоимость игры. Те критики, что завышают или занижают свою оценку, довольные или недовольные предложенным им за определённую стоимость развлекательным ассортиментом, не правы вдвойне. Во-первых, стоимость никак не влияет на качество продукта и впечатления от игры. Во-вторых, когда игра подешевеет, она что, вдруг, станет лучше? Да и критикам в таком случае исправлять, что ли, свою оценку?
 
В общем, упоминать про стоимость и рекомендовать к покупке, конечно, не запрещено, но использовать цену игры как один из критериев выставления ей оценки – крайне глупо.
 
Ещё один неоднозначный критерий – время прохождения. Кому-то чем больше, тем лучше, а кому-то и трёх часов за глаза. Плюсы коротких игр – они не успевают надоесть, наскучить или утомить, чаще предлагают зрелищный динамичный аттракцион. Их легче перепройти. Плюсы долгоиграющих игр тоже очевидны – в них можно играть очень, очень, очень, очень долго и они с лихвой отбивают свою стоимость. Увы, время, затраченное на это, тоже всегда дороже.
 
Мы не используем и не советуем использовать время прохождения в качестве критерия оценки, также как не рекомендуем использовать понятие реиграбельности, которое слишком индивидуально.
 
Не стоит учитывать, хотя это и бывает трудновыполнимым, локализацию игры. В крайнем случае, оценить её отдельно. Всё-таки локализация в той или иной степени искажает оригинал и редко в лучшую сторону.
 
Напоследок коснёмся ещё одного хитрого неявного критерия – своевременности появления игры на свет. К примеру, если бы сейчас вышла игра Doom в том самом виде, в каком она вышла двадцать лет назад, она точно не стала бы и на четверть таким явлением, что была тогда. Без сомнений, разработчики могут стилизовать свои игры «под старину», но и использовать для этого следует современные «движки» и технологии.
 
А уж играть в хорошие игры интересно вне зависимости от давности их выпуска.
 
 
5) Точность оценивания
 
Какую шкалу использовать: «супер-несупер», «плохо-хорошо-отлично», «1...5», «0...10» или «0...100»? Используйте, конечно, 100-балльную, если проведёте чёткую границу между баллами 78 и 79, 50 и 51, 1 и 2, и так далее сотню в целом раз.
 
Только учтите, что даже в экспертной оценке экспертам не рекомендуется давать на выбор более пяти градаций численных оценок. Лучше вообще предлагать качественные формулировки, нежели голые числа.
 
Но давайте всё-таки специализированно прикинем оптимальный диапазон шкалы. Для не заморачивающегося вопросами оценок игрока, триада «плохо-хорошо-отлично» в самый раз, но у него будут проблемы при сопоставлении её с самыми распространёнными шкалами. Пятибалльная шкала поточнее и несложно конвертируется, но вряд ли обычный игрок вообще захочет уделять время прохождению игр качеством в 1 или 2 балла. Следовательно, система скорее всего выродится в 3-балльную, за редким исключением, ну или будет содержать необъективные оценки.
 
Оптимальнее всего, в текущих реалиях, оперировать оценками в диапазоне 10 баллов, которые, впрочем, тоже легко вырождаются до пяти- или даже трёх-балльного уровня, о чём мы писали где-то в середине статьи.
 
Десяти баллов, а тем более ста, вполне достаточно кому угодно для оценки игры, но даже округление с точностью до балла в пределах 100-балльной шкалы слишком грубо при усреднении коллективного мнения критиков-экспертов. А ведь самые «страсти» разгораются к тому же в верхнем диапазоне 95...100, да при выходе в «высший дивизион» (условно говоря, 80...100 баллов).
 
Честно говоря, вся эта точность вторична, объективность оценки куда важнее. Ведь если ставить все пять баллов игре на «4» или наоборот, то о какой погрешности шкалы тогда может быть речь.
 
А вообще про адекватность оценок мы уже писали (ссылки в начале статьи). Индивидуальная же точность оценщика зависит скорее от правильно подобранных критериев и методики формирования оценки (см. пункт 4).
 
 
 
Конкретных рецептов мы не привели и не приведём, достаточно уже созданного нами условного образца, рейтинга HEXmark. Стоит ли упоминать, что мы руководствуемся всеми указанными принципами и, несмотря на кажущуюся утопичность общей идеи, в нашей системе оценок её удалось в какой-то мере воплотить. И даже предусмотреть критерий (секретный, конечно), о котором только начинают всерьёз задумываться игровые журналисты и критики.
 
Повторим ещё раз: мы не рекламируем свой рейтинг, он изначально задумывался как экспериментальный образец. Не для копирования или подражания, а для наглядного примера и возбуждения в посетителях собственных идей.
 
Главное же – всегда помните, что оценки такая же условность, как и сами оцениваемые виртуальные миры.
Опубликовано: 15.07.2013


Если вам есть, что добавить или возразить, оставьте своё мнение.
Если статья просто понравилась, оставьте благодарный отзыв.
Регистрация не требуется, но рамки приличий и законов остаются.
Администрация беспристрастно чистит комментарии, если они выходят за эти рамки.
Реклама, спам и флуд аннигилируются без возврата.

Всего комментариев: 0