четверг, 10 мая 2012 г.

MMO: Xfire, истина всегда рядом



Что такое Xfire вообще? Это бесплатная программка для Windows, разработанная c подачи "профессиональных" американских Quake-ров в начале двухтысячных. В программке куча околоигровых функций: чат, скриншоты, видео, поддержка гильдий и другие приятные мелочи. Но самая полезная функция, в контексте моего сегодняшнего рассказа, это распознавание запущенных игровых процессов на вашем компьютере. Таким образом, в частности, собирается нехитрая статистика о времени, проведенном сообществом Xfire в той или иной игре. 

Вроде, ничего особенного. Таких программ сейчас пруд пруди. Необычно то, что статистика общедоступна на одноименном портале.  К тому же Xfire, похоже, была первой в своём роде. Как следствие, в наличии внушительная пользовательская база: на конец 2011 года у Xfire был двадцать один миллион зарегистрированных пользователей, с постоянным средним онлайном в районе четверти миллиона.

Можно ввести в заблуждение инвестора, акционера и, при некотором везении, даже журналиста. Но игрока -- нельзя. Игрок либо играет в игру, либо нет. И статистика Xfire  показывает насколько интенсивно в игру играет довольно большое и вполне репрезентативное сообщество. Что, в контексте MMO, особенно актуально. По этой статистике трудно судить о количестве подписчиков, но вполне можно судить о тенденциях популярности. Растёт популярность игры или наоборот -- затухает. И, наконец, jackpot: сравнивать игры по популярности запросто можно.

Даже более того. Сообщество  Xfire, это в основном "west". То есть пользователи, проживающие в CША и Европе. Если игровой проект рассчитан в основном на эту аудиторию, то можно с достаточной точностью судить даже о количестве подписчиков. Вот что, например, написал намедни Ibe Van Geel, автор всем известного проекта mmodata.net, в контексте взбудоражившего общественность свеженького финансового отчёта EA и SWTOR:
I just got the Q4 quarterly report from EA, and they report 1,3m subs, so I will add this. My latest estimate of 1,41m subs was pretty generous, however I always try to be conservative in my estimates, whether they are downward or upward.

What it does show me is that the Xfire numbers are a good indication to base estimates off, purely based on Xfire I would have estimated 1,2m.
Показательно, не правда ли?

Перед вами график на основе чисел, полученных при помощи Xfire, который бурно обсуждается на форуме mmorpg.com

Я столкнулся с Xfire в начале 2011, когда участвовал в бетах Rift. Тогда этот сервис стал для меня новостью и источником информации к размышлению. Я плотно наблюдал за Rift-ом на Xfire в течение семи месяцев и уверяю: то, что я видел, вполне достоверно отражало общую картину.  

Честно говоря, я устал получать надменные замечания в духе "что ещё за Xfire" и "ничему там нельзя верить", когда я ссылаюсь на сервис на форумах или в комментариях. Теперь в таких случаях буду просто давать ссылку на эту заметку. Вроде, я подробно все объяснил о принципах и подходах, чтобы убрать все недопонимание в этом вопросе.

40 коммент.:

Raoul Dick комментирует...

Полезный сервис, спасибо за наводку.

Sergey Nemchinskiy комментирует...

"и вполне репрезентативное сообщество" - это неправда. Потому как сообщество людей, пользующихся разными около-игровыми сервисами не является репрезентативной выборкой игроков в целом. Она отражает интересы АКТИВНОЙ (читай - задротской, полупрофессиональной и т.д.) части игроков, а не всех игроков. Разницу я думаю уловить труда не составит. естественно, подмножество активных игроков СВТОр покинуло - это ежу понятно. Ну так она на них и не была рассчитана. А от ЦА игры (казуалов) дожидаться того, что они будут устанавливать некий сервис - крайне сложно. Так что очень легко принять цифры за желаемое, однако репрезентативность выборки - основное требование для того, чтобы делать выводы.

Я так понимаю, Ат, что у тебя теории вероятностей в институте не было? У меня просто ТеорВер - один из основных предметов, поэтому уж о чем о чем, а о вероятности могу и лекцию прочесть :)

Andre комментирует...

Ат даже ещё не появился в комментариях к заметке Гму, а ты уже пытаешься претензии ему высказывать :)

Как знаток теории вероятностей ты наверняка знаешь о коэффициенте корреляции. Скажи пожалуйста, как ты, субъективно, конечно, оцениваешь корреляцию между тенденциями среди "АКТИВНОЙ части игроков" и всего игрового сообщества?

Gmugra комментирует...

У меня была теория вероятности в университете и мат статистика тоже была. Но я не о математических аспектах, а о здравом смысле.

У вас есть куча народу которая играет в кучу игр. 5%(например, тут всего лишь важно признать что народу "достаточно много") этого народу пользуется Xfire. Вы не верите что по статистике этих "достаточно много" нельзя судить о народе в целом с приемлемой точностью? Понятно, что чем % выше тем будет точнее, но и всё на этом.

Т.е., например о популярности сайтов в сети на основе сервиса alexa.com (который собирает статистику используя в точности такой же приём, как и Xfire) судить можно. A о играх - нельзя.

Sergey Nemchinskiy комментирует...

Извините, спутал авторов. приношу извинения. Однако - выкладки правильные.

ank комментирует...

>Она отражает интересы АКТИВНОЙ (читай - задротской, полупрофессиональной и т.д.) части игроков, а не всех игроков.

Фокс, без задротов игры не будет. не казуалы двигают в "массы" проект, не они его "рекламируют".

Anton комментирует...

Вообще да, падение популярности в XFire может отражать отношение к игре (а именно — готовность играть) среди аудитории, которая более-менее разбирается в играх. Так что выборка не «абсолютно» точная, но данные всё равно ценные, если понимать контекст (который Гму и описал).

Gmugra комментирует...

Кроме того, господа, я считаю тезис о том, что сервисами подобным Xfire пользуются только "активные" игроки высосанным из пальца. С чего вы взяли? И что такое вообще "активный" игрок?

Оно тупо во многом удобно.
Мы пользовались подобным чем-то когда играли L4D, например.
Или вот моя жена, играющая раз в неделю, пользуется клиентом Steam.

Anton комментирует...

Гму, ну речь хотя бы о людях, которые не боятся доустанавливать дополнительные проги, и у которых есть необходимость с кем-то там общаться во время игры. Таких людей вообще-то минимум, если судить не только по онлайн форумам технической направленности :)

Но их мнение более интересно, конечно же.

Gmugra комментирует...

Ребят, в платежеспособных странах вокруг таких прог изрядный маркетинг, который затягивает в пользователи всех кого может. Xfire, это между прочим большой бизнес который в свое время за 100кк купила очень серьёзная контора Viacom.

Не делайте необоснованных предположений :) львиная часть Xfire аудитории никакие не активисты и хардкорщики

Avicorn комментирует...

2Gmugra Сдается мне, что упорствующих этот аргумент никак не убедит.
Кстати, имхо критерием "хардкорности" в какой-то степени может быть "налет" в сутки. Если xfire дает такие данные, то можно условиться, кого считать казуалом, и кого хардкорщиком, а потом рассортировать пользователей по категориям.

rigeborod комментирует...

Сергей, раз уж прочитать внимательно статью у тебя не получилось, то вот тебе важный кусочек. Он, правда, по английски.

I just got the Q4 quarterly report from EA, and they report 1,3m subs, so I will add this. My latest estimate of 1,41m subs was pretty generous, however I always try to be conservative in my estimates, whether they are downward or upward.

What it does show me is that the Xfire numbers are a good indication to base estimates off, purely based on Xfire I would have estimated 1,2m.

Это как раз и был ответ на твои "выкладки". Надо было всего лишь прочитать. :)

Gmugra комментирует...

2Avicorn: наверное можно, только зачем? Думаете между этими двумя группами будет драматическая разница? Это к вопросу который задал выше Andre, про корреляцию.

dymm комментирует...

ЦА - это, конечно, белые люди после тяжелых трудовых дней?

Неактивные игроки как ЦА, это жестоко. Даже для хейтеров.

dymm комментирует...
Этот комментарий был удален автором.
dymm комментирует...

>речь хотя бы о людях, которые не боятся доустанавливать дополнительные проги

Абсолютно наоборот. Иногда прихожу в ужас, видя, что устанавливают неискушенные пользователи. Чем больше человек в теме компьютеров, тем меньше у него таких вещей. Как раз таких меньшинство, у них часто специфические интересы и они меньше коррелируют с общей массой.

Anton комментирует...

> Иногда прихожу в ужас, видя, что устанавливают неискушенные пользователи.

Кстати да, тут ты прав. Особенно если речь о Яндекс.Баре и т.п. вирусах :)

Andre комментирует...

Фокс проигнорировал вопрос по одному из своих основных предметов, но к счастью есть исследователи игровых миров. Позвольте процитировать:

About 15% of the XFire users played for less than 10 hours ; ... over 25% of them played for over 1,000 hours. Surprisingly, we found ... ~0,2% players who spent over 10,000 hours online. [всего часов за всё время в системе]
Выборка составила приблизительно 500 000 пользователей .
Источник: http://www.st.ewi.tudelft.nl/~iosup/xfire-overview11mmve_online.pdf

Анонимный комментирует...

>About 15% of the XFire users played for less than 10 hours

А 5% - меньше часа!

Интересна методика, по которой Ibe Van Geel насчитал 1.2 миллиона.

Avicorn комментирует...

Яндекс.Бар и прочую подобную хрень сложно как раз таки сложно НЕ установить, потому что они идут "по умолчанию" с кучей распространенного софта. Чтобы установить что-то специфическое, надо в этом хоть немного разбираться. Например, клиент от Curse я установил себе только через примерно полгода игры в Варкрафт, а это чуть ли не половина совокупного календарного времени, которое я в него играл. Т.е. до этого аддоны устанавливались и обновлялись вручную. Еще раньше были готовые сборки, а перед ними аддонов вообще не было, только голый клиент.
Но в любом случае, даже если такая выборка учитывает только более-менее опытных игроков, тенденция устойчивого падения на лицо. Ок, пусть у новичков и казуальных игроков освоение контента займет немного больше времени, но в конечном итоге до эндгейма дойдут и они.
Любопытно, что в D3 Open Beta weekend желающих поиграть из числа xfire было меньше, чем неделей ранее. А так же тот факт, что статистика есть и после первого мая, когда тестовые сервера должны были уже отключить.

Анонимный комментирует...

>Чтобы установить что-то специфическое, надо в этом хоть немного разбираться.

Галочка "установить X-Fire" стояла по умолчанию в сетапе Civ4. Так что, думаю, аналогия с разными барами вполне уместна.

Анонимный комментирует...

Ааааа, математика!!!
Народ. вы не о том спорите. репрезентативность а уж тем более качественные оценки выборки оценивать бесмысленно Мы с вами такое исследование не потянем by default. Его даже разработчики самого Хфайра потянут с не очень болшими шансами. Но в данной модели это ИМХО и не нужно. Нам нужно оценить качество инструмента и коррелицию производной графика с реальностью (именно корреляцию производной -- абсолютные цифры нас не интересуют, да и достроить графики до реальных цифр задача как минимум не тривиальная (и упирается опять в качественные оценки аудитории, которые...)).
Поэтому чисто практическое предложение желающим доказать "качество инструмента". Сделайте эксперимент.
1. берете графики которые есть на файре и сравниваете их с графиками численности которым вы доверяете (ту же ИВу или ВоВку, думаю их можно копнуть по прогрессам разным). причем тоже достаточно не абсолютных цифр а большой корреляции их колебаний с реальными колебаниями численности.
2. сравниваете эти графики (производные от этих графиков для точности) и выводите линию тренда (с порядком можно поиграть в соотвествии с тем что хотим доказать ;-) ).
3. если есть совпадения на контрольных играх, то считаем что будет и большая вероятность совпадения развития игры с реальностью. если где то надыбаете цифры корреляций, то даже вроде есть формулы которые скажут тоность.
А так опять будет холивар без пользы. Как про "азиатских игроков", которые любят гринд и ненавидят Европу.

Кстати а где ИВ на картинке. можно было бы сравнить с выводами из статьи про взлеты.



С уважением, Шкуурник.

Gmugra комментирует...

EVE болтается между 25 и 21 рангом годами, а на графике собраны данные из, так скажем, TOP 15. Если вам этот график интересен то на mmorpg.com наверное уже тысяча постов вокруг него в как минимум паре веток. ищите :) Я привел просто красивый (визуально) пример цифр с Xfire :)

Gmugra комментирует...

Allian, спроси у него сам. Вроде на его сайте есть способ связаться. Может и ответит, даже скорее всего. Я ему просто верю. Он персонаж авторитетный :)

Анонимный комментирует...

>берете графики которые есть на файре

Проблемка в том, что на X-fire данные за последнюю неделю, на ммодата есть только три точки, да и с привязкой их к оси времени проблемы.

Так что каждый может самостоятельно сгенерировать "статистическое исследование", например:

По отчету EA, приведенному в одном из предыдущих постов, есть 3 числа: 2.4 млн. коробок продано, 1.3 млн. подписчиков на конец апреля, 1.7 млн. было указано в предыдущем отчете. Будем считать, что отчет квартальный, так что 1.7 соответствует концу января.

По X-fire возьмем 3173 на 30 апреля, 8500 на 30 января, 11800 на 2 января (до этого ж график обрывается). Первые две точки соответствуют подписчикам по отчету, допустим, что 2 января играли все, кто купил коробки.

Предположим, что выборки аналогичны, так что играющие в СВТОР с запущенным X-fire (далее XF) составляют некую долю всех играющих (далее EA). Построим аппроксимацию XF, зафиксировав долю XF/EA на 2 января:
XF-est(i) = XF(1)/EA(1) * EA(i)

EA XF XF est.
2.4 11800 11800
1.7 8500 8358
1.3 3173 6391

Вторая точка достаточно хорошо совпадает, а третья в реальности значительно меньше аппроксимированной.

Что же это значит? Что XF действительно хардкорщики и покидают свтор гораздо быстрее, чем основная масса игроков? Что XF - типичные представители аудитории, а вот ЕА завышает данные по подписчикам, чтобы не выглядеть совсем уж плохо? Что по трем точкам нельзя проводить статистическое исследование?

Решать вам.

Gmugra комментирует...

Allian я вообще смотрю на это в отрыве от конкретных цифр.

Я вижу в Xfire что интерес к SWTOR падает и быстро. Насколько и как в точности это конечно любопытно, но уже не так важно. Тенденция - во она. И это правда. Это подтверждается квартальными отчетами.

Я вижу например что Rift сейчас интересен меньшему числу людей чем EVE, а год назад в это время было наоборот - и это так и есть. посмотрите например теже графики EVE vs Rift на mmodata.net

Это просто два примера, первыми прешедшие мне в голову.

Т.е. какие бы там не были цифры. Тенденции верны. Сравнивать можно. Выводы делать можно. Оно работает.

Анонимный комментирует...

опять Вы оцениваете неизвестный процес (количество подпписчиков в СВТОР) неоткалиброванным инструментом.
Оцените сначала что этот инструмент говорит про известные процессы.
Без этого это будет такой же вилами по воде писанный результат что и "мне кажется" или "все мои друзья ливнули/перешли/играют".
Особенно если хотите потом ссылаться на пост как на источник.
Или оценивайте ЕА, но тогда нужна уверенность в инструменте оценивания (ИксФайр) или оцените сначал инструмент. чтбы быть уверенными в его надежности.
А из "EVE болтается между 25 и 21 рангом годами" уже можно сделать выводы что рост количества подписчиков (график Атрона) иксфайр не видит. или все игры имеют рост (что намного менее вероятно).

В общем пока это чисто "пацаны из сообщества напели", а не корретный инструмент оценки. И откровенно говоря пофиг на качество сообщества (хардкорщики казуалы, смесь, общатели,...). мы говорим только о его адекватности задаче. Но уже на Ив она получается не адекватна. (или неадекватна модель которую демонстрирует Атрон), но там вроде контора более солидная. .

С уважением Шкуурник.

Gmugra комментирует...

Шкуурник,
Но общее количество подписчиков EVE и не менялось существенно. Насколько я знаю, оно болтается между 350-400 последние года 3.

osc комментирует...

2Allian: >Что же это значит?
Возможно это значит, что быть подписанным и играть - это не одно и то же?

Atron комментирует...

@Allian

>Что же это значит? Что XF действительно хардкорщики и покидают свтор гораздо быстрее, чем основная масса игроков? Что XF - типичные представители аудитории, а вот ЕА завышает данные по подписчикам, чтобы не выглядеть совсем уж плохо?

Ал, дело в том, что сразу после старта было известно следующее: куплено 2.4kk коробок, а активировано 1.7kk аккаунтов. То есть верхнее значение по играющим не 2.4, а 1.7. После этого финансовых отчетов не было, были только заявления, правдивость которых примерно продемонстрирована в моей последней заметке из рубрики "Холодный Кофе". Затем они дали всем бесплатный месяц в начале апреля, чем обеспечили фиктивную величину подписок для апрельского отчета.

Анонимный комментирует...

>Ал, дело в том, что сразу после старта было известно следующее: куплено 2.4kk коробок, а активировано 1.7kk аккаунтов.

А есть предположения, что сделали с коробками 700к человек? Может все же 1.7кк аккаунтов подписались, то есть стали играть больше включенного в коробку месяца? Тогда я и сам в эти 700к попаду.

Но если оставить две точки, несовпадение еще больше.

EA XF XF est.
1.7 11800 11800
1.3 3173 9023

Но по двум точкам, это, конечно, смешно. С одной стороны Ibe Van Geel авторитет и не верить ему оснований нет, с другой стороны узнать методику было бы интересно.

>Т.е. какие бы там не были цифры. Тенденции верны. Сравнивать можно. Выводы делать можно. Оно работает.
Без чисел опровергнуть гипотезу Сергей, ака Pro100Fox не представляется возможным. Но мы, конечно, можем долго спорить и верить каждый в свое.

P.S. Я правильно понимаю, что никто не знает, как извлечь из XF числа более чем недельной давности?

Gmugra комментирует...

Allian, насколько я понимаю - только следить и сохранять цифры самому. Некоторые так и делают, Ibe Van Geel тот же, скорее всего :) Возможно так же зарегистрированным пользователям там больше доступно. Я не проверял.

Gmugra комментирует...

Вдогонку: а зачем мне опровергать гипотезу Сергея? :) У меня нету ни одного примера подтверждавшего её верность. Его гипотеза - пусть он и доказывает что он хоть чем-то подтверждается :)

Анонимный комментирует...

>насколько я понимаю - только следить и сохранять цифры самому.

То есть "Необычно то, что статистика общедоступна на одноименном портале" не совсем верно?

>Вдогонку: а зачем мне опровергать гипотезу Сергея? :) У меня нету ни одного примера подтверждавшего её верность.

Да, но подтверждать свою гипотезу "И статистика Xfire показывает насколько интенсивно в игру играет довольно большое и вполне репрезентативное сообщество" тоже надо?

Atron комментирует...

@Allian

>То есть "Необычно то, что статистика общедоступна на одноименном портале" не совсем верно?

Ал, почему? Месячная статистика по любому проекту доступна. Проекты всегда расположены относительно друг друга в порядке популярности.

>Да, но подтверждать свою гипотезу "И статистика Xfire показывает насколько интенсивно в игру играет довольно большое и вполне репрезентативное сообщество" тоже надо?

Здесь, как мне кажется, вполне убедительным и авторитетным может являться мнение автора mmodata.net. И я присоединяюсь к Гму в контексте призыва к презумпции невиновности в любой дискуссии. :)

Анонимный комментирует...

>Ал, почему? Месячная статистика по любому проекту доступна.

Потому что и месячная статистика интегральна. А что было за пределами месяца недоступно вообще.

>Здесь, как мне кажется, вполне убедительным и авторитетным может являться мнение автора mmodata.net.

Да, собственно, это и есть единственный аргумент. Хотя "вполне репрезентативное сообщество" он не говорил. На мое письмо он, правда, не ответил, но кроме варианта "его методика посложнее будет, чем простые пропорции" есть, конечно, и другие.

Gmugra комментирует...

Allian, с чем ты не доволен? Тем что тебе сейчас не предложили хлеб с икрой и маслом на подносе? :)
Люди пользующиеся Xfire знают и о ограничениях. Я в свое время по Rift циферки в Excel табличку складывал и имел картинку за полгода.
Это не удобно, да.
Но к общедоступности отношения не имеет. Я же негде не писал что статиски ЗА ВСЮ ИСТОРИЮ общедоступна.
При минимальном желании и любопытстве можно вполне пользоваться даже так.

Анонимный комментирует...

>Allian, с чем ты не доволен? Тем что тебе сейчас не предложили хлеб с икрой и маслом на подносе? :)

Да, я люблю бутерброды с икрой. А что? :)


Итак, если кого-то еще интересует не только наша пикировка, ван Геель мне ответил.

При оценивании количества подписчиков по XF он пользуется следующими правилами:

-----------------------------------------------------------------------------------
- Использовать не минуты, проведенные игроками в игре, а количество игроков за день. Игроки обычно начинают играть меньше после периода стартового энтузиазма.
- Использовать один и тот же пиковый день (воскресенье) каждую неделю для записи чисел из XF (это мой личный выбор, можно записывать каждый день и потом усреднять, но по моему мнению это слишком много работы и слишком мало выгоды).
- Надо иметь начальную точку, т.е. количество подписчиков данной мморпг, по которой можно вычислить отношение XF/subs, после чего можно использовать это отношение для вычисления числа подписчиков в любой другой месяц.
- Нельзя как-либо выводить вышеуказаное отношение для одной ммо из числа для другой. Эти отношения в общем не универсально для разных ммо.
- Нужен другой источник кроме XF для двойной проверки. Например, загрузка серверов. Использование загрузки серверов для оценки числа подписчиков это отдельная история.
- Нужно принимать во внимание флуктуации базы XF. Если количество пользователей XF упадет, вы можете ошибочно подумать, что число подписчиков конкретной ммо упало. Можно сделать это сравнением чисел XF с ммо с известным числом подписчиков, как, например, EVE или WoW. А затем в случае необходимости эту флуктуацию скомпенсировать.
- Очевидно, что можно определить число подписчиков только если игра в основном п2п. Если игра в основном ф2п, мы будем определять активные аккаунты.
- Я мог что-то забыть. Надо начать это документировать :)
-------------------------------------------------------------------------------------

Я специально привел эти правила вначале, потому что ван Геель попросил, цитируя его, непременно добавить их.

По поводу репрезентативности выборки. Ван Геель считает, что выборка XF несколько смещена. Но не настолько, чтобы ею не пользоваться. Лучше воспользоваться XF и получить приемлимую оценку, чем не использовать и оставить какую-то ммо на пике.
Если он не может следовать правилам выше, он не будет делать оценку.

Ну вот, что называется, компромисс достигнут. Те, кому не нравится слово "репрезентативная", ликуют. Те, кому нравится "приемлимая оценка", так же ликуют.
Ура, товарищи!!!

Atron комментирует...

Ал, спасибо большое! Очень полезная и подробная информация. :)

Gmugra комментирует...

Спасибо Aл :)

Отправить комментарий