Перейти к содержимому

Извлечение больших данных Fantasy Premier League с помощью API и Excel Power Query

В предыдущей заметке я рассказал, что ряд менеджеров Fantasy Premier League демонстрирует высокие результаты на протяжении многих сезонов. Я выделил группу элитных менеджеров ТОР-10k, показавших наивысшие результаты в сезонах 2017/2018 – 2021/22, а также группу сравнения, включающую 70k аккаунтов, отобранных случайным образом. Сейчас я покажу, какие возможности для извлечения данных с сайта Fantasy Premier League предоставляет API и Excel Power Query. Если вы не знакомы с Power Query, рекомендую Кен Пульс и Мигель Эскобар. Язык М для Power Query.

Официальный сайт Fantasy Premier League предоставляет доступ к большим данным через API. На каждой API-странице имеется набор данных в разновидности текстового формата JSON (рис. 1). Вам не обязательно разбираться в спецификации формата – коннектор Excel Power Query распознает тип данных на странице и импортирует их без вашего участия.

Рис. 1. API-страница с общей информацией о текущем сезоне Fantasy Premier League

Подробнее »Извлечение больших данных Fantasy Premier League с помощью API и Excel Power Query

Александр Орлов. Математика случая

личаютКнига написан с целью преодоления разрыва между курсами по теории вероятностей и математической статистике и практическими потребностями специалистов широкого профиля, использующих статистические методы. Рассмотрены все основные понятия, используемые при применении современных статистических методов. Особое внимание уделено непараметрическим подходам и статистике нечисловых данных. Книга адресована всем, кому необходимо в сжатые сроки овладеть понятийной базой статистических методов.

Александр Иванович Орлов. Математика случая. Вероятность и статистика – основные факты. – М.: МЗ-Пресс, 2004. – 110 с.

Подробнее »Александр Орлов. Математика случая

Статистический вывод на основе критерия Колмогорова

Эта заметка родилась на стыке трех моих увлечений: футбол, Excel и статистика)) Известно, что число голов, забитых каждой командой в одном матче подчиняется распределению Пуассона. Я решил проверить это на результатах матчей английской премьер-лиги сезона 2021/2022. Всего было 38 туров по 10 матчей в туре, по две команды в одном матче. Итого 760 исходных значений.

Рис. 1. Распределение числа забитых голов

Скачать заметку в формате Word или pdf, примеры в формате ExcelПодробнее »Статистический вывод на основе критерия Колмогорова

5 любимых книг Билла Гейтса

Билл Гейтс опубликовал небольшое видео о своих любимых книгах всех времен. А внимание я обратил на это видео благодаря заметке Булата Гайфуллина, перевод которой представляю с добавлением ссылок на издания на русском и английском языках.

Подробнее »5 любимых книг Билла Гейтса

Стандартное отклонение и стандартная ошибка

Я читаю курс статистического мышления магистрам, и одна тема вызывает у них явные затруднения – чем стандартное отклонение отличается от стандартной ошибки, и в каких случаях, применять ту или иную статистику. А недавно в книге Искусство статистики Дэвида Шпигельхалтера я узнал про бутстрэппинг, и понял, как объяснить различия стандартного отклонения и стандартной ошибки.

Для начала зададим 100 значений стандартной нормально распределенной случайной величины. В этом контексте стандартная означает, что ее матожидание μ = 0, а среднеквадратичное отклонение σ = 1. Поскольку значения в Excel получены с помощью волатильной функции СЛМАССИВ(), после любого действия они пересчитываются. Поэтому диаграммы в заметке и в файле будут отличаться.

Рис. 1. Нормально распределенная случайная величина

Подробнее »Стандартное отклонение и стандартная ошибка

Нетривиальный Байес

Недавно прочитал Искусство статистики Дэвида Шпигельхалтера. На тему байесовской вероятности очень понравился пример с монетами. Сначала – фрагмент книги, а затем небольшая модель в Excel.

У вас в кармане три монеты: на одной два орла, на другой две решки, третья обычная. Вы наугад вытаскиваете монету, подбрасываете ее, и выпадает орел. Какова вероятность, что на другой стороне монеты тоже орел? Дайте свой ответ, прежде чем читать далее.

Рис. 1. Три монеты

Подробнее »Нетривиальный Байес

Дэвид Шпигельхалтер. Искусство статистики. Как находить ответы в данных

Статистика играла ключевую роль в научном познании мира на протяжении веков, а в эпоху больших данных базовое понимание этой дисциплины и статистическая грамотность становятся критически важными. Дэвид Шпигельхалтер приглашает вас в не обремененное техническими деталями увлекательное знакомство с теорией и практикой статистики.

Эта книга предназначена как для студентов, которые хотят ознакомиться со статистикой, не углубляясь в технические детали, так и для широкого круга читателей, интересующихся статистикой, с которой они сталкиваются на работе и в повседневной жизни. Но даже опытные аналитики найдут в книге интересные примеры и новые знания для своей практики.

Дэвид Шпигельхалтер. Искусство статистики. Как находить ответы в данных. – М.: Манн, Иванов и Фербер, 2021. – 448 с.

Подробнее »Дэвид Шпигельхалтер. Искусство статистики. Как находить ответы в данных

Центральная предельная теорема

Я часто сталкиваюсь с ситуацией, когда интересные научные концепции не используются на практике из-за сложности их представления. Одним из таких понятий является Центральная предельная теорема. Вот, что сказано в Википедии:

Центральные предельные теоремы – класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

Звучит абстрактно… по крайней мере для меня. Переформулирую:

Центральная предельная теорема: независимо от формы распределения случайной величины средние выборок достаточного размера распределены нормально.

Если и эта формулировка мало что вам прояснила, не отчаивайтесь, изучите два примера.

Рис. 1. Равномерное распределение случайной величины и распределение средних значений выборок разного размера

Подробнее »Центральная предельная теорема

Fantasy Premier League. Мастерство или удача?

Меня этот вопрос волнует давно. Чтобы разобраться, я предпринял серьёзное исследование, по ходу которого пришлось преодолеть ряд технических трудностей. Краткий ответ звучит так: хороший результат в одном сезоне может быть получен благодаря удаче. Закономерно из сезона в сезон занимать высокие места могут лишь мастера. Давайте начнем с представления четырех выдающихся игроков Fantasy Premier League:

Рис. 1. Четыре потрясающих достижения: Paul Marshman наряду с тремя другими игроками 5 раз финишировал в ТОР-1k, Fábio Borges с большим отрывом от преследователей имеет самое низкое среднее значения ранга за последние пять сезонов, Richard Clarke единственный, кто во всех 16 сезонах финишировал в ТОР-50k, Mark Sutherns больше всех – 10 раз – финишировал в ТОР-5k

Подробнее »Fantasy Premier League. Мастерство или удача?

Юрий Адлер. Управление конфликтами

Среди задач, важных для менеджмента, есть задача, которая хорошо известна, но о которой говорят редко. Это задача управления конфликтами. Между тем, чем более «плоской» становится организация, тем эта задача становится актуальнее. Пока существовала многоступенчатая иерархическая структура, проблема конфликтов не проявляла себя ярко, поскольку всегда хватало начальников, которые охотно брались их улаживать, считая, и не без основания, что эта деятельность повышает их авторитет в глазах сотрудников. В более плоских структурах людям часто приходится улаживать возникающие конфликты самим. Цель этого учебного пособия – стимулировать более интенсивное обсуждение проблемы конфликтов. В основу обсуждения положены пионерские работы Владимира Лефера и Томаса Саати. Можно полагать, что математические модели – наиболее эффективный путь анализа конфликтов и управления ими.

Юрий Адлер. Менеджмент для достижения устойчивого успеха организации. Управление конфликтами – задача менеджмента. – М.: Издательский дом НИТУ МИСиС, 2020. – 103 с.

Подробнее »Юрий Адлер. Управление конфликтами