Перейти к содержимому

Крис Уэбб. Параметры RelativePath и Query функции M Power Query Web.Contents()

Это перевод нескольких связанных статей Криса Уэбба, дополненный моими комментариями с использованием Chat GPT (набраны с отступом).

Функция Web.Contents() в языке M Power Query позволяет получать данных с веб-страниц и веб-служб и имеет ряд полезных, но плохо документированных опций, которые упрощают создание URL-адресов для вызовов веб-служб.

Рассмотрим следующий URL-адрес:

Это вызов API метаданных с сайта https://www.data.gov.uk/, портала открытых данных правительства Великобритании. По этому адресу возвращается документ JSON (рис. 1), в котором перечислены наборы данных, найденные при поиске по ключевому слову cows (коровы).

Рис. 1. Документ JSON, возвращаемый по Запросу 1; чтобы увеличить изображение кликните на нем правой кнопкой мыши и выберите Открыть картинку в новой вкладке

Подробнее »Крис Уэбб. Параметры RelativePath и Query функции M Power Query Web.Contents()

Крис Уэбб. Ошибка в Power Query Длина блока не соответствует его дополнению

Это перевод статьи Криса Уэбба, дополненный моими комментариями и использованием Chat GPT (набраны с отступом).

При использовании функции Web.Contents для вызова веб-службы в Power Query может возникнуть ошибка Длина блока не соответствует его дополнению. Например

Запрос 1[1]

…вызывает веб-службу и на момент написания статьи выдает ошибку:[2]

Рис. 1. Ошибка Длина блока не соответствует его дополнению

Подробнее »Крис Уэбб. Ошибка в Power Query Длина блока не соответствует его дополнению

Адам Аспин. Язык M Power Query

Это сокращенный перевод главы из книги Адама Аспина, посвященной работе в Power BI. М – это язык запросов, используемый Power BI и Excel Power Query. Описаны многообразные функции языка М, типы данных, создание пользовательской функции, добавление комментариев и многое другое. Заметка будет полезна, как быстрое введение в язык М Power Query.

Adam Aspin. Pro Power BI Desktop: Self-Service Analytics and Data Visualization for the Power User. – New York: Apress Media, 2020. – 918 p.

Подробнее »Адам Аспин. Язык M Power Query

Станислав Логунов. Путь самурая 2.0

Это вторая работа Станислава Логунова, конспект которой я публикую. В книге дается обзор 28 книг, посвященных производственной системе Toyota. Мои конспекты, как правило, не содержат авторской оценки произведений. Станислав наоборот, пишет сквозь призму своего богатого опыта работы в строительной отрасли. В чем мы совпадаем со Станиславом, так это в подборе книг для чтения. Добрая половина из представленных книг опубликованы в виде конспектов у меня в блоге. Ранее я представил Станислав Логунов. Лидер на катке.

Станислав Логунов. Путь самурая 2.0. Бережливое мышление. – М.: Эксмо, 2020. – 288 с.

Подробнее »Станислав Логунов. Путь самурая 2.0

Тимур Казанцев. ChatGPT и революция искусственного интеллекта

30 ноября 2022 года мир навсегда изменился – Искусственный интеллект стал общедоступным через инструмент под названием ChatGPT. Это чатбот, с которым вы можете спокойно разговаривать практически на любую тему, вы можете спросить совета, а можете попросить подготовить для вас инвестиционное исследование, сгенерировать новый или проверить ваш программный код, создать бот для вас, даже если вы не знаете основ программирования, предложить диетический план для похудения, стать вашим персональным ассистентом или домашним психологом, разработать маркетинговую стратегию для вашей компании, написать сценарий для фильма или статью с ключевыми словами, и способен выполнить еще много других запросов. Трудно понять настоящий потенциал, на что способен ChatGPT, потому что он ограничен только нашей способностью задавать правильные вопросы и нашим воображением.

Тимур Казанцев. ChatGPT и революция искусственного интеллекта. – 2023.

Подробнее »Тимур Казанцев. ChatGPT и революция искусственного интеллекта

ChatGPT и написание кода на языке М Power Query

В мою жизнь вошел ChatGPT! Я даже не знаю, с чем можно сравнить первое впечатление от использования бота. Это прорыв! Пока я обращаюсь к ChatGPT в двух случаях:

  • задаю вопросы, которые ранее обращал к Google,
  • прошу написать код на языке М Power Query (PQ).

Примеры первого типа можно встретить в комментариях к моим недавним заметкам Онлайн калькулятор статистической мощности G*Power и Фрэнсис Гальтон. Наследственность таланта, её законы и последствия. Сейчас я опишу, как ChatGPT помог мне сделать робастный[1] запрос на языке М Power Query.

Рис. 1. Загрузка CSV-файла в умную таблицу Excel

Подробнее »ChatGPT и написание кода на языке М Power Query

Фрэнсис Гальтон. Наследственность таланта, её законы и последствия

Фрэнсис Гальтон занимался исследованиями в области статистики, психологии, генетики, антропологии и др. Он ввел понятие регрессии и корреляции и разработал методы их измерения. Гальтон изучал наследственность физических и психологических свойств людей, таких как рост, вес, цвет глаз, интеллект и т.д. Гальтон считал, что интеллект можно измерить и изучать с помощью научных методов, и разработал тесты и методы измерения. Гальтон описал уникальные особенности отпечатков пальцев и их использование в криминалистике. Он был одним из основателей евгеники, науки, направленной на улучшение генетического состава человечества. Гальтон считал, что можно улучшить генетический состав нации, путем продвижения браков между людьми с высоким интеллектом, одновременно отсекая браки между людьми с «плохой» генетикой. Несмотря на значительный вклад в развитие науки, некоторые из идей Гальтона подвергаются критике.[1]

Фрэнсис Гальтон. Наследственность таланта, её законы и последствия – М.: Мысль, 1996. – 272 с.

Подробнее »Фрэнсис Гальтон. Наследственность таланта, её законы и последствия

Онлайн калькулятор статистической мощности G*Power

Недавно прочитал книгу Майкла Херцога с соавторами Статистика и планирование эксперимента для непосвященных. В ней я в очередной раз встретился со статистической мощностью. До сих пор я относился к этой статистике несколько академически. Что называется, не чувствовал её на кончиках пальцев. Некоторые разделы книги Херцога меня заинтересовали, я построил пару моделей в Excel и осознал, что статистическая мощность – это вероятность получить в эксперименте статистически значимые результаты. Кроме того, я нашел формулу расчета статистической мощности в Excel. Свои выводы я представил в заметке Статистическая мощность эксперимента в Excel. В книге Майкл Херцог также упоминает о калькуляторе статистической мощности G*Power. Предлагаю вам краткий обзор программы G*Power основанный на переводе статьи Susanne Mayr, Edgar Erdfelder, Axel Buchner, Franz Faul. A short tutorial of GPower, опубликованной в журнале Tutorials in Quantitative Methods for Psychology. – 2007, Vol. 3(2), p. 51–59.

Рис. 1. Анализ статистической мощности в GPower: апостериорный t-тест для независимых выборок

Подробнее »Онлайн калькулятор статистической мощности G*Power

Линда Фоукс, Уоррен Спарроу. Изучаем Power Query

Power Query – инструмент Excel, позволяющий подключаться к источникам данных, подготавливать и обрабатывать информацию для ее дальнейшего анализа. В этой книге вы найдете все, что нужно для работы с Power Query. Отдельная часть книги посвящена языку формул M, который обеспечивает новый подход к агрегированию данных. В завершение вы научитесь строить дашборды и многомерные отчеты.

Линда Фоукс, Уоррен Спарроу. Изучаем Power Query. – М.: ДМК Пресс, 2021. – 378 с.

Подробнее »Линда Фоукс, Уоррен Спарроу. Изучаем Power Query

Статистическая мощность эксперимента в Excel

Недавно прочитал книгу Майкла Херцога с соавторами Статистика и планирование эксперимента для непосвященных. В ней я в очередной раз встретился со статистической мощностью. До сих пор я относился к этой статистике несколько академически. Что называется, не чувствовал её на кончиках пальцев. Некоторые разделы книги Херцога меня заинтересовали, я построил пару моделей в Excel, и до меня дошла суть статистической мощности. Я понял, что статистическая мощность – вероятность получить в эксперименте статистически значимые результаты. Кроме того, я нашел формулу расчета статистической мощности в Excel.

Рис. 1. Нормально распределенные случайные величины. Выборка 1 – N(0;1), Выборка 2 – N(1;1)

Подробнее »Статистическая мощность эксперимента в Excel