Подборка рабочих примеров обработки данных

Привет, читатель.

По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.

Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.

+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.

Итак, давайте приступим.

Подборка датасетов с рабочими примерами обработки данных:

Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.

Примеры обработки:

• Suicide data — Full interactive dashboard;
• Mental Health, Happiness, Economics, Human Freedom;
• Data Visualization of Suicide Rates

Spotify’s Worldwide Daily Song Ranking — ежедневный рейтинг 200 самых прослушиваемых песен в 53 странах с 2017 и 2018 годов пользователями Spotify.

Пример обработки:

• Top Songs on Spotify: What makes them popular?;
• Spotify Chart Trend + Seasonal ARIMA;
• Trends in Spotify’s Worldwide Daily Songs 17 -18.

Crimes in Boston — записи из Бостонской системы отчетов о происшествиях с преступностью, включающая в себя происшествия, и информацию о том когда и где оно произошло.

Пример обработки:

• Boston crimes starter EDA;
• Boston Crime Reports;
• transfer learning and ImageDataGenerator.

Google Play Store Apps — категории, рейтинги, размер всех приложений Google Play.

Пример обработки:

• All that you need to know about the Android market;
• How to get «High» Rating on Play Store;
• Google Play Store EDA.

Pokémon for Data Mining and Machine Learning — статистика и особенности покемонов;

Пример обработки:

• Pokemon Data Clustering;
• Pokemon Types and Stats ggplot2 Visualisations;
• Pokemon data analysing.

A Million News Headlines — данные заголовков новостей, опубликованных за последние 15 лет.

Пример обработки:

• What is with News headlines;
• Meaningful Random Headlines by Markov Chain;
• Topic Modelling with LSA and LDA.

Airplane Crashes Since 1908 — полная история авиакатастроф по всему миру, с 1908 года по настоящее время.

Пример обработки:

• Who not to fly with…;
• Airplane Crashes [Data Visualization];
• Chinese Zodiac and Aircraft Deaths.

News Headlines Dataset For Sarcasm Detection — высококачественный набор данных для задачи обнаружения сарказма.

Пример обработки:

• Detecting Sarcasm Using Different Embeddings;
• Sarcasm with Keras;
• Beginners’s guide to NLP using spaCy

Historical Air Quality — данные о качестве воздуха, собранные на наружных мониторах по всей территории США.

Пример обработки:

• Air Pollution 101;
• Let’s analyze our Air that we take!;
• What these weather data will tell us?

Nutrition Facts for McDonald’s Menu — анализ питания каждого пункта меню в McDonald’s США.

Пример обработки:

• Super Sized We?
• Calories we eat…in Mcdonald’s;
• McDonald’s Menu

LEGO Database — детали / комплекты / цвета и запасы каждого официального набора LEGO в базе данных Rebrickable.

Пример обработки:

• LEGO- Let’s play;
• Finding Lego color themes with topic models;
• Have LEGO sets been getting bigger over time?

Global Commodity Trade Statistics — объемы импорта и экспорта для 5000 товаров в большинстве стран мира за последние 30 лет.

Пример обработки:

• Overall Global Trading Statistics;
• Trade Statistics;
• Sheeps vs Goats.

Crime in India — полная информация о различных аспектах преступлений, совершенных в Индии с 2001 года.

Пример обработки:

• Crime Analysis in India;
• Crime Data EDA;
• Exploratory — Top States & Districts.

Predicting a Pulsar Star — данные по пульсарам, собранные во время обзора Вселенной.

Примеры обработки:

• Predicting pulsar star in the universe;
• Prediciting A Pulsar Star;
• Pulsar Star Classification

French employment, salaries, population per town — данные, показывающие равенство и неравенство во Франции.

Пример обработки:

• Using Regression to Predicting Earnings in France;
• Interactive Map & Graph — job & salary inequality;
• How big is French Industry?

United States Census — данные переписи в США.

Пример обработки:

• How to Query the USA Census Dataset;
• United States Campsites;
• Fork of United States Campsites

California Housing Prices — цена на жилье в Калифорнии.

Пример обработки:

• Introduction to machine learning in R (tutorial);
• Gradient Boosting and Parameter Tuning in R;
• Geospatial Feature Engineering and Visualization

US Unemployment Rate by County, 1990-2016 — данные по безработице министерства труда США.

Пример обработки:

• Maps are beautiful, Unemployment is not;
• Analysis of world crime;
• Time Series Analysis on US Unemployment Rate.

World of Warcraft Avatar History — набор записей, которые детализируют информацию о персонажах игрока в игре с течением времени.

Пример обработки:

• A World of Warcraft;
• Wow Dataset — Exploratory Analysis;
• General EDA and a Movement network chart

The Gravitational Waves Discovery Data — данные о событиях гравитационных волн GW150914.

Пример обработки:

• Dataload;
• Read HDF5 from Julia;
• Plot the Data.

Бонус!

А бонусом у нас сегодня будет прекрасный курс по Deep Learning, рассчитанный на старшеклассников, интересующихся программированием и математикой, а также студентов, которые хотят начать заниматься глубоким обучением.

Цель курса — познакомить с основными принципами глубокого обучения (нейронных сетей) в интерактивном формате и на примере практических задач.

Программа курса

1. Python: основы, Google Colab;
2. Введение в линейную алгебру. Векторы. Матрицы и операции с ними. Библиотека NumPy;
3. Библиотеки Pandas и MatPlotlib. Основы машинного обучения;
4. Элементы теории оптимизации. Градиент. Градиентный спуск. Линейные модели;
5. Введение в глубокое обучение. Перцептрон. Нейрон с сигмоидой (и другими функциями активации). Основы ООП в Python;
6. Библиотека PyTorch. Многослойные нейросети;
7. Обучение нейронных сетей на практике. Cifar10, notMNIST;
8. Сверточные нейросети. Сверточный слой. Пулинг слой;
9. Практика обучения нейросетей. Классификация дорожных знаков;
10. Transfer Дearning. Популярные в Computer Vision архитектуры;
11. Сегментация картинок. U-Net;
12. Участие в соревнованиях на Kaggle;
13. Object Detection. YOLOv3;
14. Классический GAN. Нейронный перенос стиля;
15. Базовые методы обработки текста;
16. Word Embeddings;
17. Рекуррентные нейронные сети;
18. LSTM, GRU ячейки;
19. Языковые модели;
20. Машинный перевод;
21. Text2Speech;
22. SuperResolution.

Также вы можете заглянуть на Youtube-канал Deep Learning School. Там много отличных видео 😉

На этом наша короткая подборка примеров обработки данных подошла к концу. Надеюсь вы узнали для себя что-нибудь новое. Как принято на Хабре, понравился пост — поставь плюс. Не забудьте поделиться с коллегами. Также, если у вас есть то, чем вы можете поделиться сами — пишите в комментариях. Больше информации о машинном обучении и Data Science на Хабре и в телеграм-канале Нейрон (@neurondata).

Всем знаний!