Пишем свой Google, или асинхронный краулер с rate limit’ами на Python

Привет!

В четверг, 7 октября, в 19:00 наш руководитель разработки и сооснователь KTS Александр Опрышко проведет открытый вебинар:

«Пишем свой Google, или асинхронный краулер с rate limit’ами на Python»

Зачем это нужно? Такая задача часто встречается на практике, когда нужно реализовать периодическую синхронизацию/обкачку между сервисами. Еще это просто интересно, потому что позволяет опробовать многие возможности asyncio.

Вот некоторые вещи, которые вы узнаете на вебинаре:

— запускать параллельные корутины
— пользоваться примитивами синхронизации semaphore и event
— обкачивать данные с сайтов, не подвергая их чрезмерной нагрузке

Приходите! Будет интересно.

Вебинар прошел — чтобы посмотреть запись, переходите по ссылке.

P.S. А еще на днях мы написали статью про то, как устроены системы проверки студентов в нашей LMS.