{"id":366896,"date":"2024-05-21T03:09:43","date_gmt":"2024-05-21T03:09:43","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=366896"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=366896","title":{"rendered":"<span>\u0423\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 170 000 \u0440\u0430\u0437 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Python<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d34\/ef5\/a37\/d34ef5a37d8778ae4847cb8e0695008d.png\" width=\"1920\" height=\"1080\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d34\/ef5\/a37\/d34ef5a37d8778ae4847cb8e0695008d.png\"\/><\/figure>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u00ab<a href=\"https:\/\/willcrichton.net\/notes\/k-corrset\/\"><strong>\u0423\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 180 000 \u0440\u0430\u0437 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Rust<\/strong><\/a>\u00bb \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u043a\u0430\u043a \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python, \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Rust, \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 180 000 \u0440\u0430\u0437. \u0410\u0432\u0442\u043e\u0440 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442: \u00ab\u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 Python \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u0441\u043c\u044b\u0441\u043b \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430 \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 Python \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c Rust. \u0421\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c &#171;\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439-Jupyter-notebook&#187; Python \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c Rust\u00bb.<\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0434\u043e\u0441\u0442\u0438\u0447\u044c, \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 Python?<\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0421\u0438\u0434\u043d\u0438 \u0420\u044d\u0434\u043a\u043b\u0438\u0444\u0444* \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u0443\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u043d\u0430 Python, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u044d\u0442\u043e.<\/p>\n<p><em>*\u041e\u0431\u0440\u0430\u0449\u0430\u0435\u043c \u0432\u0430\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0441 \u043c\u043d\u0435\u043d\u0438\u0435\u043c \u041c\u043e\u0439\u041e\u0444\u0438\u0441.<\/em><\/p>\n<h2>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/h2>\n<p>\u041a\u0430\u043a \u0438 \u0432 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 \u0432\u044b\u0448\u0435 \u0441\u0442\u0430\u0442\u044c\u0435, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c M1 Macbook, \u0438 \u043f\u043e \u0442\u0435\u043c \u0436\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438:<\/p>\n<ul>\n<li>\n<p>\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0437\u0430 1000 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u2014 35 \u043c\u0441. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014\u00a036 \u043c\u0441.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434 \u043d\u0430 Rust \u0443\u0441\u043a\u043e\u0440\u0435\u043d \u0432 180,081 \u0440\u0430\u0437. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f \u043e 182 450-\u043a\u0440\u0430\u0442\u043d\u043e\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python<\/h2>\n<p>\u0412\u043e\u0442 \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python \u0438\u0437 \u0440\u0430\u043d\u0435\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 <a href=\"https:\/\/willcrichton.net\/notes\/k-corrset\/\"><strong>\u0441\u0442\u0430\u0442\u044c\u0438<\/strong><\/a>.<\/p>\n<pre><code class=\"python\">from itertools import combinations import pandas as pd from pandas import IndexSlice as islice  def k_corrset(data, K):     all_qs = data.question.unique()     q_to_score = data.set_index(['question', 'user'])     all_grand_totals = data.groupby('user').score.sum().rename('grand_total')      # Inner loop     corrs = []     for qs in combinations(all_qs, K):         qs_data = q_to_score.loc[islice[qs,:],:].swaplevel()         answered_all = qs_data.groupby(level=[0]).size() == K         answered_all = answered_all[answered_all].index         qs_totals = qs_data.loc[islice[answered_all,:]] \\             .groupby(level=[0]).sum().rename(columns={'score': 'qs'})         r = qs_totals.join(all_grand_totals).corr().qs.grand_total         corrs.append({'qs': qs, 'r': r})     corrs = pd.DataFrame(corrs)      return corrs.sort_values('r', ascending=False).iloc[0].qs  data = pd.read_json('scores.json') print(k_corrset(data, K=5))<\/code><\/pre>\n<p>\u0410 \u0432\u043e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 DataFrame (\u0434\u0430\u043b\u0435\u0435 \u2014\u00a0\u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c), <code>data<\/code>.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>user<\/strong>  <\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>question<\/strong>  <\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>score<\/strong>  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">e213cc2b-387e-4d7d-983c-8abc19a586b1<\/p>\n<\/td>\n<td>\n<p align=\"left\">d3bdb068-7245-4521-ae57-d0e9692cb627<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">951ffaee-6e17-4599-a8c0-9dfd00470cd9<\/p>\n<\/td>\n<td>\n<p align=\"left\">d3bdb068-7245-4521-ae57-d0e9692cb627<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b, \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/github.com\/pyutils\/line_profiler\"><strong>line_profiler<\/strong><\/a>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  35 ms Speedup over baseline:   1.0x  % Time  Line Contents =====================         def compute_corrs(             qs_iter: Iterable, q_to_score: pd.DataFrame, grand_totals: pd.DataFrame         ):    0.0      result = []    0.0      for qs in qs_iter:   13.5          qs_data = q_to_score.loc[islice[qs, :], :].swaplevel()   70.1          answered_all = qs_data.groupby(level=[0]).size() == K    0.4          answered_all = answered_all[answered_all].index    0.0          qs_total = (    6.7              qs_data.loc[islice[answered_all, :]]    1.1              .groupby(level=[0])    0.6              .sum()    0.3              .rename(columns={\"score\": \"qs\"})                 )    7.4          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438\/\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435), \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043b\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<ol>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0449\u0438\u043a<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u044b\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435 \u043a\u043e\u0434\u0435 \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~70% \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0432\u0430\u0436\u043d\u044b\u0439 \u0448\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u043c:<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0432\u044b\u0432\u043e\u0434 \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c<\/em><\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0449\u0438\u043a<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u044b\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0432\u043e\u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0442.\u0434., \u0437\u043d\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0447\u0442\u043e \u043b\u044e\u0431\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0435\u043d\u044b.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 1. \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b: users_who_answered_q<\/h2>\n<p>\u041d\u0430\u0448 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u044f\u0436\u0451\u043b\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Pandas, \u0432\u044b\u044f\u0441\u043d\u044f\u044f, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 <code>qs<\/code>. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0438 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0430\u043c \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 <code>qs<\/code>, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0432 Python, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0432\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  10.0 ms Speedup over baseline:   3.5x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, q_to_score, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.0          user_sets_for_qs = [users_who_answered_q[q] for q in qs]    3.6          answered_all = set.intersection(*user_sets_for_qs)   40.8          qs_data = q_to_score.loc[islice[qs, :], :].swaplevel()    0.0          qs_total = (   22.1              qs_data.loc[islice[list(answered_all), :]]    3.7              .groupby(level=[0])    1.9              .sum()    1.1              .rename(columns={\"score\": \"qs\"})                 )   26.8          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u0422\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 <code>answered_all<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043c\u0435\u0441\u0442\u043e 70 % \u0442\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 4 %, \u0438 \u043d\u0430\u0448 \u043a\u043e\u0434 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432 3 \u0440\u0430\u0437\u0430.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 2. \u0421\u043b\u043e\u0432\u0430\u0440\u044c score_dict<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f, \u0437\u0430\u0442\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c\u043e\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 <code>qs_total<\/code> (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0443 <code>qs_data<\/code>), \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f ~65%; \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0448\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u044f\u0441\u043d\u0430. \u041d\u0443\u0436\u043d\u043e \u0441\u043d\u043e\u0432\u0430 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u044f\u0436\u0451\u043b\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0434 \u043f\u043e\u043b\u043d\u044b\u043c \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u043e\u043c (\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0438 \u0442. \u0434.) \u0431\u044b\u0441\u0442\u0440\u044b\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0438\u043c <code>score_dict<\/code>, \u0441\u043b\u043e\u0432\u0430\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u044b \u0432\u043e\u043f\u0440\u043e\u0441-\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  690 \u03bcs Speedup over baseline:   50.8x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.1          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   35.9          answered_all = set.intersection(*user_sets_for_qs)    3.4          qs_total = {u: sum(score_dict[q, u] for q in qs) for u in answered_all}    8.6          qs_total = pd.DataFrame.from_dict(qs_total, orient=\"index\", columns=[\"qs\"])    0.1          qs_total.index.name = \"user\"   51.8          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043a\u043e\u0434 \u0432 50 \u0440\u0430\u0437.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 3. \u0421\u043b\u043e\u0432\u0430\u0440\u044c grand_totals \u0438 np.corrcoef<\/h2>\n<p>\u0421\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432 \u043a\u043e\u0434\u0435 \u0432\u044b\u0448\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439: \u0441\u043f\u0435\u0440\u0432\u0430 Pandas <code>join<\/code>, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c <code>grand_totals<\/code> \u0438  <code>qs_total<\/code>, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438. \u041e\u043f\u044f\u0442\u044c \u0436\u0435, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e \u0432\u043c\u0435\u0441\u0442\u043e join, \u0438 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 Pandas, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <code>np.corrcoef<\/code> \u0432\u043c\u0435\u0441\u0442\u043e Pandas <code>corr<\/code>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  380 \u03bcs Speedup over baseline:   91.6x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.2          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   83.9          answered_all = set.intersection(*user_sets_for_qs)    7.2          qs_total = [sum(score_dict[q, u] for q in qs) for u in answered_all]    0.5          user_grand_total = [grand_totals[u] for u in answered_all]    8.1          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.1          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c ~90-\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u0430.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 4. \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a uuid \u0432 ints<\/h2>\n<p>\u042d\u0442\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432 \u043a\u043e\u0434 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0446\u0438\u043a\u043b\u0430. \u041d\u043e \u043e\u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041c\u044b \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 uuid \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\/\u0432\u043e\u043f\u0440\u043e\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, e213cc2b-387e-4d7d-983c-8abc19a586b1) \u043d\u0430 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f:<\/p>\n<pre><code class=\"python\">data.user = data.user.map({u: i for i, u in enumerate(data.user.unique())}) data.question = data.question.map(     {q: i for i, q in enumerate(data.question.unique())} )<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  210 \u03bcs Speedup over baseline:   168.5x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.1      for qs in qs_iter:    0.4          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   71.6          answered_all = set.intersection(*user_sets_for_qs)   13.1          qs_total = [sum(score_dict[q, u] for q in qs) for u in answered_all]    0.9          user_grand_total = [grand_totals[u] for u in answered_all]   13.9          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.1          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 5. \u041c\u0430\u0441\u0441\u0438\u0432 np.bool_ \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u043e\u0434\u0435 \u0432\u044b\u0448\u0435 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0441\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f. \u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0431\u043e\u0440\u043e\u0432 ints \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 <code>np.bool_<\/code> \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c <code>np.logical_and.reduce<\/code> \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b qs. (\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e <code>np.bool_<\/code> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0446\u0435\u043b\u044b\u0439 \u0431\u0430\u0439\u0442 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430, \u043d\u043e <code>np.logical_and.reduce<\/code> \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440.) \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  75 \u03bcs Speedup over baseline:   466.7x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.1      for qs in qs_iter:   12.0          user_sets_for_qs = users_who_answered_q[qs, :]  # numpy indexing    9.9          answered_all = np.logical_and.reduce(user_sets_for_qs)   10.7          answered_all = np.where(answered_all)[0]   33.7          qs_total = [sum(score_dict[q, u] for q in qs) for u in answered_all]    2.6          user_grand_total = [grand_totals[u] for u in answered_all]   30.6          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.2          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 6. score_matrix \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f<\/h2>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u2014 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 <code>qs_total<\/code>. \u0421\u043b\u0435\u0434\u0443\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0438\u0437 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u043b\u043e\u0442\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 np.array \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u0446\u0435\u043d\u043e\u043a \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e NumPy \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  56 \u03bcs Speedup over baseline:   623.7x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_matrix, grand_totals):    0.0      result = []    0.2      for qs in qs_iter:   16.6          user_sets_for_qs = users_who_answered_q[qs, :]   14.0          answered_all = np.logical_and.reduce(user_sets_for_qs)   14.6          answered_all = np.where(answered_all)[0]    7.6          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    3.9          user_grand_total = [grand_totals[u] for u in answered_all]   42.7          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.4          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 7. \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f corrcoef<\/h2>\n<p>\u0421\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432 \u043a\u043e\u0434\u0435 \u2014 <code>np.corrcoef<\/code>&#8230; \u041c\u044b \u0432\u0441\u0435\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0442 \u043d\u0430\u0448\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f corrcoef, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435:<\/p>\n<pre><code class=\"python\">def corrcoef(a: list[float], b: list[float]) -> float | None:     \"\"\"same as np.corrcoef(a, b)[0, 1]\"\"\"     n = len(a)     sum_a = sum(a)     sum_b = sum(b)     sum_ab = sum(a_i * b_i for a_i, b_i in zip(a, b))     sum_a_sq = sum(a_i**2 for a_i in a)     sum_b_sq = sum(b_i**2 for b_i in b)     num = n * sum_ab - sum_a * sum_b     den = sqrt(n * sum_a_sq - sum_a**2) * sqrt(n * sum_b_sq - sum_b**2)     if den == 0:         return None     return num \/ den<\/code><\/pre>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  43 \u03bcs Speedup over baseline:   814.6x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_matrix, grand_totals):    0.0      result = []    0.2      for qs in qs_iter:   21.5          user_sets_for_qs = users_who_answered_q[qs, :]  # numpy indexing   18.7          answered_all = np.logical_and.reduce(user_sets_for_qs)   19.7          answered_all = np.where(answered_all)[0]   10.0          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    5.3          user_grand_total = [grand_totals[u] for u in answered_all]   24.1          r = corrcoef(qs_total, user_grand_total)    0.5          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 8. \u041f\u0440\u0435\u0436\u0434\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 Numba<\/h2>\n<p>\u041c\u044b \u0435\u0449\u0451 \u043d\u0435 \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435 \u043a\u043e\u0434\u0435, \u043d\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u0434\u0430\u0441\u0442 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u044d\u0442\u0430\u043f\u0435 <a href=\"https:\/\/numba.pydata.org\/\"><strong>Numba<\/strong><\/a>? \u0420\u0435\u0447\u044c \u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0432 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 Python, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u0434\u0430 Python \u0438 NumPy \u0432 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u0434\u00bb.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Numba, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u043c \u0434\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f:<\/p>\n<p><em>\u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f 1. \u041f\u0435\u0440\u0435\u0434\u0430\u0435\u043c qs_combinations \u043a\u0430\u043a \u043c\u0430\u0441\u0441\u0438\u0432 numpy, \u0432\u043c\u0435\u0441\u0442\u043e qs_iter<\/em><\/p>\n<p>Numba \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 <code>itertools<\/code> \u0438\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c <code>qs_iter<\/code> \u0432 \u043c\u0430\u0441\u0441\u0438\u0432 NumPy, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0435\u0433\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0412\u043b\u0438\u044f\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f (\u0434\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f Numba) \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043d\u0438\u0436\u0435.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  42 \u03bcs Speedup over baseline:   829.2x<\/code><\/pre>\n<p><em>\u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f 2. \u041c\u0430\u0441\u0441\u0438\u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u0438\u0441\u043a\u0430<\/em><\/p>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0441\u043f\u0438\u0441\u043e\u043a, \u043c\u044b \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432 \u0438 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u043c \u0432 \u043d\u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0412\u043e\u0442 \u043a\u0430\u043a \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u043b\u043e \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  42 \u03bcs Speedup over baseline:   833.8x<\/code><\/pre>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043d\u0430\u0448 \u043a\u043e\u0434 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code class=\"python\">import numba  @numba.njit(parallel=False) def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):     result = np.empty(len(qs_combinations), dtype=np.float64)     for i in numba.prange(len(qs_combinations)):         qs = qs_combinations[i]         user_sets_for_qs = users_who_answered_q[qs, :]         # numba doesn't support np.logical_and.reduce         answered_all = user_sets_for_qs[0]         for j in range(1, len(user_sets_for_qs)):             answered_all *= user_sets_for_qs[j]         answered_all = np.where(answered_all)[0]         qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)         user_grand_total = grand_totals[answered_all]         result[i] = corrcoef_numba(qs_total, user_grand_total)     return result<\/code><\/pre>\n<p>(\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u043b\u0438 <code>corrcoef<\/code> \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Numba, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0435 \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 Numba, \u0442\u043e\u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b.)<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>parallel=False<\/code>:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  47 \u03bcs Speedup over baseline:   742.2x<\/code><\/pre>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>parallel=True<\/code>:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  8.5 \u03bcs Speedup over baseline:   4142.0x<\/code><\/pre>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 <code>parallel=False<\/code> \u043a\u043e\u0434 Numba \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c \u043d\u0430\u0448 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u043a\u043e\u0434 \u043d\u0430 Python, \u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c, \u0442\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u044f\u0434\u0440\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430 (10 \u043d\u0430 \u043d\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u0435) \u2014 \u0438 \u044d\u0442\u043e \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u0442\u0435\u0440\u044f\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/github.com\/pyutils\/line_profiler\"><strong>line_profiler<\/strong><\/a> \u043d\u0430 JIT-\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u0434\u0435; (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043c\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u043c \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 LLVM IR \/ \u0441\u0431\u043e\u0440\u043a\u0435).<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 9. Bitsets, \u0431\u0435\u0437 Numba<\/h2>\n<p>\u041f\u043e\u043a\u0430 \u043e\u0442\u0432\u043b\u0435\u0447\u0451\u043c\u0441\u044f \u043e\u0442 Numba. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 <code>qs<\/code>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f bitsets \u2014\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043b\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u0414\u043b\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 bitsets \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u0441\u0438\u0432\u044b NumPy <code>np.int64<\/code> \u0438 <code>np.bitwise_and.reduce<\/code>. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0441\u0441\u0438\u0432\u0430 <code>np.bool_<\/code>, \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0431\u0438\u0442\u044b \u0432 \u0431\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0433\u043e bitset \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0439\u0442\u043e\u0432, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u044b\u0439 bitwise_and \u0434\u043b\u044f \u0431\u0430\u0439\u0442\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0432 <code>qs<\/code>, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0438, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 <code>qs<\/code>.<\/p>\n<p>\u0412\u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <code>bitset<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/p>\n<pre><code class=\"python\">def bitset_create(size):     \"\"\"Initialise an empty bitset\"\"\"     size_in_int64 = int(np.ceil(size \/ 64))     return np.zeros(size_in_int64, dtype=np.int64)<\/code><\/pre>\n<pre><code class=\"python\">def bitset_add(arr, pos):     \"\"\"Add an element to a bitset\"\"\"     int64_idx = pos \/\/ 64     pos_in_int64 = pos % 64     arr[int64_idx] |= np.int64(1) &lt;&lt; np.int64(pos_in_int64)<\/code><\/pre>\n<pre><code class=\"python\">def bitset_to_list(arr):     \"\"\"Convert a bitset back into a list of ints\"\"\"     result = []     for idx in range(arr.shape[0]):         if arr[idx] == 0:             continue         for pos in range(64):             if (arr[idx] &amp; (np.int64(1) &lt;&lt; np.int64(pos))) != 0:                 result.append(idx * 64 + pos)     return np.array(result)<\/code><\/pre>\n<p>\u0418 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c bitsets \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"python\">users_who_answered_q = np.array(     [bitset_create(data.user.nunique()) for _ in range(data.question.nunique())] ) for q, u in data[[\"question\", \"user\"]].values:     bitset_add(users_who_answered_q[q], u)<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  550 \u03bcs Speedup over baseline:   64.2x  % Time  Line Contents =====================         def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):    0.0      num_qs = qs_combinations.shape[0]    0.0      bitset_size = users_who_answered_q[0].shape[0]    0.0      result = np.empty(qs_combinations.shape[0], dtype=np.float64)    0.0      for i in range(num_qs):    0.0          qs = qs_combinations[i]    0.3          user_sets_for_qs = users_who_answered_q[qs_combinations[i]]    0.4          answered_all = np.bitwise_and.reduce(user_sets_for_qs)   96.7          answered_all = bitset_to_list(answered_all)    0.6          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    0.0          user_grand_total = grand_totals[answered_all]    1.9          result[i] = corrcoef(qs_total, user_grand_total)    0.0      return result<\/code><\/pre>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u043c\u044b \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u043b\u0438\u0441\u044c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f\u00a0<code>bitset_to_list<\/code> \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 10. Numba \u043d\u0430 bitset_to_list<\/h2>\n<p>\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u043c <code>bitset_to_list<\/code> \u0432 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0434\u0435\u043a\u043e\u0440\u0430\u0442\u043e\u0440 Numba:<\/p>\n<pre><code class=\"python\">@numba.njit def bitset_to_list(arr):     result = []     for idx in range(arr.shape[0]):         if arr[idx] == 0:             continue         for pos in range(64):             if (arr[idx] &amp; (np.int64(1) &lt;&lt; np.int64(pos))) != 0:                 result.append(idx * 64 + pos)     return np.array(result)<\/code><\/pre>\n<p>\u0418\u0437\u043c\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c:<\/p>\n<pre><code class=\"python\">Benchmark #14: bitsets, with numba on bitset_to_list Using 1000 iterations...  Avg time per iteration:  19 \u03bcs Speedup over baseline:   1801.2x  % Time  Line Contents =====================         def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):    0.0      num_qs = qs_combinations.shape[0]    0.0      bitset_size = users_who_answered_q[0].shape[0]    0.0      result = np.empty(qs_combinations.shape[0], dtype=np.float64)    0.3      for i in range(num_qs):    0.6          qs = qs_combinations[i]    8.1          user_sets_for_qs = users_who_answered_q[qs_combinations[i]]   11.8          answered_all = np.bitwise_and.reduce(user_sets_for_qs)    7.7          answered_all = bitset_to_list(answered_all)   16.2          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    1.1          user_grand_total = grand_totals[answered_all]   54.1          result[i] = corrcoef(qs_total, user_grand_total)    0.0      return result<\/code><\/pre>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432 1800 \u0440\u0430\u0437 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u0435, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 7, \u0434\u043e \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f Numba, \u0434\u0430\u043b\u0430 814x. (\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 8 \u0434\u0430\u043b\u0430 4142x, \u043d\u043e \u044d\u0442\u043e \u0431\u044b\u043b\u043e \u0441 <code>parallel=True<\/code> \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0446\u0438\u043a\u043b\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u0435\u043d.)<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 11. Numba \u043d\u0430 corrcoef<\/h2>\n<p>\u0421\u0442\u0440\u043e\u0447\u043a\u0430 \u0441 corrcoef \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f. \u041d\u0430\u0432\u0435\u0441\u0438\u043c \u043d\u0430 <code>corrcoef<\/code> \u0434\u0435\u043a\u043e\u0440\u0430\u0442\u043e\u0440 Numba.<\/p>\n<pre><code class=\"python\">@numba.njit def corrcoef_numba(a, b):     \"\"\"same as np.corrcoef(a, b)[0, 1]\"\"\"     n = len(a)     sum_a = sum(a)     sum_b = sum(b)     sum_ab = sum(a * b)     sum_a_sq = sum(a * a)     sum_b_sq = sum(b * b)     num = n * sum_ab - sum_a * sum_b     den = math.sqrt(n * sum_a_sq - sum_a**2) * math.sqrt(n * sum_b_sq - sum_b**2)     return np.nan if den == 0 else num \/ den<\/code><\/pre>\n<p>\u0421\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  11 \u03bcs Speedup over baseline:   3218.9x  % Time  Line Contents =====================         def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):    0.0      num_qs = qs_combinations.shape[0]    0.0      bitset_size = users_who_answered_q[0].shape[0]    0.0      result = np.empty(qs_combinations.shape[0], dtype=np.float64)    0.7      for i in range(num_qs):    1.5          qs = qs_combinations[i]   15.9          user_sets_for_qs = users_who_answered_q[qs_combinations[i]]   26.1          answered_all = np.bitwise_and.reduce(user_sets_for_qs)   16.1          answered_all = bitset_to_list(answered_all)   33.3          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    2.0          user_grand_total = grand_totals[answered_all]    4.5          result[i] = corrcoef_numba(qs_total, user_grand_total)    0.0      return result<\/code><\/pre>\n<p>\u041f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e, \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435!<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 12. Numba \u043d\u0430 bitset_and<\/h2>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f <code>np.bitwise_and.reduce<\/code> \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <code>bitwise_and<\/code> \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043a \u043d\u0435\u0439 jit-\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044e.<\/p>\n<pre><code class=\"python\">@numba.njit def bitset_and(arrays):     result = arrays[0].copy()     for i in range(1, len(arrays)):         result &amp;= arrays[i]     return result<\/code><\/pre>\n<pre><code class=\"python\">Benchmark #16: numba also on bitset_and Using 1000 iterations...  Avg time per iteration:  8.9 \u03bcs Speedup over baseline:   3956.7x  % Time  Line Contents =====================         def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):    0.1      num_qs = qs_combinations.shape[0]    0.0      bitset_size = users_who_answered_q[0].shape[0]    0.1      result = np.empty(qs_combinations.shape[0], dtype=np.float64)    1.0      for i in range(num_qs):    1.5          qs = qs_combinations[i]   18.4          user_sets_for_qs = users_who_answered_q[qs_combinations[i]]   16.1          answered_all = bitset_and(user_sets_for_qs)   17.9          answered_all = bitset_to_list(answered_all)   37.8          qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)    2.4          user_grand_total = grand_totals[answered_all]    4.8          result[i] = corrcoef_numba(qs_total, user_grand_total)    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 13. Numba \u043d\u0430 \u0432\u0441\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e<\/h2>\n<p>\u041a\u043e\u0434 \u0441\u0442\u0430\u043b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e, \u043f\u0440\u0438\u0447\u0451\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u043c\u0435\u0436\u0434\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u0446\u0438\u043a\u043b\u0430. \u041f\u043e\u0445\u043e\u0436\u0435, \u0441\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e NumPy, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438 \u0442\u0430\u043a \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0430\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Numba.<\/p>\n<pre><code class=\"python\">@numba.njit(parallel=False) def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):     result = np.empty(len(qs_combinations), dtype=np.float64)     for i in numba.prange(len(qs_combinations)):         qs = qs_combinations[i]         user_sets_for_qs = users_who_answered_q[qs, :]         answered_all = user_sets_for_qs[0]         # numba doesn't support np.logical_and.reduce         for j in range(1, len(user_sets_for_qs)):             answered_all *= user_sets_for_qs[j]         answered_all = np.where(answered_all)[0]         qs_total = score_matrix[answered_all, :][:, qs].sum(axis=1)         user_grand_total = grand_totals[answered_all]         result[i] = corrcoef_numba(qs_total, user_grand_total)     return result<\/code><\/pre>\n<pre><code class=\"python\">Avg time per iteration:  4.2 \u03bcs Speedup over baseline:   8353.2x<\/code><\/pre>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>parallel=True<\/code>:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  960 ns Speedup over baseline:   36721.4x<\/code><\/pre>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u043d\u0430\u0448 \u043a\u043e\u0434 \u0443\u0436\u0435 \u0432 36 000 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 14. Numba, \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u0435 \u0441 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432<\/h2>\n<p>\u041a\u0443\u0434\u0430 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435?&#8230; \u041d\u0443, \u0432 \u043a\u043e\u0434\u0435 \u0432\u0441\u0435 \u0435\u0449\u0451 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043c\u0430\u0441\u0441\u0438\u0432\u044b, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u043f\u043e \u043d\u0438\u043c. \u0415\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f corrcoef, \u0442\u043e \u043f\u043e\u0439\u043c\u0451\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043c\u0430\u0441\u0441\u0438\u0432\u044b <code>answered_all<\/code> \u0438 <code>user_grand_total<\/code>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043c\u0435\u0440\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0446\u0438\u043a\u043b\u0430.<\/p>\n<p>\u0412\u043e\u0442 \u043a\u043e\u0434 (\u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0432\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043b\u0438 <code>boundschecking<\/code> \u0434\u043b\u044f \u043c\u0430\u0441\u0441\u0438\u0432\u043e\u0432 \u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u043b\u0438 <code>fastmath<\/code>):<\/p>\n<pre><code class=\"python\">@numba.njit(boundscheck=False, fastmath=True, parallel=False, nogil=True) def compute_corrs(qs_combinations, users_who_answered_q, score_matrix, grand_totals):     num_qs = qs_combinations.shape[0]     bitset_size = users_who_answered_q[0].shape[0]     corrs = np.empty(qs_combinations.shape[0], dtype=np.float64)     for i in numba.prange(num_qs):         # bitset will contain users who answered all questions in qs_array[i]         bitset = users_who_answered_q[qs_combinations[i, 0]].copy()         for q in qs_combinations[i, 1:]:             bitset &amp;= users_who_answered_q[q]         # retrieve stats for the users to compute correlation         n = 0.0         sum_a = 0.0         sum_b = 0.0         sum_ab = 0.0         sum_a_sq = 0.0         sum_b_sq = 0.0         for idx in range(bitset_size):             if bitset[idx] != 0:                 for pos in range(64):                     if (bitset[idx] &amp; (np.int64(1) &lt;&lt; np.int64(pos))) != 0:                         user_idx = idx * 64 + pos                         score_for_qs = 0.0                         for q in qs_combinations[i]:                             score_for_qs += score_matrix[user_idx, q]                         score_for_user = grand_totals[user_idx]                         n += 1.0                         sum_a += score_for_qs                         sum_b += score_for_user                         sum_ab += score_for_qs * score_for_user                         sum_a_sq += score_for_qs * score_for_qs                         sum_b_sq += score_for_user * score_for_user         num = n * sum_ab - sum_a * sum_b         den = np.sqrt(n * sum_a_sq - sum_a**2) * np.sqrt(n * sum_b_sq - sum_b**2)         corrs[i] = np.nan if den == 0 else num \/ den     return corrs<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c <code>parallel=False<\/code>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  1.7 \u03bcs Speedup over baseline:   20850.5x<\/code><\/pre>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 12 \u0441 <code>parallel=False<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 8353x.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>parallel=True<\/code>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  210 ns Speedup over baseline:   170476.3x<\/code><\/pre>\n<p>\u041c\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432 170 000 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c!<\/p>\n<h2>\u0412\u044b\u0432\u043e\u0434<\/h2>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f Numba \u0438 NumPy \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0442\u0435\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 <a href=\"https:\/\/willcrichton.net\/notes\/k-corrset\/\"><strong>\u0441\u0434\u0435\u043b\u0430\u043b\u0438<\/strong> <\/a>\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 Rust \u0431\u044b\u0441\u0442\u0440\u044b\u043c: \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, bitsets, SIMD \u0438 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0446\u0438\u043a\u043b\u043e\u0432. \u0421\u043f\u0435\u0440\u0432\u0430 \u043c\u044b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u043b\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0441 JIT-\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0435\u0439, \u0432 \u0438\u0442\u043e\u0433\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 JIT-\u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u044e \u043f\u043e\u0432\u0441\u0435\u043c\u0435\u0441\u0442\u043d\u043e \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u0434 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0431 \u0438 \u043e\u0448\u0438\u0431\u043e\u043a, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u0442\u044c \u0443\u0441\u0438\u043b\u0438\u044f \u043d\u0430 \u0441\u0430\u043c\u044b\u0445 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445 \u043a\u043e\u0434\u0430. \u041c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Numba \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f JIT-\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 \u0432 \u043d\u0430\u0448\u0443 \u043a\u043e\u0434\u043e\u0432\u0443\u044e \u0431\u0430\u0437\u0443 Python. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043a\u043e\u0434 \u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u0434\u043e\u0432\u0443\u044e \u0431\u0430\u0437\u0443 Python. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 180 000-\u043a\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 Rust, \u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u043b\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438 \u0438 bitsets, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u043a\u043e\u0434 Rust \u0441\u043c\u043e\u0433 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0434\u043b\u044f \u043d\u0438\u0445, \u043e\u0441\u0442\u0430\u0432\u0430\u044f\u0441\u044c \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0431\u044b\u0441\u0442\u0440\u044b\u043c.<\/p>\n<p>\u042d\u0442\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u0431\u0430\u0432\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u043e \u0432\u0430\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432 \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0435 Python.<\/p>\n<p>\u0421\u0442\u0430\u043b \u0431\u044b \u044f \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u043e\u0434\u0445\u043e\u0434 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e? \u041d\u0435\u0442, \u0432\u0441\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/790370\/\"> https:\/\/habr.com\/ru\/articles\/790370\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u00ab<a href=\"https:\/\/willcrichton.net\/notes\/k-corrset\/\"><strong>\u0423\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 180 000 \u0440\u0430\u0437 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Rust<\/strong><\/a>\u00bb \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u043a\u0430\u043a \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python, \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 Rust, \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0432 180 000 \u0440\u0430\u0437. \u0410\u0432\u0442\u043e\u0440 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442: \u00ab\u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 Python \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u0441\u043c\u044b\u0441\u043b \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430 \u043d\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 Python \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c Rust. \u0421\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c &#171;\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439-Jupyter-notebook&#187; Python \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c Rust\u00bb.<\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0434\u043e\u0441\u0442\u0438\u0447\u044c, \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0430 Python?<\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0421\u0438\u0434\u043d\u0438 \u0420\u044d\u0434\u043a\u043b\u0438\u0444\u0444* \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u0443\u0442\u044c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u043d\u0430 Python, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c \u044d\u0442\u043e.<\/p>\n<p><em>*\u041e\u0431\u0440\u0430\u0449\u0430\u0435\u043c \u0432\u0430\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c \u0441 \u043c\u043d\u0435\u043d\u0438\u0435\u043c \u041c\u043e\u0439\u041e\u0444\u0438\u0441.<\/em><\/p>\n<h2>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438<\/h2>\n<p>\u041a\u0430\u043a \u0438 \u0432 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 \u0432\u044b\u0448\u0435 \u0441\u0442\u0430\u0442\u044c\u0435, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c M1 Macbook, \u0438 \u043f\u043e \u0442\u0435\u043c \u0436\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438:<\/p>\n<ul>\n<li>\n<p>\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0437\u0430 1000 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u2014 35 \u043c\u0441. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u2014\u00a036 \u043c\u0441.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434 \u043d\u0430 Rust \u0443\u0441\u043a\u043e\u0440\u0435\u043d \u0432 180,081 \u0440\u0430\u0437. \u0412 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442\u0441\u044f \u043e 182 450-\u043a\u0440\u0430\u0442\u043d\u043e\u043c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python<\/h2>\n<p>\u0412\u043e\u0442 \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 Python \u0438\u0437 \u0440\u0430\u043d\u0435\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u043e\u0439 <a href=\"https:\/\/willcrichton.net\/notes\/k-corrset\/\"><strong>\u0441\u0442\u0430\u0442\u044c\u0438<\/strong><\/a>.<\/p>\n<pre><code class=\"python\">from itertools import combinations import pandas as pd from pandas import IndexSlice as islice  def k_corrset(data, K):     all_qs = data.question.unique()     q_to_score = data.set_index(['question', 'user'])     all_grand_totals = data.groupby('user').score.sum().rename('grand_total')      # Inner loop     corrs = []     for qs in combinations(all_qs, K):         qs_data = q_to_score.loc[islice[qs,:],:].swaplevel()         answered_all = qs_data.groupby(level=[0]).size() == K         answered_all = answered_all[answered_all].index         qs_totals = qs_data.loc[islice[answered_all,:]] \\             .groupby(level=[0]).sum().rename(columns={'score': 'qs'})         r = qs_totals.join(all_grand_totals).corr().qs.grand_total         corrs.append({'qs': qs, 'r': r})     corrs = pd.DataFrame(corrs)      return corrs.sort_values('r', ascending=False).iloc[0].qs  data = pd.read_json('scores.json') print(k_corrset(data, K=5))<\/code><\/pre>\n<p>\u0410 \u0432\u043e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 DataFrame (\u0434\u0430\u043b\u0435\u0435 \u2014\u00a0\u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c), <code>data<\/code>.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong>user<\/strong>  <\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>question<\/strong>  <\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>score<\/strong>  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">e213cc2b-387e-4d7d-983c-8abc19a586b1<\/p>\n<\/td>\n<td>\n<p align=\"left\">d3bdb068-7245-4521-ae57-d0e9692cb627<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">951ffaee-6e17-4599-a8c0-9dfd00470cd9<\/p>\n<\/td>\n<td>\n<p align=\"left\">d3bdb068-7245-4521-ae57-d0e9692cb627<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0446\u0438\u043a\u043b, \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u043c \u0435\u0433\u043e \u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/github.com\/pyutils\/line_profiler\"><strong>line_profiler<\/strong><\/a>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  35 ms Speedup over baseline:   1.0x  % Time  Line Contents =====================         def compute_corrs(             qs_iter: Iterable, q_to_score: pd.DataFrame, grand_totals: pd.DataFrame         ):    0.0      result = []    0.0      for qs in qs_iter:   13.5          qs_data = q_to_score.loc[islice[qs, :], :].swaplevel()   70.1          answered_all = qs_data.groupby(level=[0]).size() == K    0.4          answered_all = answered_all[answered_all].index    0.0          qs_total = (    6.7              qs_data.loc[islice[answered_all, :]]    1.1              .groupby(level=[0])    0.6              .sum()    0.3              .rename(columns={\"score\": \"qs\"})                 )    7.4          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438\/\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435), \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043b\u044e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0434 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<ol>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0449\u0438\u043a<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u044b\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435 \u043a\u043e\u0434\u0435 \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~70% \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0432\u0430\u0436\u043d\u044b\u0439 \u0448\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u043c:<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u0432\u044b\u0432\u043e\u0434 \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c<\/em><\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0449\u0438\u043a<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0441\u0430\u043c\u044b\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0431\u0443\u0435\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0432\u043e\u0434\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0442.\u0434., \u0437\u043d\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0447\u0442\u043e \u043b\u044e\u0431\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0441\u043b\u0435\u0436\u0435\u043d\u044b.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 1. \u0421\u043b\u043e\u0432\u0430\u0440\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b: users_who_answered_q<\/h2>\n<p>\u041d\u0430\u0448 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u043e\u0434 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u044f\u0436\u0451\u043b\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 Pandas, \u0432\u044b\u044f\u0441\u043d\u044f\u044f, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u2014 <code>qs<\/code>. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u0430, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u043b\u0438 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u0430 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043d\u0430\u043c \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u044f\u0441\u043d\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 <code>qs<\/code>, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0432 Python, \u0447\u0442\u043e\u0431\u044b \u0432\u044b\u044f\u0432\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  10.0 ms Speedup over baseline:   3.5x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, q_to_score, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.0          user_sets_for_qs = [users_who_answered_q[q] for q in qs]    3.6          answered_all = set.intersection(*user_sets_for_qs)   40.8          qs_data = q_to_score.loc[islice[qs, :], :].swaplevel()    0.0          qs_total = (   22.1              qs_data.loc[islice[list(answered_all), :]]    3.7              .groupby(level=[0])    1.9              .sum()    1.1              .rename(columns={\"score\": \"qs\"})                 )   26.8          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u0422\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 <code>answered_all<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043c\u0435\u0441\u0442\u043e 70 % \u0442\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 4 %, \u0438 \u043d\u0430\u0448 \u043a\u043e\u0434 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432 3 \u0440\u0430\u0437\u0430.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 2. \u0421\u043b\u043e\u0432\u0430\u0440\u044c score_dict<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f, \u0437\u0430\u0442\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c\u043e\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 <code>qs_total<\/code> (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0443 <code>qs_data<\/code>), \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f ~65%; \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0448\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u044f\u0441\u043d\u0430. \u041d\u0443\u0436\u043d\u043e \u0441\u043d\u043e\u0432\u0430 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u044f\u0436\u0451\u043b\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u0434 \u043f\u043e\u043b\u043d\u044b\u043c \u0434\u0430\u0442\u0430\u0444\u0440\u0435\u0439\u043c\u043e\u043c (\u0438\u043d\u0434\u0435\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0438 \u0442. \u0434.) \u0431\u044b\u0441\u0442\u0440\u044b\u043c \u043f\u043e\u0438\u0441\u043a\u043e\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u0432\u043e\u0434\u0438\u043c <code>score_dict<\/code>, \u0441\u043b\u043e\u0432\u0430\u0440\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u044b \u0432\u043e\u043f\u0440\u043e\u0441-\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  690 \u03bcs Speedup over baseline:   50.8x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.1          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   35.9          answered_all = set.intersection(*user_sets_for_qs)    3.4          qs_total = {u: sum(score_dict[q, u] for q in qs) for u in answered_all}    8.6          qs_total = pd.DataFrame.from_dict(qs_total, orient=\"index\", columns=[\"qs\"])    0.1          qs_total.index.name = \"user\"   51.8          r = qs_total.join(grand_totals).corr().qs.grand_total    0.0          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043a\u043e\u0434 \u0432 50 \u0440\u0430\u0437.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 3. \u0421\u043b\u043e\u0432\u0430\u0440\u044c grand_totals \u0438 np.corrcoef<\/h2>\n<p>\u0421\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u0432 \u043a\u043e\u0434\u0435 \u0432\u044b\u0448\u0435 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0449\u0435\u0439: \u0441\u043f\u0435\u0440\u0432\u0430 Pandas <code>join<\/code>, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c <code>grand_totals<\/code> \u0438  <code>qs_total<\/code>, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438. \u041e\u043f\u044f\u0442\u044c \u0436\u0435, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044e \u0432\u043c\u0435\u0441\u0442\u043e join, \u0438 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 Pandas, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <code>np.corrcoef<\/code> \u0432\u043c\u0435\u0441\u0442\u043e Pandas <code>corr<\/code>.<\/p>\n<pre><code class=\"python\">Avg time per iteration:  380 \u03bcs Speedup over baseline:   91.6x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.0      for qs in qs_iter:    0.2          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   83.9          answered_all = set.intersection(*user_sets_for_qs)    7.2          qs_total = [sum(score_dict[q, u] for q in qs) for u in answered_all]    0.5          user_grand_total = [grand_totals[u] for u in answered_all]    8.1          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.1          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u043c ~90-\u043a\u0440\u0430\u0442\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u0430.<\/p>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 4. \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a uuid \u0432 ints<\/h2>\n<p>\u042d\u0442\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432 \u043a\u043e\u0434 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u0446\u0438\u043a\u043b\u0430. \u041d\u043e \u043e\u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041c\u044b \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 uuid \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\/\u0432\u043e\u043f\u0440\u043e\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, e213cc2b-387e-4d7d-983c-8abc19a586b1) \u043d\u0430 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041a\u0430\u043a \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f:<\/p>\n<pre><code class=\"python\">data.user = data.user.map({u: i for i, u in enumerate(data.user.unique())}) data.question = data.question.map(     {q: i for i, q in enumerate(data.question.unique())} )<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c:<\/p>\n<pre><code class=\"python\">Avg time per iteration:  210 \u03bcs Speedup over baseline:   168.5x  % Time  Line Contents =====================         def compute_corrs(qs_iter, users_who_answered_q, score_dict, grand_totals):    0.0      result = []    0.1      for qs in qs_iter:    0.4          user_sets_for_qs = [users_who_answered_q[q] for q in qs]   71.6          answered_all = set.intersection(*user_sets_for_qs)   13.1          qs_total = [sum(score_dict[q, u] for q in qs) for u in answered_all]    0.9          user_grand_total = [grand_totals[u] for u in answered_all]   13.9          r = np.corrcoef(qs_total, user_grand_total)[0, 1]    0.1          result.append({\"qs\": qs, \"r\": r})    0.0      return result<\/code><\/pre>\n<h2>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f 5. \u041c\u0430\u0441\u0441\u0438\u0432 np.bool_ \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/h2>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430\u043c\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u043e\u0434\u0435 \u0432\u044b\u0448\u0435 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0441\u0430\u043c\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f. \u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0431\u043e\u0440\u043e\u0432 ints \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u043c\u0430\u0441\u0441\u0438\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 <code>np.bool_<\/code> \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c <code>np.logical_and.reduce<\/code> \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043e\u0442\u0432\u0435\u0442\u0438\u0432\u0448\u0438\u0445 \u043d\u0430 \u0432\u0441\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b qs. (\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e <code>np.bool_<\/code> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0446\u0435\u043b\u044b\u0439 \u0431\u0430\u0439\u0442 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430, \u043d\u043e <code>np.logical_and.reduce<\/code> \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440.) \u042d\u0442\u043e \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435:<\/p>\n<pre><code class=\"python\">Avg time per<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-366896","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/366896","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=366896"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/366896\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=366896"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=366896"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=366896"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}