{"id":446180,"date":"2025-01-26T09:05:02","date_gmt":"2025-01-26T09:05:02","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=446180"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=446180","title":{"rendered":"\u0417\u0430\u0447\u0435\u043c \u0432 Look-a-like pseudolabelling (\u0438\u043b\u0438 \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 PU-learning \u043d\u0430 \u0441\u043b\u0443\u0436\u0431\u0435 \u0443 \u0440\u0435\u043a\u043b\u0430\u043c\u0449\u0438\u043a\u043e\u0432)<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0413\u043e\u0442\u043e\u0432\u0438\u043b \u0441\u0435\u043c\u0438\u043d\u0430\u0440 \u0441\u0442\u0443\u0434\u0435\u043d\u0442\u0430\u043c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u043c\u043e\u0433\u0443 \u043d\u0430\u0439\u0442\u0438 \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0442\u0441\u0435 Look-a-Like (\u0435\u0441\u043b\u0438 \u043d\u0435 \u043f\u0440\u0430\u0432 — \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u0435\u0441\u044c, \u043f\u043e\u0436\u0430\u043b\u0443\u0439\u0441\u0442\u0430, \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u0441\u0441\u044b\u043b\u043a\u043e\u0439).<\/p>\n

\u0411\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0430<\/h3>\n

\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0437\u0430\u0434\u0430\u0447\u0443:<\/p>\n

\u041a \u0432\u0430\u043c \u043f\u0440\u0438\u0448\u0435\u043b \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c, \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0432\u043e\u0442 \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c 200-300 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432, \u0430 \u0445\u043e\u0447\u0443 \u0432 10 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435! \u0411\u044e\u0434\u0436\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d, \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u0438 \u0435\u0449\u0435 1000 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 — \u044f \u0438\u0445 \u043e\u0431\u0437\u0432\u043e\u043d\u044e.<\/p>\n

\u0422\u043e \u0435\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0432 \u0431\u0430\u0437\u0435 \u043d\u0430\u0439\u0442\u0438 «\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0445\u043e\u0436\u0438\u0445».
\u041d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043b\u044e\u0431\u0438\u043b \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0442\u0430\u043a\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435, \u043d\u043e business first.<\/p>\n

\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u044e\u0442 \u0432 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0441\u0442\u0432\u0430\u0445 (\u0434\u043b\u044f \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432, \u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043f\u0430\u043b\u0430 \u043a Data Scientist).<\/p>\n

\u0411\u0443\u0434\u0435\u043c \u0443\u043f\u0440\u0430\u0436\u043d\u044f\u0442\u044c\u0441\u044f \u0445\u043e\u0442\u044c \u0438 \u0441 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u043c, \u043d\u043e \u043a\u043e\u0434\u043e\u043c.<\/p>\n

\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n

\u0418\u0442\u0430\u043a, \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438<\/p>\n

from sklearn.datasets import make_classification import pandas as pd import numpy as np from sklearn.ensemble import RandomForestClassifier from tqdm import tqdm import warnings warnings.filterwarnings(\"ignore\") from sklearn.metrics import precision_score, recall_score import matplotlib.pyplot as plt import seaborn as sns <\/code><\/pre>\n
\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u0435:<\/p>\n
np.random.seed(42) n_features = 10 n_samples = 100_000  df, y = make_classification(n_samples = n_samples, n_features =n_features, random_state = 42, flip_y = 0.03, weights = [0.99]) df = pd.DataFrame(df, columns = [f'feature_{k}' for k in range(n_features)]) df['y'] = y cnt = df[df['y'] == 1]['y'].count() print(f'\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a {cnt}') >>> \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a 2554 <\/code><\/pre>\n
\u0418\u0442\u0430\u043a, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 100 000 \u043b\u044e\u0434\u0435\u0439 (\u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e 10 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432-\u0444\u0438\u0447\u0435\u0439), \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c\u0438 \u043d\u0430\u0448\u0435\u043c\u0443 \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044e (\u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0430\u043c\u0438) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 2554,  \u0438 \u0443 \u0442\u0440\u0435\u0445 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0438\u0437 \u0432\u0441\u0435\u0445 (\u0442\u043e \u0435\u0441\u0442\u044c \u0443 3 000 \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432) \u043f\u0435\u0440\u0435\u043f\u0443\u0442\u0430\u043d\u044b \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u043c\u0435\u0442\u043a\u0438.<\/p>\n
\u041d\u043e \u043f\u043e\u0433\u043e\u0434\u0438\u0442\u0435, 2554 \u044d\u0442\u043e \u043d\u0435\u043f\u043b\u043e\u0445\u043e!
 \u0412 \u0437\u0430\u0442\u0440\u0430\u0432\u043a\u0435 \u044f \u043f\u0438\u0441\u0430\u043b \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u044e\u0442 200-300.<\/p>\n
\u041d\u0443 \u0447\u0442\u043e \u0436, \u0442\u043e\u0433\u0434\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u0438\u0434 \u0447\u0442\u043e \u043f\u0440\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c — \u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a \u0440\u0430\u0437 \u0432 \u0442\u043e\u043c \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043d\u0430\u0439\u0442\u0438:<\/p>\n
N = 2200 # \u0447\u0438\u0441\u043b\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a, \u043f\u0440\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0431\u0443\u0434\u0435\u043c   def unlabel(df, hidden_size):   # \u043d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0445\u0443\u0435\u043c\u0441\u044f \u0440\u0435\u0437\u0435\u0440\u0432\u043d\u043e\u0439 \u043a\u043e\u043f\u0438\u0435\u0439   df_orig = df.copy()    df.loc[       np.random.choice(           df[df['y'] == 1].index,           replace = False,           size = hidden_size       )   , 'y'] = 0   return df, df_orig  df, df_orig = unlabel(df, N) print('\u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a', df[df['y'] == 1]['y'].count()) df['truth'] = df_orig['y'] >>> \u043f\u043e\u0441\u043b\u0435 \u0441\u043e\u043a\u0440\u044b\u0442\u0438\u044f \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a 354 <\/code><\/pre>\n
\u0415\u0449\u0435 \u0440\u0430\u0437 \u043f\u0440\u043e \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0443<\/h3>\n
\u0412\u043e\u0442 \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u0434\u0430\u0447\u0443!
 \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0431\u0430\u0437\u0430 100 000 \u043b\u044e\u0434\u0435\u0439, \u043f\u0440\u043e 354 \u0438\u0437 \u043d\u0438\u0445 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e \u043e\u043d\u0438 \u0443\u0436\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u044b \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044f,  \u0438 \u0443 \u043d\u0435\u0433\u043e \u0435\u0441\u0442\u044c \u0431\u044e\u0434\u0436\u0435\u0442 \u043d\u0430 2200 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0445 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u0439 — \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u043e\u0447\u0435\u043d\u044c \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u0437 (100 000 — 354 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445) = 99 646 \u044d\u0442\u0438 2200 \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u043a\u043e\u043c\u043c\u0443\u043d\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c! \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u043d\u0430\u0448\u0435\u0439 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043e\u043d\u0438 (\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u044b) \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0435\u0441\u0442\u044c (\u043c\u044b \u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u043e \u0441\u043a\u0440\u044b\u043b\u0438 — \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0432\u0438\u0434 \u0447\u0442\u043e \u043f\u0440\u043e \u043d\u0438\u0445 \u043d\u0435 \u0437\u043d\u0430\u0435\u043c).
 \u0422\u043e \u0435\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u0442\u0435\u0445, \u043a\u0442\u043e \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u043e\u043b\u0438\u043a\u0430\u043c\u0438 — \u0435\u0441\u0442\u044c \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0438, \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043f\u0440\u043e \u043d\u0438\u0445 \u043d\u0435 \u0437\u043d\u0430\u0435\u043c.
 \u0422\u043e \u0435\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445: \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f (\u0438\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u0430\u044f) — \u0438 \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0430\u043c\u0438. \u0418 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u0430\u044f — \u043f\u043e\u043a\u0430 \u043e\u043d\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u043d\u043e\u043b\u0438\u043a\u0430\u043c\u0438.<\/p>\n
\u0415\u0441\u043b\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0433\u043e, \u0442\u043e \u0448\u0430\u043d\u0441 \u0447\u0442\u043e \u043e\u043d \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c (\u0435\u0434\u0438\u043d\u0438\u0447\u043a\u043e\u0439) 2.2%:<\/p>\n
df[(df['y'] == 0) & (df['truth'] == 1)].shape[0] \/ df[df['y'] == 0].shape[0] >>> 0.022 <\/code><\/pre>\n
\u041a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 LaL DS-\u0440\u0430\u0431\u043e\u0442\u043d\u0438\u043a\u0438 \u0432 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0441\u0442\u0432\u0430\u0445?<\/h3>\n
\u0421\u0442\u0440\u043e\u044f\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/abbr> — \u0431\u0435\u0440\u0443\u0442 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0435 \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0438 \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u0440\u0435\u0431\u044f\u0442 \u0438\u0437 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445, \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u044f \u0438\u0445 \u043d\u043e\u043b\u0438\u043a\u0430\u043c\u0438 (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435) — \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0448\u0430\u043d\u0441 \u0447\u0442\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0442\u043e\u0433\u043e \u043e\u0431\u0437\u043e\u0432\u0435\u0448\u044c \u043d\u043e\u043b\u0438\u043a\u043e\u043c 2.2% \u0432 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 (\u0435\u0441\u043b\u0438 \u0437\u0430\u0431\u044b\u0442\u044c \u043f\u0440\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0437\u0430\u0434\u0430\u0432\u0430\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 flip_y \u0432 make_classification).
 \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0438\u0445 \u0431\u0440\u0430\u0442\u044c? \u041f\u0443\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 30% \u043f\u043e \u0432\u0435\u043b\u0435\u043d\u0438\u044e \u043b\u0435\u0432\u043e\u0439 \u043f\u044f\u0442\u043a\u0438.<\/p>\n
# \u043e\u0442\u043b\u043e\u0436\u0438\u043c train -- \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0435\u0434\u0438\u043d\u0438\u0447\u043a\u0438 + 30% \u043e\u0442 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 count_zeros = df[df['y'] == 0]['y'].count() rate = 0.3 df['is_train'] = 0 train_index = pd.concat([df[df['y'] == 1].copy(), df[df['y'] == 0].sample(int(count_zeros * rate), random_state=1)]).index df.loc[df.index.isin(train_index), 'is_train'] = 1 df[df['is_train'] == 1].shape[0] >>> 30247 <\/code><\/pre>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u0443 \u043d\u0430\u0441 \u0432 \u0440\u0443\u043a\u0430\u0445 «\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430» \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0432 30% \u0431\u0430\u0437\u044b \u0438 \u0431\u0443\u0434\u0435\u043c \u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c:<\/p>\n
# \u0443\u0447\u0438\u043c \u043d\u0430 \u0442\u0440\u0435\u0439\u043d\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u0432\u0441\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 rf = RandomForestClassifier(n_estimators = 100, n_jobs = -1, random_state = 42) rf.fit(df[df['is_train'] == 1].drop(['y', 'truth', 'is_train'], axis = 1), df[df['is_train'] == 1]['y']) preds = rf.predict_proba(df.drop(['y', 'truth', 'is_train'], axis = 1))[:, 1] df['rf1_preds'] = preds <\/code><\/pre>\n
\u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u0431\u044b \u043e\u043d\u0430 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u043c:
 \u0440\u0430\u0437 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u043a\u043e\u0440 \u043f\u043e \u0432\u0441\u0435\u0439 \u0431\u0430\u0437\u0435, \u043e\u0442\u0431\u0435\u0440\u0435\u043c N (\u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 2200) \u043b\u044e\u0434\u0435\u0439 \u0441 \u0441\u0430\u043c\u044b\u043c \u0432\u044b\u0441\u043e\u043a\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u043c \u0438 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0441 \u043d\u0438\u043c\u0438 \u043a\u043e\u043c\u043c\u0443\u043d\u0438\u043a\u0430\u0446\u0438\u044e.
 \u041a\u0430\u043a\u0438\u0435 \u0448\u0430\u043d\u0441\u044b \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043f\u0430\u0434\u0435\u043c?
 \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c:<\/p>\n
df_sorted = df[df['is_train'] == 0].sort_values(by=['rf1_preds'], ascending=False).head(N).copy() df_sorted['truth'].mean() >>> 0.1536 <\/code><\/pre>\n
\u0426\u0435\u043b\u044b\u0445 15%! \u0423\u0436\u0435 \u0432 6.8 \u0440\u0430\u0437 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e!<\/em><\/p>\n
\u041d\u0430 \u044d\u0442\u043e\u043c \u043c\u043d\u043e\u0433\u0438\u0435 \u0430\u0433\u0435\u043d\u0441\u0442\u0432\u0430 \u0443\u0441\u043f\u043e\u043a\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f (\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 CTR 15% \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u043c).
 \u041d\u043e \u043d\u0435 \u043c\u044b.<\/p>\n
\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0439\u0434\u0435\u043c \u0447\u0443\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0441\u0442\u043e \u043b\u0435\u0442 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u043d\u0430 kaggle
 \u0442\u0435\u0445\u043d\u0438\u043a\u0443 pseudolabbeling<\/a><\/p>\n
\u0414\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0439\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043d\u0430\u0448\u0435\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 (\u0430 \u043d\u0430 \u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0447\u0442\u043e \u0432 \u043d\u0435\u0435 \u043d\u0435 \u0432\u043e\u0439\u0434\u0435\u0442 \u0431\u0443\u0434\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f):<\/p>\n
# \u043e\u0442 \u0442\u0440\u0435\u0439\u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u0438\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0435\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0433\u0430\u0449\u0430\u0442\u044c \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u043e\u043b\u0438\u043a\u0430\u043c\u0438, # \u043d\u0430 \u0442\u0435\u0441\u0442\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433, \u043f\u043e\u0442\u043e\u043c \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u0440\u043e\u0433\u043e\u043c \u043e\u0431\u0443\u0447\u0438\u043c\u0441\u044f \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438\u0441\u044c \u0448\u0430\u043d\u0441\u044b count_train = df[df['is_train'] == 1].shape[0] rate = 0.7 df['is_inner_train'] = 0 inner_train_index = df[df['is_train'] == 1].sample(int(count_train * rate), random_state=1).index df.loc[df.index.isin(inner_train_index), 'is_inner_train'] = 1 df.loc[df['is_inner_train'] == 1].shape[0] >>> 21172 <\/code><\/pre>\n
\u041d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c:<\/h3>\n
    \n
  1. \n
    \u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0432 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u043c \u0430\u0433\u0435\u043d\u0441\u0442\u0432\u0435 (\u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0442\u0440\u0435\u0439\u043d\u0435)<\/p>\n<\/li>\n
  2. \n
    \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0435\u0435 \u043d\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u043c \u0442\u0435\u0441\u0442\u0435 (\u0442\u0430 \u0447\u0430\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u0432\u043e\u0448\u043b\u0430 \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443)<\/p>\n<\/li>\n
  3. \n
    \u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u043e\u0440\u043e\u0433 (\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u0446\u0438\u043a\u043b\u0435 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c)<\/p>\n<\/li>\n
  4. \n
    \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u044b \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0438\u0436\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u043a\u0440\u0430\u0441\u0438\u043c \u0432 0 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0442\u0440\u0435\u0439\u043d (\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443)<\/p>\n<\/li>\n
  5. \n
    \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u044b \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442 1 \u043e\u0441\u0442\u043e\u044f\u0442 \u043d\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0440\u043e\u0433\u0430, \u043a\u0440\u0430\u0441\u0438\u043c \u0432 1 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0442\u0440\u0435\u0439\u043d (\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443)<\/p>\n<\/li>\n
  6. \n
    \u043d\u0430\u0448 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0442\u0440\u0435\u0439\u043d \u0441\u0442\u0430\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430 \u0441\u0447\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u0445 1 \u0438 0,  \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c\u044e — \u0432\u043e\u0442 \u044d\u0442\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043f\u0441\u0435\u0432\u0434\u043e-\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c\u0438, \u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043d\u0438\u0445 (0 \u0438\u043b\u0438 1) — \u043f\u0441\u0435\u0432\u0434\u043e\u043c\u0435\u0442\u043a\u0430\u043c\u0438<\/p>\n<\/li>\n
  7. \n
    \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u0442\u0440\u0435\u0439\u043d\u0435 \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0441\u0435\u0432\u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0443\u0447\u0438\u043c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/li>\n
  8. \n
    \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c \u0435\u044e \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0442\u0440\u0435\u0439\u043d\u0430 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0430\u0448\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (\u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0430\u0446\u0438\u044f \u0447\u0435\u0441\u0442\u043d\u044b\u0445 \u0435\u0434\u0438\u043d\u0438\u0446 \u0441\u0440\u0435\u0434\u0438 \u0442\u043e\u043f-N) \u043f\u043e \u0441\u043a\u043e\u0440\u0443<\/p>\n<\/li>\n
  9. \n
    \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u043e\u0440\u043e\u0433, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430<\/p>\n<\/li>\n
  10. \n
    \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c \u0432\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u043f\u043e\u0440\u043e\u0433\u0435, \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c \u0432\u0441\u044e \u0431\u0430\u0437\u0443 (100_000 — 324 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445), \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u043e\u043f-N \u0438 \u043e\u0442\u0434\u0430\u0435\u043c \u043a\u043b\u0438\u0435\u043d\u0442\u0443<\/p>\n<\/li>\n<\/ol>\n
    \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0445 \u0430\u0433\u0435\u043d\u0441\u0442\u0432<\/p>\n
    save = df.copy() res = [] for tr in [0.02, 0.03, 0.04, 0.05, 0.06, 0.07, 0.08, 0.09, 0.1, 0.15, 0.2, 0.22, 0.25, 0.3, 0.35, 0.4]:   rf = RandomForestClassifier(n_estimators = 100, n_jobs = -1, random_state = 42)   rf.fit(df[df['is_inner_train'] == 1].drop(['y', 'truth', 'is_train', 'is_inner_train'], axis = 1), df[df['is_inner_train'] == 1]['y'])   preds = rf.predict_proba(df.drop(['y', 'truth', 'is_train', 'is_inner_train'], axis = 1))[:, 1]   df['rf1_preds'] = preds    df.loc[(df['is_train'] == 1) & (df['is_inner_train'] == 0) & (df['rf1_preds'] <= tr), 'y'] = 0   df.loc[(df['is_train'] == 1) & (df['is_inner_train'] == 0) & (df['rf1_preds'] > 1- tr), 'y'] = 1   df.loc[(df['is_train'] == 1) & (df['is_inner_train'] == 0) & ((df['rf1_preds'] <= tr)), 'is_inner_train'] = 1   df.loc[(df['is_train'] == 1) & (df['is_inner_train'] == 0) & ((df['rf1_preds'] > 1 - tr)), 'is_inner_train'] = 1    # print(df[df['is_inner_train'] == 1].shape)   rf2 = RandomForestClassifier(n_estimators = 100, n_jobs = -1, random_state = 42)   rf2.fit(df[df['is_inner_train'] == 1].drop(['y', 'truth', 'is_train', 'rf1_preds', 'is_inner_train'], axis = 1), df[df['is_inner_train'] == 1]['y'])   preds2 = rf2.predict_proba(df.drop(['y', 'truth', 'is_train', 'rf1_preds', 'is_inner_train'], axis = 1))[:, 1]   df['rf2_preds'] = preds2   test = df[(df['is_train'] == 1)&(df['is_inner_train'] == 0)][['y', 'rf2_preds']].copy()    small_N = int(df[(df['is_inner_train'] == 1) & (df['y'] == 1)].shape[0] * (N \/ df.loc[(df['is_train'] == 1) & (df['y'] == 1)].shape[0]))   small_df_sorted = df[(df['is_train'] == 1) & (df['is_inner_train'] == 0)].sort_values(by=['rf2_preds'], ascending=False).head(small_N).copy()   new_chances = small_df_sorted['y'].mean()   #print(tr, new_chances)   res.append([tr, round(new_chances, 3)])   df = save.copy()  res_df = pd.DataFrame(res, columns = ['tr', 'chance']).sort_values(by = 'chance', ascending = False) res_df = res_df[res_df['tr'] < 0.14].copy() # \u0447\u0443\u0442\u044c \u043e\u0431\u0440\u0435\u0436\u0435\u043c \u0433\u0440\u0430\u0444\u0438\u043a \u0434\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 sns.scatterplot(x=res_df['tr'], y=res_df['chance']) <\/code><\/pre>\n
    \"\u0433\u0440\u0430\u0444\u0438\u043a<\/p>\n
    \u0433\u0440\u0430\u0444\u0438\u043a \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043d\u0430\u0448\u0435\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430 \u0438\u0437 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b<\/figcaption><\/div>\n<\/figure>\n
     \u0418\u0442\u0430\u043a, \u043d\u0430\u0448\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430 \u043f\u0440\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043f\u043e\u0440\u043e\u0433\u0430 \u0432 0.09 <\/p>\n
    tr = 0.09 save = df.copy() # \u0443\u0447\u0438\u043c \u043d\u0430 \u0442\u0440\u0435\u0439\u043d\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u0432\u0441\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 rf = RandomForestClassifier(n_estimators = 100, n_jobs = -1, random_state = 43) rf.fit(df[df['is_train'] == 1].drop(['y', 'truth', 'is_train','is_inner_train'], axis = 1), df[df['is_train'] == 1]['y']) preds = rf.predict_proba(df.drop(['y', 'truth', 'is_train','is_inner_train'], axis = 1))[:, 1] df['rf1_preds'] = preds   df.loc[(df['is_train'] == 0) & (df['rf1_preds'] <= tr), 'y'] = 0 df.loc[(df['is_train'] == 0) & (df['rf1_preds'] > 1 - tr), 'y'] = 1 df.loc[(df['is_train'] == 0) & ((df['rf1_preds'] <= tr) | (df['rf1_preds'] > 1 - tr) ), 'is_train'] = 1 df.loc[(df['is_train'] == 0) & ((df['rf1_preds'] > 1 - tr) ), 'is_train'] = 1   rf2 = RandomForestClassifier(n_estimators = 100, n_jobs = -1, random_state = 43) rf2.fit(df[df['is_train'] == 1].drop(['y', 'truth', 'is_train', 'rf1_preds','is_inner_train'], axis = 1), df[df['is_train'] == 1]['y']) preds2 = rf2.predict_proba(df.drop(['y', 'truth', 'is_train', 'rf1_preds','is_inner_train'], axis = 1))[:, 1] df['rf2_preds'] = preds2   df_sorted = df[df['is_train'] == 0].sort_values(by=['rf2_preds'], ascending=False).head(N).copy() times = round(df_sorted['truth'].mean() \/ random_send, 3) print(f'tr = {tr}, ', '\u0448\u0430\u043d\u0441\u044b \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a \u0432 \u0442\u043e\u043f-N ', round(df_sorted['truth'].mean(), 3), f', \u043e\u043d\u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432 {times} \u0440\u0430\u0437') df = save.copy() >>> tr = 0.09,  \u0448\u0430\u043d\u0441\u044b \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a \u0432 \u0442\u043e\u043f-N  0.804 , \u043e\u043d\u0438 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432 35.645 \u0440\u0430\u0437 <\/code><\/pre>\n
    \u0410 \u0431\u044b\u043b\u043e 6,8 \u0440\u0430\u0437 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e!<\/p>\n
    \u0418\u0442\u043e\u0433\u043e<\/h3>\n
    \u0428\u0430\u043d\u0441\u043e\u0432 \u043d\u0430\u0431\u0440\u0430\u0442\u044c N \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a \u0438\u0437 \u043d\u0435\u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0434\u043b\u044f \u0440\u0435\u043a\u043b\u0430\u043c\u044b:<\/p>\n