{"id":388140,"date":"2024-06-29T07:45:33","date_gmt":"2024-06-29T07:45:33","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=388140"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=388140","title":{"rendered":"\u041a\u043b\u0430\u0441\u0442\u0435\u0440\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435 \u0438\u043c\u0435\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b, \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n

\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/h2>\n

\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b \u0432\u0437\u044f\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043e\u0442 \u0420\u0418\u0410, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439.<\/p>\n

\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/h2>\n

\u0414\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c LaBSE \u043e\u0442 @cointegrated<\/a>. \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 huggingface.<\/a><\/p>\n

\n\u041a\u043e\u0434 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438<\/summary>\n
\n
import numpy as np import torch from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(\"cointegrated\/LaBSE-en-ru\") model = AutoModel.from_pretrained(\"cointegrated\/LaBSE-en-ru\")  sentenses = ['\u043c\u0430\u043c\u0430 \u043c\u044b\u043b\u0430 \u0440\u0430\u043c\u0443']  embeddings_list = []  for s in sentences:     encoded_input = tokenizer(s, padding=True, truncation=True, max_length=64, return_tensors='pt')     with torch.no_grad():         model_output = model(**encoded_input)     embedding = model_output.pooler_output     embeddings_list.append((embedding)[0].numpy())  embeddings = np.asarray(embeddings_list)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f<\/h2>\n
\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means. \u0412\u044b\u0431\u0440\u0430\u043d \u043e\u043d \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438, \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.<\/p>\n
\u0414\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0443\u044e «\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043b\u043e\u043a\u0442\u044f»:<\/p>\n
\n\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432:<\/summary>\n
\n
from sklearn.cluster import KMeans from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error from sklearn.metrics.pairwise import cosine_similarity  def determine_k(embeddings):     k_min = 10     clusters = [x for x in range(2, k_min * 11)]     metrics = []     for i in clusters:         metrics.append((KMeans(n_clusters=i).fit(embeddings)).inertia_)     k = elbow(k_min, clusters, metrics)     return k  def elbow(k_min, clusters, metrics):     score = []      for i in range(k_min, clusters[-3]):         y1 = np.array(metrics)[:i + 1]         y2 = np.array(metrics)[i:]              df1 = pd.DataFrame({'x': clusters[:i + 1], 'y': y1})         df2 = pd.DataFrame({'x': clusters[i:], 'y': y2})              reg1 = LinearRegression().fit(np.asarray(df1.x).reshape(-1, 1), df1.y)         reg2 = LinearRegression().fit(np.asarray(df2.x).reshape(-1, 1), df2.y)          y1_pred = reg1.predict(np.asarray(df1.x).reshape(-1, 1))         y2_pred = reg2.predict(np.asarray(df2.x).reshape(-1, 1))                      score.append(mean_squared_error(y1, y1_pred) + mean_squared_error(y2, y2_pred))      return np.argmin(score) + k_min  k = determine_k(embeddings)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u0412\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445<\/h2>\n
\u041f\u043e\u0441\u043b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0431\u0435\u0440\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043e\u0442 \u0446\u0435\u043d\u0442\u0440\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n
\n\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a \u0446\u0435\u043d\u0442\u0440\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432:<\/summary>\n
\n
from sklearn.metrics.pairwise import euclidean_distances  kmeans = KMeans(n_clusters = k_opt, random_state = 42).fit(embeddings) kmeans_labels = kmeans.labels_  data = pd.DataFrame() data['text'] = sentences data['label'] = kmeans_labels data['embedding'] = list(embeddings)  kmeans_centers = kmeans.cluster_centers_ top_texts_list = [] for i in range (0, k_opt):     cluster = data[data['label'] == i]     embeddings = list(cluster['embedding'])     texts = list(cluster['text'])     distances = [euclidean_distances(kmeans_centers[0].reshape(1, -1), e.reshape(1, -1))[0][0] for e in embeddings]     scores = list(zip(texts, distances))     top_3 = sorted(scores, key=lambda x: x[1])[:3]     top_texts = list(zip(*top_3))[0]     top_texts_list.append(top_texts)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u0421\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432<\/h2>\n
\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u043f\u0438\u0442\u044c \u0432 \u043e\u0431\u0449\u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c ruT5 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c @cointegrated<\/a>. \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 huggingface<\/a>.<\/p>\n
\n\u041a\u043e\u0434 \u0441\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438:<\/summary>\n
\n
from transformers import T5ForConditionalGeneration, T5Tokenizer MODEL_NAME = 'cointegrated\/rut5-base-absum' model = T5ForConditionalGeneration.from_pretrained(MODEL_NAME) tokenizer = T5Tokenizer.from_pretrained(MODEL_NAME)  def summarize(     text, n_words=None, compression=None,     max_length=1000, num_beams=3, do_sample=False, repetition_penalty=10.0,      **kwargs ):     \"\"\"     Summarize the text     The following parameters are mutually exclusive:     - n_words (int) is an approximate number of words to generate.     - compression (float) is an approximate length ratio of summary and original text.     \"\"\"     if n_words:         text = '[{}] '.format(n_words) + text     elif compression:         text = '[{0:.1g}] '.format(compression) + text     # x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)     x = tokenizer(text, return_tensors='pt', padding=True)     with torch.inference_mode():         out = model.generate(             **x,              max_length=max_length, num_beams=num_beams,              do_sample=do_sample, repetition_penalty=repetition_penalty,              **kwargs         )     return tokenizer.decode(out[0], skip_special_tokens=True)  summ_list = [] for top in top_texts_list:     summ_list.append(summarize(' '.join(list(top))))    <\/code><\/pre>\n<\/div>\n<\/details>\n
\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 — \u043d\u043e\u0432\u043e\u0441\u0442\u0438 \u0442\u0443\u0442 \u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u0438 \u0442\u0435\u043a\u0441\u0442\u044b \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0410 \u0432\u043e\u0442 \u0441 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u0442\u0432\u0438\u0442\u0442\u0435\u0440\u043e\u043c \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u043e\u0437\u0438\u0442\u044c\u0441\u044f — \u043e\u0431\u0438\u043b\u0438\u0435 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, \u0436\u0430\u0440\u0433\u043e\u043d\u0430, \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u0430\u0442\u044c \u043a\u043e\u0448\u043c\u0430\u0440\u043e\u043c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430. \u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f!<\/p>\n
\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n
\u0421 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u043b\u0430\u0431\u0435, \u0441\u0441\u044b\u043b\u043a\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 \u0433\u0438\u0442\u0445\u0430\u0431<\/a>.<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/590983\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
<\/div>\n
\n
\n
\n
\n
\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0437 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0435 \u0438\u043c\u0435\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u044b, \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u044b \u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n
\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435<\/h2>\n
\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0431\u044b\u043b \u0432\u0437\u044f\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043e\u0442 \u0420\u0418\u0410, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043d\u043e\u0432\u043e\u0441\u0442\u0435\u0439.<\/p>\n
\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432<\/h2>\n
\u0414\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c LaBSE \u043e\u0442 @cointegrated<\/a>. \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 huggingface.<\/a><\/p>\n
\n\u041a\u043e\u0434 \u0432\u0435\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438<\/summary>\n
\n
import numpy as np import torch from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained(\"cointegrated\/LaBSE-en-ru\") model = AutoModel.from_pretrained(\"cointegrated\/LaBSE-en-ru\")  sentenses = ['\u043c\u0430\u043c\u0430 \u043c\u044b\u043b\u0430 \u0440\u0430\u043c\u0443']  embeddings_list = []  for s in sentences:     encoded_input = tokenizer(s, padding=True, truncation=True, max_length=64, return_tensors='pt')     with torch.no_grad():         model_output = model(**encoded_input)     embedding = model_output.pooler_output     embeddings_list.append((embedding)[0].numpy())  embeddings = np.asarray(embeddings_list)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u041a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f<\/h2>\n
\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c k-means. \u0412\u044b\u0431\u0440\u0430\u043d \u043e\u043d \u0434\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438, \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432.<\/p>\n
\u0414\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0440\u0435\u0430\u043b\u0438\u0437\u0443\u044e\u0449\u0443\u044e «\u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043b\u043e\u043a\u0442\u044f»:<\/p>\n
\n\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432:<\/summary>\n
\n
from sklearn.cluster import KMeans from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error from sklearn.metrics.pairwise import cosine_similarity  def determine_k(embeddings):     k_min = 10     clusters = [x for x in range(2, k_min * 11)]     metrics = []     for i in clusters:         metrics.append((KMeans(n_clusters=i).fit(embeddings)).inertia_)     k = elbow(k_min, clusters, metrics)     return k  def elbow(k_min, clusters, metrics):     score = []      for i in range(k_min, clusters[-3]):         y1 = np.array(metrics)[:i + 1]         y2 = np.array(metrics)[i:]              df1 = pd.DataFrame({'x': clusters[:i + 1], 'y': y1})         df2 = pd.DataFrame({'x': clusters[i:], 'y': y2})              reg1 = LinearRegression().fit(np.asarray(df1.x).reshape(-1, 1), df1.y)         reg2 = LinearRegression().fit(np.asarray(df2.x).reshape(-1, 1), df2.y)          y1_pred = reg1.predict(np.asarray(df1.x).reshape(-1, 1))         y2_pred = reg2.predict(np.asarray(df2.x).reshape(-1, 1))                      score.append(mean_squared_error(y1, y1_pred) + mean_squared_error(y2, y2_pred))      return np.argmin(score) + k_min  k = determine_k(embeddings)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u0412\u044b\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445<\/h2>\n
\u041f\u043e\u0441\u043b\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0431\u0435\u0440\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043e\u0442 \u0446\u0435\u043d\u0442\u0440\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n
\n\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043a \u0446\u0435\u043d\u0442\u0440\u0443 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432:<\/summary>\n
\n
from sklearn.metrics.pairwise import euclidean_distances  kmeans = KMeans(n_clusters = k_opt, random_state = 42).fit(embeddings) kmeans_labels = kmeans.labels_  data = pd.DataFrame() data['text'] = sentences data['label'] = kmeans_labels data['embedding'] = list(embeddings)  kmeans_centers = kmeans.cluster_centers_ top_texts_list = [] for i in range (0, k_opt):     cluster = data[data['label'] == i]     embeddings = list(cluster['embedding'])     texts = list(cluster['text'])     distances = [euclidean_distances(kmeans_centers[0].reshape(1, -1), e.reshape(1, -1))[0][0] for e in embeddings]     scores = list(zip(texts, distances))     top_3 = sorted(scores, key=lambda x: x[1])[:3]     top_texts = list(zip(*top_3))[0]     top_texts_list.append(top_texts)<\/code><\/pre>\n<\/div>\n<\/details>\n
\u0421\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432<\/h2>\n
\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u043f\u0438\u0442\u044c \u0432 \u043e\u0431\u0449\u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0441\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430. \u042f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0434\u0435\u043b\u044c ruT5 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0441\u0442\u0432\u043e\u043c @cointegrated<\/a>. \u041c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430 \u043d\u0430 huggingface<\/a>.<\/p>\n
\n\u041a\u043e\u0434 \u0441\u0430\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438:<\/summary>\n
\n
from transformers import T5ForConditionalGeneration, T5Tokenizer MODEL_NAME = 'cointegrated\/rut5-base-absum' model = T5ForConditionalGeneration.from_pretrained(MODEL_NAME) tokenizer = T5Tokenizer.from_pretrained(MODEL_NAME)  def summarize(     text, n_words=None, compression=None,     max_length=1000, num_beams=3, do_sample=False, repetition_penalty=10.0,      **kwargs ):     \"\"\"     Summarize the text     The following parameters are mutually exclusive:     - n_words (int) is an approximate number of words to generate.     - compression (float) is an approximate length ratio of summary and original text.     \"\"\"     if n_words:         text = '[{}] '.format(n_words) + text     elif compression:         text = '[{0:.1g}] '.format(compression) + text     # x = tokenizer(text, return_tensors='pt', padding=True).to(model.device)     x = tokenizer(text, return_tensors='pt', padding=True)     with torch.inference_mode():         out = model.generate(             **x,              max_length=max_length, num_beams=num_beams,              do_sample=do_sample, repetition_penalty=repetition_penalty,              **kwargs         )     return tokenizer.decode(out[0], skip_special_tokens=True)  summ_list = [] for top in top_texts_list:     summ_list.append(summarize(' '.join(list(top))))    <\/code><\/pre>\n<\/div>\n<\/details>\n
\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 — \u043d\u043e\u0432\u043e\u0441\u0442\u0438 \u0442\u0443\u0442 \u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435, \u0438 \u0442\u0435\u043a\u0441\u0442\u044b \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0410 \u0432\u043e\u0442 \u0441 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u0442\u0432\u0438\u0442\u0442\u0435\u0440\u043e\u043c \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u0432\u043e\u0437\u0438\u0442\u044c\u0441\u044f — \u043e\u0431\u0438\u043b\u0438\u0435 \u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a, \u0436\u0430\u0440\u0433\u043e\u043d\u0430, \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u0430\u0442\u044c \u043a\u043e\u0448\u043c\u0430\u0440\u043e\u043c \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430. \u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f!<\/p>\n
\u0421\u0441\u044b\u043b\u043a\u0438<\/h2>\n
\u0421 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u043b\u0430\u0431\u0435, \u0441\u0441\u044b\u043b\u043a\u0430 \u0432 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 \u0433\u0438\u0442\u0445\u0430\u0431<\/a>.<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/590983\/<\/a>
<\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-388140","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/388140","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=388140"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/388140\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=388140"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=388140"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=388140"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}