{"id":369044,"date":"2024-05-21T03:55:04","date_gmt":"2024-05-21T03:55:04","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=369044"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=369044","title":{"rendered":"<span>40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043c\u0438\u0440\u0435 \u043d\u0430\u0443\u043a\u0438 \u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u0435\u0441\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0437\u0430. <\/p>\n<p>\u041d\u043e \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438? \u0412 \u0441\u043f\u0438\u0441\u043a\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0442\u0430\u043a\u0438\u0445, \u043a\u0430\u043a Pandas, Polars, Scipy \u0438 \u0442\u0434<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0435  \u043f\u043e\u043c\u043e\u0447\u044c \u0432\u0430\u043c \u0432 \u0432\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. <\/p>\n<p>\u041c\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c \u0441\u0432\u0435\u0436\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u043c \u0438\u0445 \u0432 \u043d\u0430\u0448\u0435\u043c\u00a0<a href=\"https:\/\/t.me\/+rodGibdrtUszMDYy\" rel=\"noopener noreferrer nofollow\">\u043a\u0430\u043d\u0430\u043b\u0435<\/a>\u00a0<a href=\"https:\/\/t.me\/+rodGibdrtUszMDYy\" rel=\"noopener noreferrer nofollow\">\u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u043e\u0432<\/a>, \u0430 \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438\u00a0<a href=\"https:\/\/t.me\/addlist\/G7ntgISJ23s5ZGQy\" rel=\"noopener noreferrer nofollow\">\u0446\u0435\u043b\u0443\u044e \u043f\u0430\u043f\u043a\u0443<\/a>\u00a0\u0434\u043b\u044f \u0432\u0441\u0435\u0445, \u043a\u0442\u043e \u043b\u044e\u0431\u0438\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 Python \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u043c \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0441\u0430\u043c\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0434\u043b\u044f \u0441\u0435\u0431\u044f.<\/p>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438!<\/p>\n<h2>\u0421\u043f\u0438\u0441\u043e\u043a \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0434\u0430\u0442\u0430 \u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442.<\/h2>\n<p><strong>?<\/strong>\u00a0<strong>Lazy Predict<\/strong><\/p>\n<p><strong>Lazy Predict\u00a0<\/strong>\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u044b\u043c\u0438 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.\u00a0<\/p>\n<p><code>pip install lazypredict<\/code><\/p>\n<pre><code>data = load_breast_cancer() X = data.data y= data.target  X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=.5,random_state =123)  clf = LazyClassifier(verbose=0,ignore_warnings=True, custom_metric=None) models,predictions = clf.fit(X_train, X_test, y_train, y_test)  print(models)   | Model                          |   Accuracy |   Balanced Accuracy |   ROC AUC |   F1 Score |   Time Taken | |:-------------------------------|-----------:|--------------------:|----------:|-----------:|-------------:| | LinearSVC                      |   0.989474 |            0.987544 |  0.987544 |   0.989462 |    0.0150008 | | SGDClassifier                  |   0.989474 |            0.987544 |  0.987544 |   0.989462 |    0.0109992 | | MLPClassifier                  |   0.985965 |            0.986904 |  0.986904 |   0.985994 |    0.426     | | Perceptron                     |   0.985965 |            0.984797 |  0.984797 |   0.985965 |    0.0120046 | | LogisticRegression             |   0.985965 |            0.98269  |  0.98269  |   0.985934 |    0.0200036 | | LogisticRegressionCV           |   0.985965 |            0.98269  |  0.98269  |   0.985934 |    0.262997  | | SVC                            |   0.982456 |            0.979942 |  0.979942 |   0.982437 |    0.0140011 | | CalibratedClassifierCV         |   0.982456 |            0.975728 |  0.975728 |   0.982357 |    0.0350015 | | PassiveAggressiveClassifier    |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0130005 | | LabelPropagation               |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0429988 | | LabelSpreading                 |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0310006 | | RandomForestClassifier         |   0.97193  |            0.969594 |  0.969594 |   0.97193  |    0.033     | | GradientBoostingClassifier     |   0.97193  |            0.967486 |  0.967486 |   0.971869 |    0.166998  | | QuadraticDiscriminantAnalysis  |   0.964912 |            0.966206 |  0.966206 |   0.965052 |    0.0119994 | | HistGradientBoostingClassifier |   0.968421 |            0.964739 |  0.964739 |   0.968387 |    0.682003  | | RidgeClassifierCV              |   0.97193  |            0.963272 |  0.963272 |   0.971736 |    0.0130029 | | RidgeClassifier                |   0.968421 |            0.960525 |  0.960525 |   0.968242 |    0.0119977 | | AdaBoostClassifier             |   0.961404 |            0.959245 |  0.959245 |   0.961444 |    0.204998  | | ExtraTreesClassifier           |   0.961404 |            0.957138 |  0.957138 |   0.961362 |    0.0270066 | | KNeighborsClassifier           |   0.961404 |            0.95503  |  0.95503  |   0.961276 |    0.0560005 | | BaggingClassifier              |   0.947368 |            0.954577 |  0.954577 |   0.947882 |    0.0559971 | | BernoulliNB                    |   0.950877 |            0.951003 |  0.951003 |   0.951072 |    0.0169988 | | LinearDiscriminantAnalysis     |   0.961404 |            0.950816 |  0.950816 |   0.961089 |    0.0199995 | | GaussianNB                     |   0.954386 |            0.949536 |  0.949536 |   0.954337 |    0.0139935 | | NuSVC                          |   0.954386 |            0.943215 |  0.943215 |   0.954014 |    0.019989  | | DecisionTreeClassifier         |   0.936842 |            0.933693 |  0.933693 |   0.936971 |    0.0170023 | | NearestCentroid                |   0.947368 |            0.933506 |  0.933506 |   0.946801 |    0.0160074 | | ExtraTreeClassifier            |   0.922807 |            0.912168 |  0.912168 |   0.922462 |    0.0109999 | | CheckingClassifier             |   0.361404 |            0.5      |  0.5      |   0.191879 |    0.0170043 | | DummyClassifier                |   0.512281 |            0.489598 |  0.489598 |   0.518924 |    0.0119965 |<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/shankarpandala\/lazypredict\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0? fastparquet<\/strong><br \/><strong><br \/><\/strong><a href=\"https:\/\/github.com\/MrPowers\/fastparquet\" rel=\"noopener noreferrer nofollow\">fastparquet<\/a>\u00a0\u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0449\u0430\u044f \u0432\u0432\u043e\u0434-\u0432\u044b\u0432\u043e\u0434\u00a0<strong>Pandas<\/strong>\u00a0\u0432 5 \u0440\u0430\u0437.\u00a0<strong>fastparquet<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Parquet \u043d\u0430 Python, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u0431\u0435\u0441\u043f\u0435\u0440\u0435\u0431\u043e\u0439\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0444\u0440\u0435\u0439\u043c\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Pandas. \u041e\u043d\u0430 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u0441\u043f\u0435\u043a\u0442\u0440\u0430 \u0442\u0438\u043f\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <strong>conda<\/strong>:<\/p>\n<p><code>conda install -c conda-forge fastparquet<\/code><\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/MrPowers\/fastparquet\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong>\u00a0DataDreamer<\/strong><\/p>\n<p><strong>DataDreamer<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Python \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043b\u0435\u0433\u043a\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bf1\/b06\/a20\/bf1b06a200943269ac1b00c0990daf5b.png\" width=\"1280\" height=\"1261\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf1\/b06\/a20\/bf1b06a200943269ac1b00c0990daf5b.png\"\/><\/figure>\n<p><em>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430:<\/em><\/p>\n<pre><code>pip install SciencePlots<\/code><\/pre>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/datadreamer-dev\/DataDreamer\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/datadreamer.dev\/docs\/latest\/#installation\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a><\/p>\n<p><strong>?<\/strong>\u00a0 <strong>RAPIDS<\/strong><\/p>\n<p><strong>NVIDIA  \u0441\u0434\u0435\u043b\u0430\u043b\u0430 Pandas \u0432 150 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043a\u043e\u0434\u0430.<\/strong> RAPIDS \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u043b\u0438 \u0432\u044b \u043d\u0430 GPU \u0438\u043b\u0438 CPU, \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043a\u043e\u0434. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u0438\u043c\u043f\u043e\u0440\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u044d\u0442\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code>%load_ext cudf.pandas  import pandas as pd<\/code><\/pre>\n<p><strong>\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e <\/strong><a href=\"https:\/\/colab.research.google.com\/drive\/12tCzP94zFG2BRduACucn5Q_OcX1TUKY3\" rel=\"noopener noreferrer nofollow\"><strong>\u0437\u0434\u0435\u0441\u044c<\/strong><\/a>: <\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/rapidsai\/cud\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0? SciencePlots<\/strong><br \/><strong><br \/><\/strong><a href=\"https:\/\/github.com\/garrettj403\/SciencePlots\" rel=\"noopener noreferrer nofollow\">SciencePlots<\/a>\u00a0\u2013\u00a0 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 matplotlib \u0434\u043b\u044f \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0439, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0442.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/712\/f91\/f16\/712f91f16b5c73a38f733059984ef922.png\" width=\"969\" height=\"746\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/712\/f91\/f16\/712f91f16b5c73a38f733059984ef922.png\"\/><\/figure>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c SciencePlots &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip:<\/p>\n<pre><code>pip install SciencePlots<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/garrettj403\/SciencePlots\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>? Tensorflow-GNN <\/strong><\/p>\n<p><strong>\u041d\u043e\u0432\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Tensorflow-GNN \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438<\/strong><\/p>\n<p>\u042d\u0442\u0430 \u043a\u0440\u0443\u0442\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0433\u0435\u0442\u0435\u0440\u043e\u0433\u0435\u043d\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u0437\u043b\u044b \u0438 \u0440\u0451\u0431\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432. <\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/tensorflow\/gnn\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>? PyGWalker<\/strong><\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/Kanaries\/pygwalker\" rel=\"noopener noreferrer nofollow\">PyGWalker<\/a>\u00a0\u2013 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Jupyter Notebook, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f \u0444\u0440\u0435\u0439\u043c \u0434\u0430\u043d\u043d\u044b\u0445 pandas \u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432 \u0441\u0442\u0438\u043b\u0435 Tableau \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e16\/eae\/10f\/e16eae10fedee548a09573bc5dfa1194.png\" width=\"2218\" height=\"1602\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e16\/eae\/10f\/e16eae10fedee548a09573bc5dfa1194.png\"\/><\/figure>\n<p><strong>\u00a0?  Feather<\/strong><\/p>\n<p><a href=\"https:\/\/github.com\/wesm\/feather\" rel=\"noopener noreferrer nofollow\">Feather<\/a>\u00a0\u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432. \u0414\u0430\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439. \u0422\u0430\u043a\u0436\u0435 \u043e\u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<h4>Python<\/h4>\n<p><code>pip install feather-format<\/code><\/p>\n<h4>R<\/h4>\n<p><code>install.packages(\"feather\")<\/code><\/p>\n<p>\u00a0<strong>? YOLOv9 <\/strong><\/p>\n<p>\u041d\u0430 \u0434\u043d\u044f\u0445  \u0432\u044b\u0448\u0435\u043b YOLOv9<strong>. <\/strong>\u041d\u043e\u0432\u044b\u0439 SOTA \u0434\u043b\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/WongKinYiu\/yolov9\/tree\/main\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>? Dask<\/strong><em><br \/><\/em><br \/><a href=\"https:\/\/dask.pydata.org\/en\/latest\/\" rel=\"noopener noreferrer nofollow\">Dask<\/a>\u00a0\u2013 \u044d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f\u00a0 \u0437\u0434\u0435\u0441\u044c \u043a\u0430\u043a \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b\/\u0441\u043f\u0438\u0441\u043a\u0438 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 Numpy\/Pandas.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/487\/dcb\/756\/487dcb756aa98c9aac237acdb15e8a36.png\" width=\"1348\" height=\"620\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/487\/dcb\/756\/487dcb756aa98c9aac237acdb15e8a36.png\"\/><\/figure>\n<pre><code>from dask.distributed import LocalCluster client = LocalCluster().get_client()  # Submit work to happen in parallel results = [] for filename in filenames:     data = client.submit(load, filename)     result = client.submit(process, data)     results.append(result)  # Gather results back to local computer results = client.gather(results)<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/dask.pydata.org\/en\/latest\/\" rel=\"noopener noreferrer nofollow\">Dask<\/a><\/p>\n<p>\u00a0<strong>? Ibis<\/p>\n<p><\/strong><a href=\"https:\/\/ibis-project.org\/\" rel=\"noopener noreferrer nofollow\">Ibis<\/a>\u00a0\u2013 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 Python \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Hadoop)<\/p>\n<p>\u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e (DuckDB).<\/p>\n<p><code>pip install 'ibis-framework[duckdb,examples]'<\/code><\/p>\n<pre><code>import ibis import ibis.selectors as s  2ibis.options.interactive = True  3t = ibis.examples.penguins.fetch() 4t.head(3)<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5af\/c27\/d9f\/5afc27d9fe484c674e0d794659595bc4.png\" width=\"1620\" height=\"326\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5af\/c27\/d9f\/5afc27d9fe484c674e0d794659595bc4.png\"\/><\/figure>\n<p>\u25aa<a href=\"https:\/\/ibis-project.org\/\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>?<\/strong> <strong>Jless<\/strong><\/p>\n<p><a href=\"https:\/\/github.com\/PaulJuliusMartinez\/jless\" rel=\"noopener noreferrer nofollow\">Jless<\/a>\u00a0\u2014 \u00a0\u00a0\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430<strong>\u00a0JSON-\u0444\u0430\u0439\u043b\u043e\u0432<\/strong>\u00a0\u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.\u041e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0 \u0432 \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u2014 \u0441 \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u043a\u043e\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0442\u044c \u043c\u0430\u0441\u0441\u0438\u0432\u044b.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/af7\/ed3\/d2c\/af7ed3d2cca58044bcf18a1f8c986170.png\" width=\"2958\" height=\"879\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af7\/ed3\/d2c\/af7ed3d2cca58044bcf18a1f8c986170.png\"\/><\/figure>\n<p>\u25aa<a href=\"https:\/\/github.com\/PaulJuliusMartinez\/jless\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Code to Flow<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/112\/7c8\/4c6\/1127c84c62f7840d2e591348369b591c.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"1024\" height=\"478\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/112\/7c8\/4c6\/1127c84c62f7840d2e591348369b591c.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p><strong>Code to Flow \u2013 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0430\u044f \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430, \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430.\u00a0<\/strong><\/p>\n<p><strong>\u042d\u0442\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d<\/strong>\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u043d\u0430 \u0448\u0430\u0433\u0438 \u0438 \u0435\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0418\u0418, Code to Flow \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438.\u00a0<\/p>\n<p>\u041e\u043d \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435, \u043f\u043e\u043c\u043e\u0433\u0430\u044f\u00a0 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438 \u043b\u043e\u0433\u0438\u043a\u0443 \u043a\u043e\u0434\u0430.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/codetoflow.com\/\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c<\/a><\/p>\n<p><strong>?\u00a0MakeReal \u0432 jupyter-tldraw \u2728<\/strong><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u044b\u0448\u043a\u043e\u0439 \u0438\u00a0<strong>MakeReal<\/strong>\u00a0\u0431\u0443\u0434\u0435\u0442\u00a0<strong>\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0438\u0445 \u0432 \u043a\u043e\u0434 c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c matplotlib \u043f\u0440\u044f\u043c\u043e \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435!<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb1d1b5b66d8d8ca7f4\" data-style=\"\" id=\"65d99eb1d1b5b66d8d8ca7f4\" width=\"\"><\/div>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/kolibril13\/jupyter-tldraw\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>\u00a0?\u00a0Twin Matcher<\/strong><\/p>\n<p><strong>\u0418\u0434\u0435\u044f \u0434\u043b\u044f ML \u043f\u0440\u043e\u0435\u043a\u0442\u0430 ?<\/strong><\/p>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043c\u043b-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u00a0 \u043f\u043e \u043f\u043e\u0438\u0441\u043a\u0443 \u0432\u0430\u0448\u0435\u0433\u043e \u0431\u043b\u0438\u0437\u043d\u0435\u0446\u0430 \u0441\u0440\u0435\u0434\u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u0435\u0439 ?? \u2193<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0435 ML-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0439\u0434\u0435\u0442 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043d\u0430 \u0432\u0430\u0441 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u044c.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/SaladSlayer00\/ID2223_Twin_Matcher\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Lightwood<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/166\/4e3\/291\/1664e3291cc0d36d243f15335958e239.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"750\" height=\"1024\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/166\/4e3\/291\/1664e3291cc0d36d243f15335958e239.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p>\u041f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0434\u0430\u0442\u0430 \u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u044b<strong>\u00a0\u0442\u0440\u0430\u0442\u0438\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/strong>\u00a0\u043d\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043a\u043e\u0434\u0430<strong>\u00a0\u0434\u043b\u044f \u043e\u0447\u0438\u0441\u0442\u043a\u0438, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u231b\ufe0f.<\/strong><\/p>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c lightwood \u2013 AutoML \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435, \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u044f \u0432\u0430\u0441 \u0446\u0435\u043b\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p><code>pip3 install lightwood<\/code><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/mindsdb\/lightwood\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong>Pandaral\u00b7lel<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb1ee68229db6ef09e4\" data-style=\"\" id=\"65d99eb1ee68229db6ef09e4\" width=\"\"><\/div>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 #Pandas \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043a\u043e\u0434\u0430, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 pandarallel.<\/p>\n<pre><code> pip install pandarallel from pandarallel import pandarallel pandarallel.initialize(progress_bar=True) df.apply(func) df.parallel_apply(fun<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/nalepae\/pandarallel\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa<a href=\"https:\/\/nalepae.github.io\/pandarallel\" rel=\"noopener noreferrer nofollow\">Docs<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Smaug-72B \u2013 \u043b\u0443\u0447\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0432 \u043c\u0438\u0440\u0435!<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/524\/2c3\/da2\/5242c3da2003909fb6aff8e00c381be5.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"1024\" height=\"589\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/524\/2c3\/da2\/5242c3da2003909fb6aff8e00c381be5.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p><em>\u041e\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0442\u043e\u043f\u0435 HuggingFace LLM LeaderBoard, Smaug \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u0430\u043b\u043b\u043e\u043c 80.<\/em><\/p>\n<p>\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0432 \u043c\u0438\u0440\u0435 LLM \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.<\/p>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0438 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 Mistral, Gemini Pro \u0438 GPT-3.5.\u00a0<\/p>\n<p>\u25aa<a href=\"https:\/\/huggingface.co\/abacusai\/Smaug-72B-v0.1\" rel=\"noopener noreferrer nofollow\">HF<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>PyForest<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb22331bb9d719b58d4\" data-style=\"\" id=\"65d99eb22331bb9d719b58d4\" width=\"\"><\/div>\n<p>\u041f\u0438\u0441\u0430\u0442\u044c \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0438\u043c\u043f\u043e\u0440\u0442\u044b \u0441\u043d\u043e\u0432\u0430 \u0438 \u0441\u043d\u043e\u0432\u0430 \u2013 \u044d\u0442\u043e \u043f\u0443\u0442\u0441\u0430\u044f \u0442\u0440\u0430\u0442\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435\u00a0<strong>pyforest<\/strong>, \u044d\u0442\u043e\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u043f\u043e\u00a0<strong>\u0438\u043c\u043f\u043e\u0440\u0442\u0443 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0437\u0430 \u0432\u0430\u0441.<\/strong><\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e pyforest \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0441\u0432\u043e\u0438 \u043b\u044e\u0431\u0438\u043c\u044b\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python, \u043d\u0435 \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u044f \u0438\u0445 \u043f\u0435\u0440\u0435\u0434 \u044d\u0442\u0438\u043c.\u00a0<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 \u043f\u0430\u043a\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0435\u0449\u0435 \u043d\u0435 \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d, pyforest \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0437\u0430 \u0432\u0430\u0441 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442 \u043a\u043e\u0434 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u044f\u0447\u0435\u0439\u043a\u0443 Jupyter.\u00a0<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/8080labs\/pyforest\/\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong><em>tfcausalimpact<\/em><\/strong><\/p>\n<p><em>\u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u043d\u043e-\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439 \u043d\u0430 Python, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043d\u0430 \u043f\u0430\u043a\u0435\u0442\u0435 R \u043e\u0442 Google. \u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c TensorFlow Probability.<\/em><\/p>\n<p>\u0412\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0435 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u0443\u044e \u043a\u0430\u043c\u043f\u0430\u043d\u0438\u044e \u0438 \u0432\u0438\u0434\u0438\u0442\u0435, \u0447\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041d\u043e \u043a\u0430\u043a \u0443\u0437\u043d\u0430\u0442\u044c,\u00a0<strong>\u0441\u0432\u044f\u0437\u0430\u043d\u043e \u043b\u0438 \u044d\u0442\u043e \u0441 \u0432\u0430\u0448\u0435\u0439 \u043a\u0430\u043c\u043f\u0430\u043d\u0438\u0435\u0439 \u0438\u043b\u0438 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435?<\/strong><\/p>\n<p>\u0412\u043e\u0442 \u0442\u0443\u0442-\u0442\u043e \u0438 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f tfcausalimpact. \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u0438 \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u0430\u0448\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0441 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432.<\/p>\n<pre><code>pip install tfcausalimpact<\/code><\/pre>\n<p>\u25aa <a href=\"https:\/\/github.com\/WillianFuks\/tfcausalimpact\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>\u00a0? Awesome Face Recognition<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/36e\/9cf\/038\/36e9cf03804516698818cdebc47931c2.jpg\" width=\"1280\" height=\"867\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36e\/9cf\/038\/36e9cf03804516698818cdebc47931c2.jpg\" data-blurred=\"true\"\/><\/figure>\n<p>\u041e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 awesome \u0441\u043f\u0438\u0441\u043e\u043a \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432: <em>\u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043b\u0438\u0446; \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435; \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f; \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f; \u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f; \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u043d\u0438\u0435; \u0441\u0432\u0435\u0440\u0445\u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u0440\u0430\u0437\u043c\u044b\u0442\u0438\u0435; \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438 \u0441\u0438\u043d\u0442\u0435\u0437 \u043b\u0438\u0446; \u0437\u0430\u043c\u0435\u043d\u0430 \u043b\u0438\u0446; \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u043f\u043e\u0434\u0434\u0435\u043b\u043a\u0438; \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u043b\u0438\u0446\u0443.<\/em><\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/ChanChiChoi\/awesome-Face_Recognition\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0? PALLAIDIUM<\/strong><\/p>\n<p><strong>PALLAIDIUM \u2013 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442 \u0434\u043b\u044f Blender VSE.<\/strong><\/p>\n<p>AI-\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u0438\u0434\u0435\u043e, \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0438 \u0430\u0443\u0434\u0438\u043e \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432.<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/tin2tin\/Pallaidium\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>SQL-metadata<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/06f\/580\/028\/06f580028cbef9ad60832478e1f74410.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"1024\" height=\"714\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/06f\/580\/028\/06f580028cbef9ad60832478e1f74410.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b #SQL-\u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0434\u043b\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043d\u0438\u043c\u0438 \u043d\u0430 #Python, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 sql_metdata.<\/p>\n<p>\u0418\u0437\u0432\u043b\u0435\u043a\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 \u0442\u0430\u0431\u043b\u0438\u0446, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432, \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u0432 \u043f\u043e\u0434\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0441\u0435\u0432\u0434\u043e\u043d\u0438\u043c\u043e\u0432 \u0442\u0430\u0431\u043b\u0438\u0446.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 SQL-\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<pre><code>pip install sql-metadata<\/code><\/pre>\n<p><a href=\"https:\/\/github.com\/macbre\/sql-metadata\" rel=\"noopener noreferrer nofollow\">\u25aa Github<\/a><\/p>\n<p>\u25aa\u00a0<a href=\"http:\/\/pypi.python.org\/pypi\/sql-metadata\" rel=\"noopener noreferrer nofollow\">Docs<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>RoMa<\/strong><\/p>\n<p><strong>RoMa<\/strong>: \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0430\u044f \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%B2%D0%B0%D1%82%D0%B5%D1%80%D0%BD%D0%B8%D0%BE%D0%BD\" rel=\"noopener noreferrer nofollow\">\u043a\u0432\u0430\u0442\u0435\u0440\u043d\u0438\u043e\u043d\u0430\u043c\u0438<\/a>, \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f, \u00a0 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438 \u0432 PyTorch.<\/p>\n<pre><code>pip install roma<\/code><\/pre>\n<p>\u25aa <a href=\"https:\/\/github.com\/naver\/roma\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa <a href=\"http:\/\/naver.github.io\/roma\/\" rel=\"noopener noreferrer nofollow\">Docs<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>DataTrove <\/strong><\/p>\n<p><strong>DataTrove<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u0438 \u0438 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430\u0445. \u041e\u043d\u0430 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430\u0431\u043e\u0440 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><em>\u0415\u0433\u043e \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0438 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043a\u0430\u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0442\u0430\u043a \u0438 \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435\u00a0<\/em>slurm<em>.<\/em><\/p>\n<p>\u041d\u0438\u0437\u043a\u043e\u0435 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0433\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u043a, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 LLM. \u2728<\/p>\n<pre><code>from datatrove.pipeline.readers import CSVReader from datatrove.pipeline.filters import SamplerFilter from datatrove.pipeline.writers import JsonlWriter pipeline = [ CSVReader( data_folder=\"\/my\/input\/path\" ), SamplerFilter(rate=0.5), JsonlWriter( output_folder=\"\/my\/output\/path\" ) ]<\/code><\/pre>\n<p>\u25aa <a href=\"https:\/\/github.com\/huggingface\/datatrove\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/huggingface\/datatrove\/tree\/main\/examples\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u0438\u043c\u0435\u0440\u044b<\/a><\/p>\n<p><strong>\u00a0?\u00a0DeepSpeed-FastGen<\/strong><\/p>\n<p>DeepSpeed-FastGen \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f LLM \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e MII \u0438 DeepSpeed-Inference.<\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0439 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f \u0432 2,3 \u0440\u0430\u0437\u0430, \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 2 \u0440\u0430\u0437\u0430 \u043d\u0438\u0436\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 SotA, \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a vLLM<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/microsoft\/DeepSpeed\/tree\/master\/blogs\/deepspeed-fastgen\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>?\u00a0Jupyter-ai<\/strong><\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u043f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 Jupyter AI \u0432 Jupyter Notebook \u0438 Jupyter Lab \u0434\u043b\u044f\u00a0<strong>\u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u0441<\/strong>\u00a0\u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430.\u00a0<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb2d1b5b66d8d8ca7f6\" data-style=\"\" id=\"65d99eb2d1b5b66d8d8ca7f6\" width=\"\"><\/div>\n<p>\u25aa<a href=\"https:\/\/github.com\/jupyterlab\/jupyter-ai\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong>NASA Earth Data<\/strong><\/p>\n<p><strong>\u041d\u0410\u0421\u0410 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0435\u0442 \u043d\u0430 #AWS \u0431\u043e\u043b\u0435\u0435 9 000 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e \u043d\u0430\u0448\u0435\u0439 \u043f\u043b\u0430\u043d\u0435\u0442\u0435!\u00a0<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb228dfc09d9ef1b328\" data-style=\"\" id=\"65d99eb228dfc09d9ef1b328\" width=\"\"><\/div>\n<p><strong>? <\/strong>\u0412 \u044d\u0442\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0434\u0430\u043d\u043d\u044b\u0445 \u041d\u0410\u0421\u0410 \u043f\u043e \u043d\u0430\u0443\u043a\u0430\u043c \u043e \u0417\u0435\u043c\u043b\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u0434\u043b\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430. \u0414\u0430\u043d\u043d\u044b\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u041d\u0410\u0421\u0410 \u201c\u0421\u0438\u0441\u0442\u0435\u043c\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u043d\u0430\u0443\u043a\u0430\u043c \u043e \u0417\u0435\u043c\u043b\u0435\u201d (ESDS), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0438 \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0423\u0437\u043d\u0430\u0439\u0442\u0435, \u043a\u0430\u043a \u043b\u0435\u0433\u043a\u043e \u043d\u0430\u0439\u0442\u0438 \u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/leafmap.org\/notebooks\/88_nasa_earth_data\" rel=\"noopener noreferrer nofollow\">\u044d\u0442\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430<\/a> ??<\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/opengeos\/NASA-Earth-Data\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa<a href=\"https:\/\/youtu.be\/0ytxNNvc2Hg\" rel=\"noopener noreferrer nofollow\">Video<\/a><\/p>\n<p><strong>? CleverCSV<\/strong>\u00a0<\/p>\n<p><a href=\"https:\/\/github.com\/alan-turing-institute\/CleverCSV\" rel=\"noopener noreferrer nofollow\">CleverCSV<\/a>\u00a0\u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 CSV-\u0444\u0430\u0439\u043b\u043e\u0432 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Pandas<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b68\/871\/c01\/b68871c01e2783b6c3018ca4968d67ef.png\" width=\"1134\" height=\"454\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b68\/871\/c01\/b68871c01e2783b6c3018ca4968d67ef.png\"\/><\/figure>\n<p>\u25aa<a href=\"https:\/\/github.com\/alan-turing-institute\/CleverCSV\" rel=\"noopener noreferrer nofollow\">Github<\/a><strong>\u00a0<\/strong><\/p>\n<p><strong>?Swarms in Torch\u00a0<\/strong><\/p>\n<p>\u042d\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0440\u043e\u0435\u0432\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438.\u00a0<\/p>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0446\u0435\u043b\u043e\u043c\u0443 \u0440\u044f\u0434\u0443 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f Particle Swarm Optimization (PSO), Ant Colony, Sakana, Mambas Swarm \u0438 \u0434\u0440\u0443\u0433\u0438\u0445, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e PyTorch, \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043b\u0435\u0433\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0449\u044c \u0440\u043e\u0435\u0432\u044b\u0445 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445.<\/p>\n<pre><code>pip3 install swarms-torch<\/code><\/pre>\n<pre><code>from swarms_torch import ParticleSwarmOptimization  pso = ParticleSwarmOptimization(goal=\"Attention is all you need\", n_particles=100)  pso.optimize(iterations=1000)<\/code><\/pre>\n<p>\u25aa <a href=\"https:\/\/github.com\/kyegomez\/swarms-pytorch\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa <a href=\"https:\/\/swarmstorch.readthedocs.io\/en\/latest\/swarms\/\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a><\/p>\n<p><strong>? Mergekit<\/strong><\/p>\n<p>mergekit \u2013 \u044d\u0442\u043e \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.\u00a0<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043d\u0430 CPU \u0438\u043b\u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0442\u044c\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u0441\u0435\u0433\u043e 8 \u0413\u0411 VRAM.\u00a0<\/p>\n<p>\u041f\u0440\u043e\u0435\u043a\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432.<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/cg123\/mergekit\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa <a href=\"https:\/\/colab.research.google.com\/drive\/1obulZ1ROXHjYLn6PPZJwRR6GzgQogxxb#scrollTo=1Wq4SB9A_9ic\" rel=\"noopener noreferrer nofollow\">Colab<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Facets<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/bdd\/b7c\/ce4\/bddb7cce4b56f69273d6e28f0497530f.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"1024\" height=\"483\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bdd\/b7c\/ce4\/bddb7cce4b56f69273d6e28f0497530f.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p>\u041f\u0440\u043e\u0435\u043a\u0442 Facets \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: Facets Overview \u0438 Facets Dive.<\/p>\n<p>\u0412\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u0431-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 Polymer \u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043b\u0435\u0433\u043a\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u044b Jupyter \u0438\u043b\u0438 \u0432\u0435\u0431-\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<p>\u041f\u0440\u043c\u0435\u0440\u044b \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u0430 Facets: <a href=\"http:\/\/pair-code.github.io\/facets\/\" rel=\"noopener noreferrer nofollow\">pair-code.github.io\/facets\/<\/a><\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/PAIR-code\/facets\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>nbgather: ?\u2728 Spit shine for Jupyter notebooks<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb2ee339fd48bca162c\" data-style=\"\" id=\"65d99eb2ee339fd48bca162c\" width=\"\"><\/div>\n<p>nbgather \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043a\u043e\u0434\u0430, \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u0441\u0438\u0439 \u043a\u043e\u0434\u0430 \u0432 Jupyter Lab.<\/p>\n<p>\u0417\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435\u00a0<strong>alpha<\/strong>\u00a0\u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b:<\/p>\n<p><code>jupyter labextension install nbgather<\/code><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/microsoft\/gather\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>?\u00a0<strong>DataStack<\/strong><\/p>\n<p><strong>Datastack<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442\u00a0 \u043b\u0435\u0433\u043a\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u0435\u0431-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438 , \u0444\u043e\u0440\u043c\u044b \u0432\u0432\u043e\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0442\u043e\u043b\u044c\u043a\u043e Python \u2013 \u043e\u043f\u044b\u0442 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u043e\u043c \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0412 DataStack \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0432\u0438\u0434\u0436\u0435\u0442\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c \u0442\u0435\u043a\u0441\u0442\u0430, \u0432\u044b\u0431\u043e\u0440 \u0438\u0437 \u0432\u044b\u043f\u0430\u0434\u0430\u044e\u0449\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430, \u0441\u043f\u0438\u0441\u043a\u0438, \u043a\u043d\u043e\u043f\u043a\u0438, \u0444\u043e\u0440\u043c\u044b \u0432\u0432\u043e\u0434\u0430, HTML \u0444\u043e\u0440\u043c\u044b , iframe, \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c \u0441\u0442\u0440\u0430\u043d\u0438\u0446, dataframe, \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u0434\u0440\u0443\u0433\u043e\u0435.<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb34c5bea9d8a07b495\" data-style=\"\" id=\"65d99eb34c5bea9d8a07b495\" width=\"\"><\/div>\n<pre><code>pip install pydatastack from datastack import datastack ds = datastack(main=True) ds.subheader('DataStack click counter app') count = 0 def inc_count(): global count count += 1 ds.button('Click', on_click=inc_count) ds.write('counts: ' + str(count))<\/code><\/pre>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/data-stack-hub\/DataStack\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>?\u00a0<strong>SuperDuperDB: \u0414\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442 \u0432 \u0441\u0432\u043e\u044e \u0431\u0430\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/bb6\/0f2\/315\/bb60f2315b64b69d151c3d47ab8ec6e0.jpeg\" alt=\"40 \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0414\u0430\u0442\u0430 \u0421\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u0430.\" title=\"\" width=\"1024\" height=\"194\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb6\/0f2\/315\/bb60f2315b64b69d151c3d47ab8ec6e0.jpeg\" data-blurred=\"true\"\/><\/figure>\n<p><em>\u041f\u0440\u043e\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u044e\u0431\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0418\u0418 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438.<\/em><\/p>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0431\u0430\u044b \u0434\u0430\u043d\u043d\u044b\u0445 SQL \u0438 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b: PostgreSQL, MySQL, SQLite, DuckDB, Snowflake, BigQuery, ClickHouse, DataFusion, Druid, Impala, MSSQL, Oracle, pandas, Polars, PySpark \u0438 Trino (\u0430 \u0442\u0430\u043a\u0436\u0435 MongoDB).<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/SuperDuperDB\/superduperdb\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa\u00a0<a href=\"http:\/\/superduperdb.com\/\" rel=\"noopener noreferrer nofollow\">Project<\/a><\/p>\n<p>?\u00a0<strong>Grist \u2013 \u044d\u0442\u043e \u0433\u0438\u0431\u0440\u0438\u0434 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0442\u043e \u0435\u0441\u0442\u044c:<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb32331bb9d719b58d6\" data-style=\"\" id=\"65d99eb32331bb9d719b58d6\" width=\"\"><\/div>\n<p>? \u0421\u0442\u043e\u043b\u0431\u0446\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432 \u0431\u0430\u0437\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0438\u043c \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u0430, \u0438 \u0432 \u043d\u0438\u0445 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430.<\/p>\n<p>?\u0421\u0442\u043e\u043b\u0431\u0446\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438 \u0432 \u0441\u0442\u0438\u043b\u0435 \u044d\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u044b\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 \u0441 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u0441\u044b\u043b\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u044f\u0447\u0435\u0435\u043a.<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/gristlabs\/grist-core\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p>\u0411\u043e\u043d\u0443\u0441:  10 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0434\u0430\u0442\u0430 \u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043d\u044b \u043b\u0443\u0447\u0448\u0438\u043c\u0438\u00a0<strong>Python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u00a0<\/strong><a href=\"https:\/\/tryolabs.com\/blog\/top-python-libraries-2023\" rel=\"noopener noreferrer nofollow\"><strong>2023 \u0433\u043e\u0434\u0430 \u043f\u043e \u0432\u0435\u0440\u0441\u0438\u0438 Tryolabs<\/strong><\/a><strong>.<\/strong><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/BerriAI\/litellm\" rel=\"noopener noreferrer nofollow\">LiteLLM<\/a>\u00a0\u2014 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0431\u0435\u0441\u0448\u043e\u0432\u043d\u0443\u044e \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044e \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u041e\u043d\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u0430\u043a \u0434\u043b\u044f \u0432\u0432\u043e\u0434\u0430, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u0432\u044b\u0432\u043e\u0434\u0430 \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0439 LLM.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/ml-explore\/mlx\" rel=\"noopener noreferrer nofollow\">MLX<\/a>\u00a0\u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0435\u043a\u0442 \u043e\u0442 Apple \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445 Apple Silicon.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/Avaiga\/taipy\" rel=\"noopener noreferrer nofollow\">Taipy<\/a>\u00a0\u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0430\u0442\u0430-\u0441\u0430\u0439\u0435\u043d\u0442\u0438\u0441\u0442\u0430\u043c \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 Web UI \u0434\u043b\u044f ML-\u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/ofek\/pyapp\" rel=\"noopener noreferrer nofollow\">PyApp<\/a>\u00a0\u2014 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 Python-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u042d\u0442\u043e \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0437\u0430 \u0441\u0447\u0451\u0442 \u0432\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043d\u0438\u044f Python \u0432 \u0441\u0430\u043c\u043e\u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u0430\u043a\u0435\u0442, \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/Unstructured-IO\/unstructured\" rel=\"noopener noreferrer nofollow\">Unstructured<\/a>\u00a0\u2014 \u043d\u0430\u0431\u043e\u0440 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/zenml-io\/zenml\" rel=\"noopener noreferrer nofollow\">ZenML<\/a>\u00a0\u0438\u00a0<a href=\"https:\/\/github.com\/GoogleCloudPlatform\/automlops\" rel=\"noopener noreferrer nofollow\">AutoMLOps<\/a>\u00a0\u2014 \u0434\u0432\u0430 \u043c\u043e\u0449\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f MLOps-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432.<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/m-bain\/whisperX\" rel=\"noopener noreferrer nofollow\">WhisperX<\/a>\u00a0\u2014 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0433\u043e\u0432\u043e\u0440\u044f\u0449\u0438\u0445 \u043d\u0430 \u0430\u0443\u0434\u0438\u043e.<\/p>\n<p>\u25aa <a href=\"https:\/\/github.com\/microsoft\/autogen\" rel=\"noopener noreferrer nofollow\">AutoGen<\/a>\u00a0\u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c LLM-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0430\u0433\u0435\u043d\u0442\u0430\u043c\u0438, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u043c\u0438 \u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/google\/temporian\" rel=\"noopener noreferrer nofollow\">Temporian<\/a>\u00a0\u2014 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u043b\u0435\u0433\u043a\u043e\u0439 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u0444\u0438\u0447\u0430-\u0438\u043d\u0436\u0438\u043d\u0438\u0440\u0438\u043d\u0433\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Python.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/guardrails-ai\/guardrails\" rel=\"noopener noreferrer nofollow\">Guardrails<\/a>\u00a0\u2014 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 LLM \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0442\u0438\u043f\u0430.<\/p>\n<p><strong>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/strong> <\/p>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0441\u0435, \u043d\u0430\u0434\u0435\u044e\u0441\u044c, \u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0434\u043b\u044f \u0441\u0435\u0431\u044f. \u0414\u0435\u043b\u0438\u0442\u0435\u0441\u044c \u0441\u0432\u043e\u0438\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c\u0438 \u043d\u0430\u0445\u043e\u0434\u043a\u0430\u043c\u0438 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0430\u043c\u0438 \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445. <\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435!<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/795785\/\"> https:\/\/habr.com\/ru\/articles\/795785\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043c\u0438\u0440\u0435 \u043d\u0430\u0443\u043a\u0438 \u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u0435\u0441\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u044e\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0438 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0437\u0430. <\/p>\n<p>\u041d\u043e \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0432\u0430\u043c \u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438? \u0412 \u0441\u043f\u0438\u0441\u043a\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0442\u0430\u043a\u0438\u0445, \u043a\u0430\u043a Pandas, Polars, Scipy \u0438 \u0442\u0434<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0435  \u043f\u043e\u043c\u043e\u0447\u044c \u0432\u0430\u043c \u0432 \u0432\u0430\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. <\/p>\n<p>\u041c\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c \u0441\u0432\u0435\u0436\u0438\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u0442\u0435\u0441\u0442\u0438\u043c \u0438\u0445 \u0432 \u043d\u0430\u0448\u0435\u043c\u00a0<a href=\"https:\/\/t.me\/+rodGibdrtUszMDYy\" rel=\"noopener noreferrer nofollow\">\u043a\u0430\u043d\u0430\u043b\u0435<\/a>\u00a0<a href=\"https:\/\/t.me\/+rodGibdrtUszMDYy\" rel=\"noopener noreferrer nofollow\">\u0434\u043b\u044f \u0434\u0430\u0442\u0430\u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u043e\u0432<\/a>, \u0430 \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438\u00a0<a href=\"https:\/\/t.me\/addlist\/G7ntgISJ23s5ZGQy\" rel=\"noopener noreferrer nofollow\">\u0446\u0435\u043b\u0443\u044e \u043f\u0430\u043f\u043a\u0443<\/a>\u00a0\u0434\u043b\u044f \u0432\u0441\u0435\u0445, \u043a\u0442\u043e \u043b\u044e\u0431\u0438\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0443 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430 Python \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u043c \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0441\u0430\u043c\u044b\u0445 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0434\u043b\u044f \u0441\u0435\u0431\u044f.<\/p>\n<p>\u041f\u043e\u0435\u0445\u0430\u043b\u0438!<\/p>\n<h2>\u0421\u043f\u0438\u0441\u043e\u043a \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0434\u0430\u0442\u0430 \u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442.<\/h2>\n<p><strong>?<\/strong>\u00a0<strong>Lazy Predict<\/strong><\/p>\n<p><strong>Lazy Predict\u00a0<\/strong>\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u0438\u043b\u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b.<\/p>\n<p>\u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u044b\u043c\u0438 \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.\u00a0<\/p>\n<p><code>pip install lazypredict<\/code><\/p>\n<pre><code>data = load_breast_cancer() X = data.data y= data.target  X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=.5,random_state =123)  clf = LazyClassifier(verbose=0,ignore_warnings=True, custom_metric=None) models,predictions = clf.fit(X_train, X_test, y_train, y_test)  print(models)   | Model                          |   Accuracy |   Balanced Accuracy |   ROC AUC |   F1 Score |   Time Taken | |:-------------------------------|-----------:|--------------------:|----------:|-----------:|-------------:| | LinearSVC                      |   0.989474 |            0.987544 |  0.987544 |   0.989462 |    0.0150008 | | SGDClassifier                  |   0.989474 |            0.987544 |  0.987544 |   0.989462 |    0.0109992 | | MLPClassifier                  |   0.985965 |            0.986904 |  0.986904 |   0.985994 |    0.426     | | Perceptron                     |   0.985965 |            0.984797 |  0.984797 |   0.985965 |    0.0120046 | | LogisticRegression             |   0.985965 |            0.98269  |  0.98269  |   0.985934 |    0.0200036 | | LogisticRegressionCV           |   0.985965 |            0.98269  |  0.98269  |   0.985934 |    0.262997  | | SVC                            |   0.982456 |            0.979942 |  0.979942 |   0.982437 |    0.0140011 | | CalibratedClassifierCV         |   0.982456 |            0.975728 |  0.975728 |   0.982357 |    0.0350015 | | PassiveAggressiveClassifier    |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0130005 | | LabelPropagation               |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0429988 | | LabelSpreading                 |   0.975439 |            0.974448 |  0.974448 |   0.975464 |    0.0310006 | | RandomForestClassifier         |   0.97193  |            0.969594 |  0.969594 |   0.97193  |    0.033     | | GradientBoostingClassifier     |   0.97193  |            0.967486 |  0.967486 |   0.971869 |    0.166998  | | QuadraticDiscriminantAnalysis  |   0.964912 |            0.966206 |  0.966206 |   0.965052 |    0.0119994 | | HistGradientBoostingClassifier |   0.968421 |            0.964739 |  0.964739 |   0.968387 |    0.682003  | | RidgeClassifierCV              |   0.97193  |            0.963272 |  0.963272 |   0.971736 |    0.0130029 | | RidgeClassifier                |   0.968421 |            0.960525 |  0.960525 |   0.968242 |    0.0119977 | | AdaBoostClassifier             |   0.961404 |            0.959245 |  0.959245 |   0.961444 |    0.204998  | | ExtraTreesClassifier           |   0.961404 |            0.957138 |  0.957138 |   0.961362 |    0.0270066 | | KNeighborsClassifier           |   0.961404 |            0.95503  |  0.95503  |   0.961276 |    0.0560005 | | BaggingClassifier              |   0.947368 |            0.954577 |  0.954577 |   0.947882 |    0.0559971 | | BernoulliNB                    |   0.950877 |            0.951003 |  0.951003 |   0.951072 |    0.0169988 | | LinearDiscriminantAnalysis     |   0.961404 |            0.950816 |  0.950816 |   0.961089 |    0.0199995 | | GaussianNB                     |   0.954386 |            0.949536 |  0.949536 |   0.954337 |    0.0139935 | | NuSVC                          |   0.954386 |            0.943215 |  0.943215 |   0.954014 |    0.019989  | | DecisionTreeClassifier         |   0.936842 |            0.933693 |  0.933693 |   0.936971 |    0.0170023 | | NearestCentroid                |   0.947368 |            0.933506 |  0.933506 |   0.946801 |    0.0160074 | | ExtraTreeClassifier            |   0.922807 |            0.912168 |  0.912168 |   0.922462 |    0.0109999 | | CheckingClassifier             |   0.361404 |            0.5      |  0.5      |   0.191879 |    0.0170043 | | DummyClassifier                |   0.512281 |            0.489598 |  0.489598 |   0.518924 |    0.0119965 |<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/shankarpandala\/lazypredict\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0? fastparquet<\/strong><br \/><strong><br \/><\/strong><a href=\"https:\/\/github.com\/MrPowers\/fastparquet\" rel=\"noopener noreferrer nofollow\">fastparquet<\/a>\u00a0\u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0449\u0430\u044f \u0432\u0432\u043e\u0434-\u0432\u044b\u0432\u043e\u0434\u00a0<strong>Pandas<\/strong>\u00a0\u0432 5 \u0440\u0430\u0437.\u00a0<strong>fastparquet<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430 Parquet \u043d\u0430 Python, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u0431\u0435\u0441\u043f\u0435\u0440\u0435\u0431\u043e\u0439\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0444\u0440\u0435\u0439\u043c\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 Pandas. \u041e\u043d\u0430 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u0441\u043f\u0435\u043a\u0442\u0440\u0430 \u0442\u0438\u043f\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <strong>conda<\/strong>:<\/p>\n<p><code>conda install -c conda-forge fastparquet<\/code><\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/MrPowers\/fastparquet\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong>\u00a0DataDreamer<\/strong><\/p>\n<p><strong>DataDreamer<\/strong>\u00a0\u2013 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Python \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0434\u043b\u044f \u043b\u0435\u0433\u043a\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<figure class=\"full-width\"><\/figure>\n<p><em>\u0423\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430:<\/em><\/p>\n<pre><code>pip install SciencePlots<\/code><\/pre>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/datadreamer-dev\/DataDreamer\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/datadreamer.dev\/docs\/latest\/#installation\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f<\/a><\/p>\n<p><strong>?<\/strong>\u00a0 <strong>RAPIDS<\/strong><\/p>\n<p><strong>NVIDIA  \u0441\u0434\u0435\u043b\u0430\u043b\u0430 Pandas \u0432 150 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043a\u043e\u0434\u0430.<\/strong> RAPIDS \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u0435 \u043b\u0438 \u0432\u044b \u043d\u0430 GPU \u0438\u043b\u0438 CPU, \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u043a\u043e\u0434. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0432 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0434 \u0438\u043c\u043f\u043e\u0440\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u044d\u0442\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u0443:<\/p>\n<pre><code>%load_ext cudf.pandas  import pandas as pd<\/code><\/pre>\n<p><strong>\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e <\/strong><a href=\"https:\/\/colab.research.google.com\/drive\/12tCzP94zFG2BRduACucn5Q_OcX1TUKY3\" rel=\"noopener noreferrer nofollow\"><strong>\u0437\u0434\u0435\u0441\u044c<\/strong><\/a>: <\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/rapidsai\/cud\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0? SciencePlots<\/strong><br \/><strong><br \/><\/strong><a href=\"https:\/\/github.com\/garrettj403\/SciencePlots\" rel=\"noopener noreferrer nofollow\">SciencePlots<\/a>\u00a0\u2013\u00a0 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 matplotlib \u0434\u043b\u044f \u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0446\u0438\u0439, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0445 \u0440\u0430\u0431\u043e\u0442.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c SciencePlots &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c pip:<\/p>\n<pre><code>pip install SciencePlots<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/garrettj403\/SciencePlots\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>? Tensorflow-GNN <\/strong><\/p>\n<p><strong>\u041d\u043e\u0432\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Tensorflow-GNN \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0433\u0440\u0430\u0444\u043e\u0432\u044b\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438<\/strong><\/p>\n<p>\u042d\u0442\u0430 \u043a\u0440\u0443\u0442\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0433\u0435\u0442\u0435\u0440\u043e\u0433\u0435\u043d\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u0437\u043b\u044b \u0438 \u0440\u0451\u0431\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0442\u0438\u043f\u043e\u0432. <\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/tensorflow\/gnn\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>? PyGWalker<\/strong><\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/Kanaries\/pygwalker\" rel=\"noopener noreferrer nofollow\">PyGWalker<\/a>\u00a0\u2013 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 Jupyter Notebook, \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f \u0444\u0440\u0435\u0439\u043c \u0434\u0430\u043d\u043d\u044b\u0445 pandas \u0432 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441 \u0432 \u0441\u0442\u0438\u043b\u0435 Tableau \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p><strong>\u00a0?  Feather<\/strong><\/p>\n<p><a href=\"https:\/\/github.com\/wesm\/feather\" rel=\"noopener noreferrer nofollow\">Feather<\/a>\u00a0\u2013 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0430 \u0434\u043b\u044f \u0447\u0442\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043f\u0438\u0441\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432. \u0414\u0430\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439. \u0422\u0430\u043a\u0436\u0435 \u043e\u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<h4>Python<\/h4>\n<p><code>pip install feather-format<\/code><\/p>\n<h4>R<\/h4>\n<p><code>install.packages(\"feather\")<\/code><\/p>\n<p>\u00a0<strong>? YOLOv9 <\/strong><\/p>\n<p>\u041d\u0430 \u0434\u043d\u044f\u0445  \u0432\u044b\u0448\u0435\u043b YOLOv9<strong>. <\/strong>\u041d\u043e\u0432\u044b\u0439 SOTA \u0434\u043b\u044f \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438.<\/p>\n<p>\u25aa<a href=\"https:\/\/github.com\/WongKinYiu\/yolov9\/tree\/main\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>? Dask<\/strong><em><br \/><\/em><br \/><a href=\"https:\/\/dask.pydata.org\/en\/latest\/\" rel=\"noopener noreferrer nofollow\">Dask<\/a>\u00a0\u2013 \u044d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f\u00a0 \u0437\u0434\u0435\u0441\u044c \u043a\u0430\u043a \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0441\u0441\u0438\u0432\u044b\/\u0441\u043f\u0438\u0441\u043a\u0438 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c\u0438 \u0447\u0435\u0440\u0435\u0437 Numpy\/Pandas.<\/p>\n<figure class=\"full-width\"><\/figure>\n<pre><code>from dask.distributed import LocalCluster client = LocalCluster().get_client()  # Submit work to happen in parallel results = [] for filename in filenames:     data = client.submit(load, filename)     result = client.submit(process, data)     results.append(result)  # Gather results back to local computer results = client.gather(results)<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/dask.pydata.org\/en\/latest\/\" rel=\"noopener noreferrer nofollow\">Dask<\/a><\/p>\n<p>\u00a0<strong>? Ibis<\/p>\n<p><\/strong><a href=\"https:\/\/ibis-project.org\/\" rel=\"noopener noreferrer nofollow\">Ibis<\/a>\u00a0\u2013 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043c\u0435\u0436\u0434\u0443 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0432 Python \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Hadoop)<\/p>\n<p>\u041c\u044b \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c \u043d\u0430\u0447\u0430\u0442\u044c \u0441 \u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e (DuckDB).<\/p>\n<p><code>pip install 'ibis-framework[duckdb,examples]'<\/code><\/p>\n<pre><code>import ibis import ibis.selectors as s  2ibis.options.interactive = True  3t = ibis.examples.penguins.fetch() 4t.head(3)<\/code><\/pre>\n<figure class=\"full-width\"><\/figure>\n<p>\u25aa<a href=\"https:\/\/ibis-project.org\/\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u00a0<strong>?<\/strong> <strong>Jless<\/strong><\/p>\n<p><a href=\"https:\/\/github.com\/PaulJuliusMartinez\/jless\" rel=\"noopener noreferrer nofollow\">Jless<\/a>\u00a0\u2014 \u00a0\u00a0\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0430<strong>\u00a0JSON-\u0444\u0430\u0439\u043b\u043e\u0432<\/strong>\u00a0\u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0435.\u041e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0 \u0432 \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u2014 \u0441 \u043f\u043e\u0434\u0441\u0432\u0435\u0442\u043a\u043e\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0442\u044c \u043c\u0430\u0441\u0441\u0438\u0432\u044b.\u00a0<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u25aa<a href=\"https:\/\/github.com\/PaulJuliusMartinez\/jless\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Code to Flow<\/strong><\/p>\n<figure class=\"full-width\"><\/figure>\n<p><strong>Code to Flow \u2013 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0430\u044f \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430, \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u0434\u0430.\u00a0<\/strong><\/p>\n<p><strong>\u042d\u0442\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d<\/strong>\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043a\u043e\u0434\u0430 \u043d\u0430 \u0448\u0430\u0433\u0438 \u0438 \u0435\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0418\u0418, Code to Flow \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u044f\u0437\u044b\u043a\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u043c\u0438.\u00a0<\/p>\n<p>\u041e\u043d \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435, \u043f\u043e\u043c\u043e\u0433\u0430\u044f\u00a0 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438 \u043b\u043e\u0433\u0438\u043a\u0443 \u043a\u043e\u0434\u0430.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/codetoflow.com\/\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c<\/a><\/p>\n<p><strong>?\u00a0MakeReal \u0432 jupyter-tldraw \u2728<\/strong><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u044b\u0448\u043a\u043e\u0439 \u0438\u00a0<strong>MakeReal<\/strong>\u00a0\u0431\u0443\u0434\u0435\u0442\u00a0<strong>\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0438\u0445 \u0432 \u043a\u043e\u0434 c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c matplotlib \u043f\u0440\u044f\u043c\u043e \u0432 \u0431\u043b\u043e\u043a\u043d\u043e\u0442\u0435!<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb1d1b5b66d8d8ca7f4\" data-style=\"\" id=\"65d99eb1d1b5b66d8d8ca7f4\" width=\"\"><\/div>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/kolibril13\/jupyter-tldraw\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>\u00a0?\u00a0Twin Matcher<\/strong><\/p>\n<p><strong>\u0418\u0434\u0435\u044f \u0434\u043b\u044f ML \u043f\u0440\u043e\u0435\u043a\u0442\u0430 ?<\/strong><\/p>\n<p>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043c\u043b-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u00a0 \u043f\u043e \u043f\u043e\u0438\u0441\u043a\u0443 \u0432\u0430\u0448\u0435\u0433\u043e \u0431\u043b\u0438\u0437\u043d\u0435\u0446\u0430 \u0441\u0440\u0435\u0434\u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u0435\u0439 ?? \u2193<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0435 ML-\u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0439\u0434\u0435\u0442 \u043f\u043e\u0445\u043e\u0436\u0443\u044e \u043d\u0430 \u0432\u0430\u0441 \u0437\u043d\u0430\u043c\u0435\u043d\u0438\u0442\u043e\u0441\u0442\u044c.<\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/SaladSlayer00\/ID2223_Twin_Matcher\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Lightwood<\/strong><\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u043c\u044b \u0434\u0430\u0442\u0430 \u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442\u044b<strong>\u00a0\u0442\u0440\u0430\u0442\u0438\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/strong>\u00a0\u043d\u0430 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u043a\u043e\u0434\u0430<strong>\u00a0\u0434\u043b\u044f \u043e\u0447\u0438\u0441\u0442\u043a\u0438, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u231b\ufe0f.<\/strong><\/p>\n<p>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c lightwood \u2013 AutoML \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u0432\u0445\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435, \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0434\u043b\u044f \u0432\u0430\u0441 \u0446\u0435\u043b\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p><code>pip3 install lightwood<\/code><\/p>\n<p>\u25aa\u00a0<a href=\"https:\/\/github.com\/mindsdb\/lightwood\" rel=\"noopener noreferrer nofollow\">GitHub<\/a><\/p>\n<p><strong>?<\/strong>\u00a0<strong>Pandaral\u00b7lel<\/strong><\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/65d99eb1ee68229db6ef09e4\" data-style=\"\" id=\"65d99eb1ee68229db6ef09e4\" width=\"\"><\/div>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 #Pandas \u043d\u0430 \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430\u0445, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043a\u043e\u0434\u0430, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 pandarallel.<\/p>\n<pre><code> pip install pandarallel from pandarallel import pandarallel pandarallel.initialize(progress_bar=True) df.apply(func) df.parallel_apply(fun<\/code><\/pre>\n<p>\u25aa<a href=\"https:\/\/github.com\/nalepae\/pandarallel\" rel=\"noopener noreferrer nofollow\">Github<\/a><\/p>\n<p>\u25aa<a href=\"https:\/\/nalepae.github.io\/pandarallel\" rel=\"noopener noreferrer nofollow\">Docs<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>Smaug-72B \u2013 \u043b\u0443\u0447\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c \u0432 \u043c\u0438\u0440\u0435!<\/strong><\/p>\n<figure class=\"full-width\"><\/figure>\n<p><em>\u041e\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0442\u043e\u043f\u0435 HuggingFace LLM LeaderBoard, Smaug \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u0430\u043b\u043b\u043e\u043c 80.<\/em><\/p>\n<p>\u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0432 \u043c\u0438\u0440\u0435 LLM \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.<\/p>\n<p>\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0438 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 Mistral, Gemini Pro \u0438 GPT-3.5.\u00a0<\/p>\n<p>\u25aa<a href=\"https:\/\/huggingface.co\/abacusai\/Smaug-72B-v0.1\" rel=\"noopener noreferrer nofollow\">HF<\/a><\/p>\n<p><strong>\u00a0?<\/strong>\u00a0<strong>PyFo<\/strong><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-369044","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/369044","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=369044"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/369044\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=369044"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=369044"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=369044"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}