{"id":337190,"date":"2022-08-17T21:00:14","date_gmt":"2022-08-17T21:00:14","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=337190"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=337190","title":{"rendered":"\u0427\u0435\u0442\u044b\u0440\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Big Data<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u042f \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0441\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u041e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0443\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0438 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043d\u0430\u0448\u0435\u043b \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430, \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0441\u0430\u043c. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u0445\u043e\u0447\u0443 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0447\u0435\u0442\u044b\u0440\u044c\u043c\u044f \u0438\u0437 \u043d\u0438\u0445, \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043c\u0443-\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e.<\/p>\n

\u0411\u044b\u0441\u0442\u0440\u043e\u0435 \u0447\u0442\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0444\u0430\u0439\u043b\u043e\u0432<\/h2>\n

\u041e\u0434\u0438\u043d \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u043b\u0438\u0431\u043e Data Scientist \u2014 \u044d\u0442\u043e Pandas, \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 Python \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421 \u0435\u0451 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u044b \u0438\u043c\u043f\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0438 \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435, \u0434\u0435\u043b\u0430\u0435\u043c \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0444\u0430\u0439\u043b \u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430\u043c\u0438 Pandas \u0432 Python \u043c\u044b \u043f\u0438\u0448\u0435\u043c:<\/p>\n

import pandas as pd data = pd.read_csv('data_file.csv')<\/code><\/pre>\n
\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439. \u041a\u0430\u0436\u0434\u044b\u0439 Data Scientist \u0438\u043b\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u0437\u043d\u0430\u0435\u0442 \u044d\u0442\u043e. \u041d\u043e \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e? \u0421\u043a\u0430\u0436\u0435\u043c 100 000 000 \u0441\u0442\u0440\u043e\u043a, \u043e\u043d\u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u0441\u0440\u043e\u043a\u0438 \u0433\u043e\u0440\u044f\u0442, \u0438 \u0434\u043e \u043e\u0431\u0435\u0434\u0430 \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0435\u0449\u0435 100 \u0433\u0438\u043f\u043e\u0442\u0435\u0437?<\/p>\n
\u0412\u043e\u0437\u044c\u043c\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e \u0434\u0438\u0430\u0431\u0435\u0442\u0435<\/a> \u0441 \u0441\u0430\u0439\u0442\u0430 Kaggle \u0438 \u043f\u0440\u043e\u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u043c \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443 100 000 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f 76 800 000 \u0441\u0442\u0440\u043e\u043a. <\/p>\n
\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
\n<\/th>\n\n
Pregnancies<\/p>\n<\/th>\n
\n
Glucose<\/p>\n<\/th>\n
\n
BloodPressure<\/p>\n<\/th>\n
\n
SkinThickness<\/p>\n<\/th>\n
\n
Insulin<\/p>\n<\/th>\n
\n
BMI<\/p>\n<\/th>\n
\n
DiabetesPedigreeFunction<\/p>\n<\/th>\n
\n
Age<\/p>\n<\/th>\n
\n
Outcome<\/p>\n<\/th>\n<\/tr>\n
\n
0<\/p>\n<\/th>\n
\n
6<\/p>\n<\/td>\n
\n
148<\/p>\n<\/td>\n
\n
72<\/p>\n<\/td>\n
\n
35<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
33.6<\/p>\n<\/td>\n
\n
0.627<\/p>\n<\/td>\n
\n
50<\/p>\n<\/td>\n
\n
1<\/p>\n<\/td>\n<\/tr>\n
\n
1<\/p>\n<\/th>\n
\n
1<\/p>\n<\/td>\n
\n
85<\/p>\n<\/td>\n
\n
66<\/p>\n<\/td>\n
\n
29<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
26.6<\/p>\n<\/td>\n
\n
0.351<\/p>\n<\/td>\n
\n
31<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n
\n
2<\/p>\n<\/th>\n
\n
8<\/p>\n<\/td>\n
\n
183<\/p>\n<\/td>\n
\n
64<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
23.3<\/p>\n<\/td>\n
\n
0.672<\/p>\n<\/td>\n
\n
32<\/p>\n<\/td>\n
\n
1<\/p>\n<\/td>\n<\/tr>\n
\n
3<\/p>\n<\/th>\n
\n
1<\/p>\n<\/td>\n
\n
89<\/p>\n<\/td>\n
\n
66<\/p>\n<\/td>\n
\n
23<\/p>\n<\/td>\n
\n
94<\/p>\n<\/td>\n
\n
28.1<\/p>\n<\/td>\n
\n
0.167<\/p>\n<\/td>\n
\n
21<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n
\n
4<\/p>\n<\/th>\n
\n
0<\/p>\n<\/td>\n
\n
137<\/p>\n<\/td>\n
\n
40<\/p>\n<\/td>\n
\n
35<\/p>\n<\/td>\n
\n
168<\/p>\n<\/td>\n
\n
43.1<\/p>\n<\/td>\n
\n
2.288<\/p>\n<\/td>\n
\n
33<\/p>\n<\/td>\n
\n
1<\/p>\n<\/td>\n<\/tr>\n
\n
…<\/p>\n<\/th>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n
\n
…<\/p>\n<\/td>\n<\/tr>\n
\n
763<\/p>\n<\/th>\n
\n
10<\/p>\n<\/td>\n
\n
101<\/p>\n<\/td>\n
\n
76<\/p>\n<\/td>\n
\n
48<\/p>\n<\/td>\n
\n
180<\/p>\n<\/td>\n
\n
32.9<\/p>\n<\/td>\n
\n
0.171<\/p>\n<\/td>\n
\n
63<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n
\n
764<\/p>\n<\/th>\n
\n
2<\/p>\n<\/td>\n
\n
122<\/p>\n<\/td>\n
\n
70<\/p>\n<\/td>\n
\n
27<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
36.8<\/p>\n<\/td>\n
\n
0.340<\/p>\n<\/td>\n
\n
27<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n
\n
765<\/p>\n<\/th>\n
\n
5<\/p>\n<\/td>\n
\n
121<\/p>\n<\/td>\n
\n
72<\/p>\n<\/td>\n
\n
23<\/p>\n<\/td>\n
\n
112<\/p>\n<\/td>\n
\n
26.2<\/p>\n<\/td>\n
\n
0.245<\/p>\n<\/td>\n
\n
30<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n
\n
766<\/p>\n<\/th>\n
\n
1<\/p>\n<\/td>\n
\n
126<\/p>\n<\/td>\n
\n
60<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
30.1<\/p>\n<\/td>\n
\n
0.349<\/p>\n<\/td>\n
\n
47<\/p>\n<\/td>\n
\n
1<\/p>\n<\/td>\n<\/tr>\n
\n
767<\/p>\n<\/th>\n
\n
1<\/p>\n<\/td>\n
\n
93<\/p>\n<\/td>\n
\n
70<\/p>\n<\/td>\n
\n
31<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n
\n
30.4<\/p>\n<\/td>\n
\n
0.315<\/p>\n<\/td>\n
\n
23<\/p>\n<\/td>\n
\n
0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447:<\/p>\n
# \u0427\u0442\u0435\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0438\u0437 \u0444\u0430\u0439\u043b\u0430 df = pd.read_csv('diabetes.csv')  # \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 df = df.loc[df.index.repeat(100000)]  # \u0421\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0432 \u0444\u0430\u0439\u043b \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0438\u0440\u0435\u043c\u0435\u043d\u0442\u043e\u0432 df.to_csv('benchmark.csv')  print(len(df), '\u0441\u0442\u0440\u043e\u043a')<\/code><\/pre>\n
76 800 000 \u0441\u0442\u0440\u043e\u043a<\/code><\/pre>\n
\n\u0412\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f<\/summary>\n
\n
4 \u043c\u0438\u043d 26.6 \u0441\u0435\u043a<\/p>\n<\/div>\n<\/details>\n
\u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0434\u043e\u043b\u0433\u0438\u043c, \u043d\u043e \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0434\u0435\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043e \u043d\u0435 \u0437\u0440\u044f. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u0437\u0430\u0439\u043c\u0435\u0442 \u0447\u0442\u0435\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430?<\/p>\n
df = pd.read_csv('benchmark.csv')<\/code><\/pre>\n
\n\u0412\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f:<\/summary>\n
\n
7 \u043c\u0438\u043d 57.4 \u0441\u0435\u043a<\/p>\n<\/div>\n<\/details>\n
\u0415\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0437\u0430\u043d\u043e\u0432\u043e, \u043d\u0430 \u043d\u0430\u0448\u0438 100 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0443\u0439\u0434\u0435\u0442 13 \u0447\u0430\u0441\u043e\u0432. \u0421\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043e \u043e\u0431\u0435\u0434\u0430 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f.<\/p>\n
\u041c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0442\u0435\u0440\u044f\u0442\u044c \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u0451\u0442 Pandas. \u041f\u0440\u043e\u0441\u0442\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0430\u044f datatable \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e:<\/p>\n
import datatable as dt import pandas as pd def read_fast_csv(f):     frame = dt.fread(f)     ds = frame.to_pandas()     return ds<\/code><\/pre>\n
\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430\u0448 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442:<\/p>\n
ds = read_fast_csv('benchmark.csv')<\/code><\/pre>\n
\n\u0412\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f<\/summary>\n
\n
1 \u043c\u0438\u043d 21.5 \u0441\u0435\u043a<\/p>\n<\/div>\n<\/details>\n
\u042d\u0442\u043e \u0436\u0435 \u0432 6 \u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435! \u0417\u043d\u0430\u0447\u0438\u0442 \u0434\u043e \u043e\u0431\u0435\u0434\u0430 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u043c!<\/p>\n
\u0411\u044b\u0441\u0442\u0440\u043e\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u043c<\/h3>\n
\u0414\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0432\u043e\u0434\u0438\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 \u0446\u0435\u043b\u044c\u044e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0441 \u0435\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u044b\u043c, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438:<\/p>\n