{"id":334028,"date":"2022-06-03T15:01:01","date_gmt":"2022-06-03T15:01:01","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=334028"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=334028","title":{"rendered":"\u041f\u043e\u0434\u0441\u0447\u0451\u0442 \u0441\u043b\u043e\u0432<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u041f\u0440\u0438\u0432\u0435\u0442! \u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u041e\u043d\u0430 \u0438\u043c\u0435\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043c\u0435\u043d\u044f\u044e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e.<\/p>\n

\u0412 \u043f\u0435\u0440\u0432\u044b\u0435 \u043c\u0435\u0441\u044f\u0446\u044b \u043a\u043e\u0432\u0438\u0434\u043d\u043e\u0439 \u044d\u0440\u044b \u0442\u0430\u043a \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0430 \u043c\u043e\u0435\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043d\u0430 \u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0430\u0431\u043e\u0442\u0435 \u0432\u0441\u0435\u043c \u0443\u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0438\u043b\u0438 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0443 \u0438 \u044f, \u043d\u0435\u0434\u043e\u043b\u0433\u043e \u0434\u0443\u043c\u0430\u044f, \u043f\u043e\u0448\u0451\u043b \u043d\u0430 \u0440\u044b\u043d\u043e\u043a \u0442\u0440\u0443\u0434\u0430. \u041d\u0430 \u0441\u043e\u0431\u0435\u0441\u0435 \u0432 \u043e\u0434\u043d\u0443 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0443\u044e IT-\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443. \u0417\u0430\u0434\u0430\u0447\u043a\u0443 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0435\u0448\u0438\u0442\u044c: \u0440\u0435\u0448\u0438\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u043d\u0435 «\u0443\u0431\u0438\u0432» \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c «\u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0432\u0441\u0435\u043c \u0443\u0436\u0430\u0441 \u0431\u044b\u043b».<\/p>\n

\u0423\u0436\u0435 \u0437\u0430 \u0440\u0430\u043c\u043a\u0430\u043c\u0438 «\u0432\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u044f» \u0440\u0430\u0434\u0438 \u0441\u043f\u043e\u0440\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0421\u043f\u0443\u0441\u0442\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0433\u043e\u0434 \u043f\u043e\u0441\u043b\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043f\u0440\u0438\u0448\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0438\u0434\u0435\u0438 \u0438 \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043e \u0447\u0451\u043c \u0438 \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n

\u0423\u0441\u043b\u043e\u0432\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438<\/h3>\n

\u0418\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n

\n

\u041d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u043a\u0443 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u044f.
\u0421\u043b\u043e\u0432\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u043b\u0430\u0442\u0438\u043d\u0441\u043a\u0438\u0445 \u0431\u0443\u043a\u0432, [a-zA-Z]+<\/code>. \u0412\u0441\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b, \u043a\u0440\u043e\u043c\u0435 [a-zA-Z]<\/code>, \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u0435\u043b\u0430\u043c\u0438. \u0421\u043b\u043e\u0432\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043a \u043d\u0438\u0436\u043d\u0435\u043c\u0443 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0443. \u0412\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0443, \u0437\u0430\u0442\u0435\u043c \u0441\u0430\u043c\u043e \u0441\u043b\u043e\u0432\u043e, \u043f\u0440\u0438\u0447\u0451\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043f\u043e \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044e, \u0430 \u0441\u043b\u043e\u0432\u0430, \u0438\u043c\u0435\u044e\u0449\u0438\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443, \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043f\u043e \u0430\u043b\u0444\u0430\u0432\u0438\u0442\u0443. \u041f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<\/blockquote>\n

 $ cat in.txt I agree with you I say what you do about the world It's poison And it's sick And you want to get out of it  $ freq in.txt out.txt  $ cat out.txt 3 it 3 you 2 and 2 i 2 s 1 about 1 agree 1 do 1 get 1 of 1 out 1 poison 1 say 1 sick 1 the 1 to 1 want 1 what 1 with 1 world<\/code><\/pre>\n
\n
\u0420\u0435\u0448\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u0432 \u043e\u0434\u0438\u043d \u043f\u043e\u0442\u043e\u043a.<\/p>\n<\/blockquote>\n
\u041a\u0430\u043a \u043f\u043e\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c (\u0438 \u044d\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442), \u0441\u0447\u0438\u0442\u0430\u043b\u043a\u0443 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430: pg.txt<\/a> (\u043f\u043e \u0441\u0441\u044b\u043b\u043a\u0435 \u2014 \u0430\u0440\u0445\u0438\u0432, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439  \u0444\u0430\u0439\u043b). \u0424\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u0440\u043f\u0443\u0441 \u0438\u0437 \u0441\u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c, \u043d\u0435\u043c\u0435\u0446\u043a\u043e\u043c \u0438, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u044f\u0437\u044b\u043a\u0430\u0445.<\/p>\n
 $ md5sum *.txt 850944413ba9fd1dbf2b9694abaa930d *lf.txt d1362c6c9de664c34c3066ec1d01078f *crlf.txt<\/code><\/pre>\n
\n
\u0441\u043e\u043e\u0442\u0432 \u0434\u0432\u0435 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 md5<\/p>\n<\/blockquote>\n
\u0422\u0430\u043a\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0442\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0437\u0430 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043d\u0430 «\u0441\u0440\u0435\u0434\u043d\u0435\u043c» \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b x86-64. \u0422\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u0430\u0442\u044c \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n
\u0413\u0434\u0435 \u0432\u0441\u0451 \u043d\u0430\u0439\u0442\u0438<\/h3>\n
\u041a\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0432\u0435\u0442\u043a\u0435 master \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f<\/strong><\/a>.<\/p>\n
\u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435<\/h3>\n
\u0414\u0430\u043b\u0435\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0434\u043b\u044f Intel(R) Xeon(R) CPU E5-2667 v2 @ 3.30GHz<\/a>. \u042d\u0442\u043e Ivy Bridge. \u041f\u0430\u043c\u044f\u0442\u044c — DDR3 1866MHz ECC REG, 4 channels.<\/p>\n
\u041c\u043e\u0439 \u0432\u044b\u0431\u043e\u0440 \u044f\u0437\u044b\u043a\u0430 \u2014 C++. \u041a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440\u044b \u2014 GCC\/clang \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u0438 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440 \u0438\u0437 Visual Studio 2019 \u0438 MinGW-w64 (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 Windows).<\/p>\n
\u041d\u0430 Windows \u044f \u0432 \u0438\u0442\u043e\u0433\u0435 \u0437\u0430\u0431\u0438\u043b, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u043d\u0451\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b\u0438 \u0436\u0435\u043b\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435\u0433\u043e, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u044d\u043d\u0435\u0440\u0433\u043e\u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u044f Performance.<\/p>\n
\u041d\u0430 GCC \u0442\u043e\u0436\u0435 \u043d\u0435 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f, \u0442\u0430\u043a \u0447\u0442\u043e \u043c\u043e\u0433\u043b\u043e \u0447\u0442\u043e-\u0442\u043e \u0440\u0430\u0437\u043e\u0439\u0442\u0438\u0441\u044c. \u0412 \u0445\u043e\u0434\u0435 \u043f\u043e\u0438\u0441\u043a\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u0436\u0435 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b \u0431\u0430\u0433<\/a> \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0442\u043e\u0440\u0430.<\/p>\n
\u0425\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n
\n\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432: 336 183 276.<\/summary>\n
\n
 $ du -b pg.txt 336183276       pg.txt  $ LC_ALL=\"C\" wc -m pg.txt 336183276 pg.txt<\/code><\/pre>\n
\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0444\u0430\u043b\u0430, \u0442.\u043a. \u0444\u0430\u0439\u043b \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0432 \u043e\u0434\u043d\u043e\u0431\u0430\u0439\u0442\u043e\u0432\u043e\u0439 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0435.<\/p>\n<\/div>\n<\/details>\n
\n\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432: 58 801 281.<\/summary>\n
\n
  $ LC_ALL=\"C\" awk -F '[^A-Za-z]+' '  {      for (i = 1; i <= NF; ++i)          if ($i)              ++j  }  END {      print j  }  ' pg.txt  58801281<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
\n\u0427\u0438\u0441\u043b\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u043b\u043e\u0432: 213 637.<\/summary>\n
\n
 $ LC_ALL=\"C\" awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             ++w[tolower($i)] } END {     print length(w) } ' pg.txt 213637<\/code><\/pre>\n
\u041a\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 \u0442\u043e\u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0430\u0436\u043d\u044b\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u0434\u043b\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u043b\u044f \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u043a\u043e\u043d\u0446\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0440\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c.<\/p>\n
\u0412\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0430 \u0447\u0430\u0441\u0442\u043e\u0442 \u0441\u043b\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u0440\u0435\u043c\u044f \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0430, \u0442\u0430\u043a \u043a\u0430\u043a 58801281 >> 213637<\/code>. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0443\u043f\u043e\u0440 \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043f\u043e\u0441\u0447\u0451\u0442 \u0447\u0430\u0441\u0442\u043e\u0442 \u0441\u043b\u043e\u0432.<\/p>\n<\/div>\n<\/details>\n
\n\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d \u0441\u043b\u043e\u0432.<\/summary>\n
\n
 $ LC_ALL=\"C\" awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             ++l[length($i)] } END {     for (j in l)         print j, l[j] } ' pg.txt | sort -k1g | column -t 1   3018380 2   10389242 3   13784482 4   10605768 5   6407052 6   4713535 7   3845034 8   2404953 9   1742863 10  1020733 11  455583 12  249480 13  108981 14  38231 15  12161 16  3546 17  881 18  219 19  73 20  20 21  15 22  8 23  2 24  7 25  1 27  2 28  2 29  5 32  3 34  1 35  1 37  3 42  1 44  2 48  1 51  1 53  1 58  1 61  2 64  1 66  2 68  1 70  1<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
\n\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 — 70, \u0441\u0440\u0435\u0434\u043d\u044f\u044f — 4.25, \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u0430\u044f — 4<\/summary>\n
\n
 $ LC_ALL=C awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             print length($i) } ' pg.txt | sort -n | jq -s ' {     count: length,     mininum: min,     average: (add \/ length),     maximum: max,     median: .[length \/ 2  floor],     p90: .[length * 0.90 | floor],     p95: .[length * 0.95 | floor],     p99: .[length * 0.99 | floor],     p999: .[length * 0.999 | floor] } ' {   \"count\": 58801281,   \"mininum\": 1,   \"average\": 4.25427611007318,   \"maximum\": 70,   \"median\": 4,   \"p90\": 8,   \"p95\": 9,   \"p99\": 11,   \"p999\": 13 }<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
\n99.9979% \u0441\u043b\u043e\u0432 \u0438\u043c\u0435\u044e\u0442 \u0434\u043b\u0438\u043d\u0443, \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0443\u044e 16 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 (\u0431\u0430\u0439\u0442).<\/summary>\n
\n
 $ LC_ALL=C awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             print length($i) } ' pg.txt | sort -n | awk ' \/17\/ { if (!i) i = NR } END { print i \/ NR } ' 0.999979<\/code><\/pre>\n
\u0417\u043d\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u0430 \u043c\u043d\u0435 \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0439. \u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u043e \u044f \u043d\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430.<\/p>\n<\/div>\n<\/details>\n
\u0420\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/h3>\n
\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c md5 hash \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0434\u043b\u044f \u043e\u0442\u043b\u0430\u0434\u043a\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0443\u0441\u0442\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f, \u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0438 \u043e\u0442\u0432\u0435\u0442 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u043e\u0439, \u043d\u043e \u0435\u0449\u0451 \u043f\u043e\u043a\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u0439, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n
\u0421\u0430\u043c\u043e\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 (\u0434\u043b\u044f \u043c\u0435\u043d\u044f) \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u2014 \u044d\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0447\u0438\u0442\u0430\u043b\u043a\u0443 «\u043d\u0430 bash» (\u0447\u0442\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 sed<\/code>, awk<\/code>, sort<\/code>, uniq<\/code> \u0438 \u0442.\u043f.). \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u043d\u0430 \u0442\u0430\u043a:<\/p>\n
LC_ALL=\"C\" awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             ++w[tolower($i)] } END {     for (i in w)         print w[i], i } ' | sort -k1gr,2<\/code><\/pre>\n
\u041f\u043e\u043c\u0435\u0449\u0430\u044e \u044d\u0442\u043e\u0442 \u043a\u043e\u0434 \u0432 \u0444\u0430\u0439\u043b freq.sh<\/a> \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e, \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u044f \u043d\u0430 \u0432\u0445\u043e\u0434 pg.txt<\/code>, \u0430 (\u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439) \u0432\u044b\u0432\u043e\u0434 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u0432 ref.txt<\/code>.<\/p>\n
 $ time bash freq.sh <pg.txt | tee ref.txt | md5sum - real    0m24.834s user    0m24.759s sys     0m0.090s 850944413ba9fd1dbf2b9694abaa930d  -<\/code><\/pre>\n
\u041a\u0440\u0438\u043f\u0442\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0445\u044d\u0448 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0432\u0435\u0440\u043d\u044b\u0439, \u0430 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 (\u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438 md5 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b). \u0412\u0440\u0435\u043c\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0435\u0440\u0441\u0438\u0438 awk<\/code>. \u0413\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u0443 \u043c\u0435\u043d\u044f \u044d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0442\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u043e \u0437\u0430 120 \u0441\u0435\u043a\u0443\u043d\u0434 \u0432 \u0442\u043e\u043c \u0436\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438.<\/p>\n
\u0425\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430<\/h3>\n
\n\u0422\u043e\u043f \u0441\u043b\u043e\u0432 \u043f\u043e \u0447\u0430\u0441\u0442\u043e\u0442\u0435.<\/summary>\n
\n
 $ head -16 ref.txt | column -t 3343241  the 1852717  and 1715705  of 1560152  to 1324244  a 956926   in 933954   i 781286   he 713514   that 690876   was 665710   it 608451   you 580460   his 498427   with 442288   for 433687   had<\/code><\/pre>\n
«The» \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f 3343241 \u0440\u0430\u0437. \u0414\u043b\u044f \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u0432 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c uint32_t<\/code> (\u0438\u043b\u0438 uint24<\/code>, \u043e \u0447\u0451\u043c \u043d\u0438\u0436\u0435).<\/p>\n<\/div>\n<\/details>\n
\n\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u0438\u043d \u0441\u043b\u043e\u0432.<\/summary>\n
\n
 $ LC_ALL=\"C\" awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             w[tolower($i)] } END {     for (i in w)         ++l[length(i)]     for (j in l)         print j, l[j] } ' pg.txt | sort -k1g | column -t 1   26 2   442 3   2958 4   10757 5   21406 6   31287 7   36105 8   33983 9   28101 10  20362 11  12875 12  7684 13  4045 14  1955 15  921 16  384 17  181 18  60 19  33 20  13 21  12 22  7 23  2 24  7 25  1 27  2 28  2 29  5 32  3 34  1 35  1 37  2 42  1 44  2 48  1 51  1 53  1 58  1 61  2 64  1 66  2 68  1 70  1<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
\n\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043b\u043e\u0432\u0430 — 7.814<\/summary>\n
\n
 $ LC_ALL=C awk -F '[^A-Za-z]+' ' {     for (i = 1; i <= NF; ++i)         if ($i)             w[tolower($i)] } END {     for (i in w)         print length(w) } ' pg.txt | sort -n | tee \/tmp\/1 | jq -s ' {     count: length,     sum: add,     mininum: min,     average: (add \/ length),     maximum: max,     median: .[length \/ 2 | floor],     p90: .[length * 0.90 | floor],     p95: .[length * 0.95 | floor],     p99: .[length * 0.99 | floor],     p999: .[length * 0.999 | floor] } ' {   \"count\": 213637,   \"sum\": 1669418,   \"mininum\": 1,   \"average\": 7.814273744716505,   \"maximum\": 70,   \"median\": 8,   \"p90\": 11,   \"p95\": 12,   \"p99\": 14,   \"p999\": 17 }<\/code><\/pre>\n
count<\/code> — \u044d\u0442\u043e (\u043e\u043f\u044f\u0442\u044c \u0436\u0435) \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432, sum<\/code> — \u0441\u0443\u043c\u043c\u0430 \u0438\u0445 \u0434\u043b\u0438\u043d. \u0412\u0435\u0441\u044c \u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u0441\u044f \u0432 \u043c\u0430\u0441\u0441\u0438\u0432 \u0434\u043b\u0438\u043d\u043e\u0439 count + sum = 1883055<\/code> \u0431\u0430\u0439\u0442, \u0435\u0441\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u0441\u043b\u043e\u0432\u0430 '\\0'<\/code>.<\/p>\n<\/div>\n<\/details>\n
\u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439<\/h3>\n
\u0417\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439.<\/p>\n
\u0412\u0430\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439.<\/p>\n
\u0414\u0436\u0438\u0442\u0442\u0435\u0440 \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u0435\u043d, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0432\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c \u0434\u0436\u0438\u0442\u0442\u0435\u0440\u0430 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0442\u043e\u043a\u0430 \u0432\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u0430 \u041e\u0421, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u0434\u0440\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043a, \u0432\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0440\u0435\u0436\u0438\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u0430.<\/p>\n
sudo find \/sys\/devices\/system\/cpu -name scaling_governor \\     -exec sh -c 'echo performance >{}' ';' sudo sh -c 'echo off >\/sys\/devices\/system\/cpu\/smt\/control' sudo tuna --cpus=1-7 --isolate<\/code><\/pre>\n
\u0417\u0434\u0435\u0441\u044c \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u044f\u0434\u0435\u0440 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0441\u043a\u0430\u0447\u0435\u0442 \u0438 \u0437\u0430\u043b\u043e\u0447\u0435\u043d\u0430 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e (\u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e «\u0434\u043b\u044f \u0432\u0441\u0435\u0445», \u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0438\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u044f\u0434\u0435\u0440 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043e\u0431\u044b\u0447\u043d\u043e). \u0411\u0435\u0437 \u044d\u0442\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u044f\u0434\u0440\u043e \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0442\u0441\u044f \u0432 \u0440\u0435\u0436\u0438\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u0443\u0441\u0442\u044f \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438.<\/p>\n
\n\u0423 \u043c\u0435\u043d\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u044f\u0434\u0435\u0440 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a<\/summary>\n
\n
 $ grep MHz \/proc\/cpuinfo cpu MHz         : 3043.824 cpu MHz         : 3722.037 cpu MHz         : 3721.075 cpu MHz         : 3674.557 cpu MHz         : 3592.679 cpu MHz         : 3550.398 cpu MHz         : 3513.916 cpu MHz         : 3612.262 cpu MHz         : 3468.005 cpu MHz         : 3764.145 cpu MHz         : 3586.930 cpu MHz         : 3576.853 cpu MHz         : 3564.029 cpu MHz         : 3587.192 cpu MHz         : 3244.385 cpu MHz         : 2761.846<\/code><\/pre>\n<\/p>\n<\/div>\n<\/details>\n
\u0412\u0442\u043e\u0440\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 HyperThreading (\u044d\u0442\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u043e\u0432\u0441\u043a\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 SMT). \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u044f\u0434\u0435\u0440 «\u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442» (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 \u0432\u044b\u0432\u043e\u0434\u0430 htop<\/code>) \u2014 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u044f\u0434\u0440\u0430 \u0441 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 0-7. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u044d\u0442\u043e \u0434\u0430\u0451\u0442 30% \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n
\u0422\u0440\u0435\u0442\u044c\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442 \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a Linux \u043d\u0435 \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u0442\u043e\u043a\u0438 (\u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043e\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u041e\u0421) \u043d\u0430 \u044f\u0434\u0440\u0430 1-7. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0432\u044b\u0442\u0435\u0441\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u044f\u0434\u0440\u043e 0. \u0422\u0430\u043a\u0436\u0435 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0431\u0440\u0430\u0443\u0437\u0435\u0440, \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c Wi-Fi \u0438\/\u0438\u043b\u0438 Ethernet \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0439.<\/p>\n
\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0432\u0441\u0435\u0445 \u044f\u0434\u0440\u0430\u0445 \u0437\u0430 10 \u0441\u0435\u043a\u0443\u043d\u0434 \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u044f\u0434\u0440\u0435 0:<\/p>\n
sudo perf stat -e 'sched:sched_switch' -a -A --timeout 10000<\/code><\/pre>\n
\u0414\u0435\u043b\u0430\u0435\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b \u043d\u0430 \u044f\u0434\u0440\u0430\u0445 1-7. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0431\u0435\u0440\u0451\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 (\u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438: \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435).<\/p>\n
for i in {1..20} do     time taskset --cpu-list 1-7 .\/freq pg.txt out.txt done<\/code><\/pre>\n
\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435:<\/p>\n
sudo sh -c 'echo on >\/sys\/devices\/system\/cpu\/smt\/control' sudo tuna --cpus=0-15 --include sudo find \/sys\/devices\/system\/cpu -name scaling_governor \\     -exec sh -c 'echo powersave >{}' ';'<\/code><\/pre>\n
\u041f\u043e\u043b\u043d\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u0434\u0435\u0441\u044c: Low latency guide<\/a>. \u0414\u0440\u0443\u0433\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0442\u0430\u043c \u0442\u0430\u043a\u0436\u0435 \u043a\u0440\u0430\u0439\u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b.<\/p>\n
\u041d\u0430\u0438\u0432\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435<\/h3>\n
\n\u041a\u043e\u0434<\/summary>\n
\n
#include <algorithm> #include <fstream> #include <functional> #include <streambuf> #include <string_view> #include <tuple> #include <type_traits> #include <unordered_map> #include <vector>  #include <cstdlib> #include <cctype>  int main(int argc, char * argv[]) {     if (argc < 3) {         return EXIT_FAILURE;     }      std::ifstream i(argv[1]);     if (!i.is_open()) {         return EXIT_FAILURE;     }      i.seekg(0, std::ios::end);        auto size = size_t(i.tellg());     i.seekg(0, std::ios::beg);      std::string input;     input.resize(size);     i.read(input.data(), size);      auto toLower = [](char c) {         return std::tolower(std::make_unsigned_t<char>(c));     };     std::transform(std::cbegin(input), std::cend(input),             std::begin(input), toLower);      std::unordered_map<std::string_view, size_t> wordCounts;      auto isAlpha = [](char c) {         return std::isalpha(std::make_unsigned_t<char>(c));     };     auto end = std::end(input);     auto beg = std::find_if(std::begin(input), end, isAlpha);     while (beg != end) {         auto it = std::find_if(beg, end, std::not_fn(isAlpha));         ++wordCounts[{beg, it}];         beg = std::find_if(it, end, isAlpha);     }      std::vector<const decltype(wordCounts)::value_type *> output;     output.reserve(wordCounts.size());     for (const auto & wordCount : wordCounts) {         output.push_back(&wordCount);     }      auto isLess = [](auto lhs, auto rhs) -> bool     {         return std::tie(rhs->second, lhs->first) <              std::tie(lhs->second, rhs->first);     };     std::sort(std::begin(output), std::end(output), isLess);      std::ofstream o(argv[2]);     if (!o.is_open()) {         return EXIT_FAILURE;     }     for (auto wordCount : output) {         o << wordCount->second << ' ' << wordCount->first << '\\n';     }          return EXIT_SUCCESS; }<\/code><\/pre>\n
\u041e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f «\u043c\u0435\u043d\u044c\u0448\u0435» \u0432 isLess<\/code> \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u0440\u0442\u0435\u0436\u0435\u0439 \u043b\u0435\u043a\u0441\u0438\u043a\u043e\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438 \u0438 \u0441 \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u043c \u0441\u043c\u044b\u0441\u043b\u043e\u043c. \u041f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441\u043e \u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0441\u0442\u044c\u044e \u0442\u0438\u043f\u0430 \u0432 isAlpha<\/code> \u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f, \u0442.\u043a. \u0437\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u043b\u0438 \u0442\u0438\u043f char<\/code> — \u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043e \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 (\u0441\u0435\u043a\u0446\u0438\u044f Notes \u0437\u0434\u0435\u0441\u044c<\/a>). \u0415\u0441\u043b\u0438 \u0438\u0445 \u043d\u0435 \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u0442\u043e \u043a\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0435\u043a\u0440\u043e\u0441\u043f\u043b\u0430\u0444\u043e\u0440\u043c\u0435\u043d\u043d\u044b\u043c.<\/p>\n<\/p>\n<\/div>\n<\/details>\n
\u041a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u044e, \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u0438 \u0443\u0431\u0435\u0436\u0434\u0430\u044e\u0441\u044c, \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u0435\u0440\u043d\u044b\u0439:<\/p>\n
clang++ -std=c++20 -march=native -Ofast naive.cpp -o naive &&     time LC_ALL=\"C\" .\/naive pg.txt out.txt &&     md5sum out.txt ref.txt real    0m5.399s user    0m5.248s sys     0m0.151s 850944413ba9fd1dbf2b9694abaa930d  out.txt 850944413ba9fd1dbf2b9694abaa930d  ref.txt<\/code><\/pre>\n
\u041f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u043e\u0442\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c freq.sh<\/code>: 5.4 \u0441\u0435\u043a\u0443\u043d\u0434\u044b.<\/p>\n
\u0427\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c? \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0445\u044d\u0448-\u0442\u0430\u0431\u043b\u0438\u0446. \u0422\u0430 \u0436\u0435 std::unordered_map<\/code> \u0438\u0437 libc++<\/code> (\u0432\u044b\u0448\u0435 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f libstdc++<\/code>) \u043e\u0442\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0443\u0436\u0435 \u0437\u0430 3.9 \u0441\u0435\u043a\u0443\u043d\u0434\u044b.<\/p>\n