{"id":381009,"date":"2024-06-29T03:25:28","date_gmt":"2024-06-29T03:25:28","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=381009"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=381009","title":{"rendered":"\u0417\u0430\u0433\u043e\u043d\u044f\u0435\u043c \u0410\u043b\u044c\u043f\u0430\u043a\u0443 \u043d\u0430 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 (\u0427\u0430\u0441\u0442\u044c 2. \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438)<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u0427\u0442\u043e \u043d\u043e\u0432\u043e\u0433\u043e<\/h2>\n

\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u0438\u0441\u0430\u043b \u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0435 Alpaca \u043d\u0430 \u042d\u043b\u044c\u0431\u0440\u0443\u0441\u0435<\/a>. \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0442\u0430\u0440\u0430\u043d\u0438\u044f\u043c @troosh<\/a> \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u0443\u0436\u0435 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438. \u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415!<\/strong> \u041f\u0440\u043e\u0435\u043a\u0442 llama.cpp<\/a> \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e, \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u043e<\/a> \u0441\u0430\u043c\u0430\u044f \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f llama.cpp \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441. \u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u0443\u044e \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u043c\u043d\u0435 \u043a\u0430\u043a \u0440\u0430\u0437 \u0432\u044b\u0434\u0430\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u043a «\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0435». \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u043d\u043e\u0441\u0442\u044c @shigorin<\/a> <\/p>\n

\u0418 \u0441\u0440\u0430\u0437\u0443 \u0442\u0435\u0441\u0442\u044b<\/h2>\n

\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043b \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u043b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0443\u0442 \u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0447\u043d\u0443 \u0441 \u0442\u0435\u0441\u0442\u043e\u0432.<\/p>\n

\u0422\u0435\u0441\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439. \u0414\u0430\u043d\u043d\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u0443\u044e \u0448\u0443\u0442\u043a\u0443 \u0438 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n

for a in {1..8};do printf \"%s;\" $a;.\/main -t $a -m .\/models\/ggml-alpaca-7b-q4.bin -s 42 -p \"Random joke:\" -n 32 2>&1 |grep \"llama_print_timings:       eval time\" | cut -d \"(\" -f 2 | grep -o -e \"[0-9\\.]*\" ;done<\/code><\/pre>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n<\/tr>\n
\n
707,81<\/p>\n<\/td>\n
\n
903,02<\/p>\n<\/td>\n
\n
1094,07<\/p>\n<\/td>\n<\/tr>\n
\n
370,47<\/p>\n<\/td>\n
\n
472,6<\/p>\n<\/td>\n
\n
571,45<\/p>\n<\/td>\n<\/tr>\n
\n
258,1<\/p>\n<\/td>\n
\n
330,39<\/p>\n<\/td>\n
\n
398,84<\/p>\n<\/td>\n<\/tr>\n
\n
199,1<\/p>\n<\/td>\n
\n
256,79<\/p>\n<\/td>\n
\n
310,96<\/p>\n<\/td>\n<\/tr>\n
\n
163,97<\/p>\n<\/td>\n
\n
213,01<\/p>\n<\/td>\n
\n
260,76<\/p>\n<\/td>\n<\/tr>\n
\n
140,87<\/p>\n<\/td>\n
\n
184,04<\/p>\n<\/td>\n
\n
226,59<\/p>\n<\/td>\n<\/tr>\n
\n
127,37<\/p>\n<\/td>\n
\n
163,37<\/p>\n<\/td>\n
\n
207,54<\/p>\n<\/td>\n<\/tr>\n
\n
126,05<\/p>\n<\/td>\n
\n
148,54<\/p>\n<\/td>\n
\n
193,7<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\"\u0413\u0440\u0430\u0444\u0438\u043a<\/p>\n
\u0413\u0440\u0430\u0444\u0438\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (\u043c\u0435\u043d\u044c\u0448\u0435 — \u043b\u0443\u0447\u0448\u0435) <\/figcaption><\/div>\n<\/figure>\n
\u0422\u0435\u0441\u0442\u044b \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u0431\u0435\u0437.<\/p>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n
\n
\u041f\u043e\u0442\u043e\u043a\u0438<\/p>\n<\/td>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421 (\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e)<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412 (\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e)<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412 1550MHz<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421 2000MHz<\/p>\n<\/td>\n<\/tr>\n
\n
1<\/p>\n<\/td>\n
\n
707,81<\/p>\n<\/td>\n
\n
903,02<\/p>\n<\/td>\n
\n
1094,07<\/p>\n<\/td>\n
\n
2542,64<\/p>\n<\/td>\n
\n
2389,05<\/p>\n<\/td>\n<\/tr>\n
\n
2<\/p>\n<\/td>\n
\n
370,47<\/p>\n<\/td>\n
\n
472,6<\/p>\n<\/td>\n
\n
571,45<\/p>\n<\/td>\n
\n
1279,05<\/p>\n<\/td>\n
\n
1225,16<\/p>\n<\/td>\n<\/tr>\n
\n
3<\/p>\n<\/td>\n
\n
258,1<\/p>\n<\/td>\n
\n
330,39<\/p>\n<\/td>\n
\n
398,84<\/p>\n<\/td>\n
\n
915,73<\/p>\n<\/td>\n
\n
823,2<\/p>\n<\/td>\n<\/tr>\n
\n
4<\/p>\n<\/td>\n
\n
199,1<\/p>\n<\/td>\n
\n
256,79<\/p>\n<\/td>\n
\n
310,96<\/p>\n<\/td>\n
\n
710,14<\/p>\n<\/td>\n
\n
638,5<\/p>\n<\/td>\n<\/tr>\n
\n
5<\/p>\n<\/td>\n
\n
163,97<\/p>\n<\/td>\n
\n
213,01<\/p>\n<\/td>\n
\n
260,76<\/p>\n<\/td>\n
\n
575,53<\/p>\n<\/td>\n
\n
513,72<\/p>\n<\/td>\n<\/tr>\n
\n
6<\/p>\n<\/td>\n
\n
140,87<\/p>\n<\/td>\n
\n
184,04<\/p>\n<\/td>\n
\n
226,59<\/p>\n<\/td>\n
\n
487,12<\/p>\n<\/td>\n
\n
438,66<\/p>\n<\/td>\n<\/tr>\n
\n
7<\/p>\n<\/td>\n
\n
127,37<\/p>\n<\/td>\n
\n
163,37<\/p>\n<\/td>\n
\n
207,54<\/p>\n<\/td>\n
\n
419,23<\/p>\n<\/td>\n
\n
380,11<\/p>\n<\/td>\n<\/tr>\n
\n
8<\/p>\n<\/td>\n
\n
126,05<\/p>\n<\/td>\n
\n
148,54<\/p>\n<\/td>\n
\n
193,7<\/p>\n<\/td>\n
\n
375,21<\/p>\n<\/td>\n
\n
342,84  <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\"\u0413\u0440\u0430\u0444\u0438\u043a<\/p>\n
\u0413\u0440\u0430\u0444\u0438\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (\u041c\u0435\u043d\u044c\u0448\u0435 — \u043b\u0443\u0447\u0448\u0435)<\/figcaption><\/div>\n<\/figure>\n
\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a<\/h2>\n
\u0422\u0435\u0441\u0442\u044b \u0431\u044b\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 benchmark-q4_0-matmult. \u0421\u043e\u0431\u0438\u0440\u0430\u043b\u043e\u0441\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043c\u0430\u043d\u0434\u0443:\u00a0make benchmark <\/code><\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
1 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
40205.95<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
22183.21<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
17452.88<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0418 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u0442\u0435\u0441\u0442<\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
8 \u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
255353.06<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
161953.14<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
129111.80<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0414\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438:<\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
1 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
40205.95<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421  <\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
10761.69 <\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 8\u0421\u0412  <\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
7202.17  <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
8 \u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
255353.06<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421  <\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
82397.41 <\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 8\u0421\u0412  <\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
55424.05    <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0427\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e<\/h2>\n
\u0411\u044b\u043b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043a\u043e\u0434 ggml.c \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043f\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u044c Q4_0. \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439 \u043e\u0442 @troosh<\/a>. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0435\u0441\u0442\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 Q4_0. \u041f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0438\u043d\u0442\u0440\u0438\u043d\u0441\u0438\u043a\u0438 \u042d\u043b\u044c\u0431\u0440\u0443\u0441\u0430.<\/p>\n
\n
\u041f\u043e\u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Q4_0 \u0434\u043b\u044f e2k \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u0441 5-\u0439 \u0438 \u0432\u044b\u0448\u0435 \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043c\u0430\u043d\u0434 (\u0434\u043b\u044f \u0442\u0435\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 128-\u043c\u0438 \u0431\u0438\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u043c\u0438), \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e \u0441\u044e\u0434\u0430:\u00a0https:\/\/github.com\/E2Kports\/llama.cpp<\/a><\/p>\n
\u0418\u043c\u0435\u043d\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u0410 \u0432\u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u0434 Q4_1, \u043d\u0430 \u043d\u0435\u0439 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0436\u0434\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u041d\u0443\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Q4_0, \u043b\u0438\u0431\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c \u043f\u043e\u043a\u0430 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0438 \u044d\u0442\u043e\u0442 \u0444\u043e\u0440\u043c\u0430\u0442.<\/p>\n
\u0410 \u0432\u043e\u043e\u0431\u0449\u0435, \u043f\u0440\u043e\u0435\u043a\u0442 llama.cpp \u043d\u0443 \u043e\u0447\u0435\u043d\u044c \u0443\u0436 \u0431\u044b\u0441\u0442\u0440\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f — \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0430\u0440\u0443 \u0440\u0430\u0437 \u043f\u043e\u0434 \u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f…<\/p>\n<\/blockquote>\n
\u041d\u0443 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0434\u0430<\/p>\n
 #if defined(__e2k__) && __iset__ >= 5 static inline __v2di __attribute__((__always_inline__)) e2k_dot_4_0_8_0_quants(__v2di bx, __v2di by0, __v2di by1) {     const __v2di lowMask = __builtin_e2k_qppackdl(0x0f0f0f0f0f0f0f0fLL,                                                   0x0f0f0f0f0f0f0f0fLL);     const __v2di bais = __builtin_e2k_qppackdl(0x0808080808080808LL,                                                0x0808080808080808LL);     const __v2di ones = __builtin_e2k_qppackdl(0x0001000100010001LL,                                                0x0001000100010001LL);          \/\/ Unpack nibbles into individual bytes         __v2di bx0 = __builtin_e2k_qpand( bx,  lowMask ); \/\/ {HLhl} -> {oLol}         __v2di bx1 = __builtin_e2k_qpsrlh( bx, 4 );       \/\/ {HLhl} -> {oHLh}                bx1 = __builtin_e2k_qpand( bx1, lowMask ); \/\/        -> {oHoh}         \/\/ The output vectors contains 32 bytes, each one in [ 0 .. 15 ] interval          \/\/ Reorder bytes in \"y\" block to order in bx0,bx1         __v2di lo = __builtin_e2k_qppermb(by1, by0,                       __builtin_e2k_qppackdl(0x1e1c1a1816141210LL,                                              0x0e0c0a0806040200LL));         __v2di hi = __builtin_e2k_qppermb(by1, by0,                       __builtin_e2k_qppackdl(0x1f1d1b1917151311LL,                                              0x0f0d0b0907050301LL)); #if __iset__ >= 7         \/\/ Move each one in [ -8 .. +7 ] interval:         bx0 = __builtin_e2k_qpsubb(bx0, bais);         bx1 = __builtin_e2k_qpsubb(bx1, bais);          __v2di xy_int32 = __builtin_e2k_qpidotsbwss(bx0, lo, __builtin_e2k_qppackdl(0, 0));                xy_int32 = __builtin_e2k_qpidotsbwss(bx1, hi, xy_int32); #else         \/\/ Get absolute values of \"x\" vectors:         __v2di ax0 = __builtin_e2k_qppermb(bx0 \/* not used *\/,                         __builtin_e2k_qppackdl(0x0706050403020100LL,                                                0x0102030405060708LL), bx0);         __v2di ax1 = __builtin_e2k_qppermb(bx1 \/* not used *\/,                         __builtin_e2k_qppackdl(0x0706050403020100LL,                                                0x0102030405060708LL), bx1);          \/\/ Move each one in [ -8 .. +7 ] interval:         bx0 = __builtin_e2k_qpsubb(bx0, bais);         bx1 = __builtin_e2k_qpsubb(bx1, bais);          \/\/ Sign the values of the y vectors         __v2di sy0 = __builtin_e2k_qpsignb(lo, bx0);         __v2di sy1 = __builtin_e2k_qpsignb(hi, bx1);          \/\/ Perform multiplication and create 16-bit values         __v2di dot0 = __builtin_e2k_qpmaddubsh(sy0, ax0);         __v2di dot1 = __builtin_e2k_qpmaddubsh(sy1, ax1);          \/\/ Reduce to 8 int16_t (overflow not possible: 8 bit * 4 bit => 12 bit)         __v2di dot = __builtin_e2k_qpaddh(dot0, dot1);          \/\/ Reduce to 4 int32_t by integer horizontal sums         __v2di xy_int32 = __builtin_e2k_qpmaddh(ones, dot); #endif          \/\/ Convert vector of 4 int32_t to 4 floats         return __builtin_e2k_qpistofs(xy_int32); }<\/code><\/pre>\n
\u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u0434\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 V7. <\/p>\n
\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
\u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0435 \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Q4_1. <\/p>\n
\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c \u043f\u043e\u0434 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 VLIW \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0421 \u0443\u0447\u0435\u0442\u043e\u043c \u0442\u043e\u0433\u043e \u0447\u0442\u043e Ryzen 7 5800H \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u043f\u043e \u0442\u0435\u0445\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 7\u043d\u043c \u0438 \u0438\u043c\u0435\u0435\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u0443 3200\u041c\u0413\u0446 \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0434\u043e 4400\u041c\u0413\u0446. \u0410 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u043f\u043e 16\u043d\u043c \u0442\u0435\u0445\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 \u0438 \u0438\u043c\u0435\u0435\u0442 2000\u041c\u0413\u0446 (\u0423 8\u0421\u0412 \u0432\u043e\u043e\u0431\u0449\u0435 1550\u041c\u0413\u0446) \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u043f\u043e\u043b\u043d\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/732508\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
<\/div>\n
\n
\n
\n
\n
\u0427\u0442\u043e \u043d\u043e\u0432\u043e\u0433\u043e<\/h2>\n
\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u0438\u0441\u0430\u043b \u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0435 Alpaca \u043d\u0430 \u042d\u043b\u044c\u0431\u0440\u0443\u0441\u0435<\/a>. \u041d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u0442\u0430\u0440\u0430\u043d\u0438\u044f\u043c @troosh<\/a> \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u0443\u0436\u0435 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438. \u0412\u041d\u0418\u041c\u0410\u041d\u0418\u0415!<\/strong> \u041f\u0440\u043e\u0435\u043a\u0442 llama.cpp<\/a> \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e, \u0438 \u043c\u043d\u043e\u0433\u043e\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u043e<\/a> \u0441\u0430\u043c\u0430\u044f \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f llama.cpp \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441. \u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u0443\u044e \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e, \u043c\u043d\u0435 \u043a\u0430\u043a \u0440\u0430\u0437 \u0432\u044b\u0434\u0430\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u043a «\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0435». \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u043d\u043e\u0441\u0442\u044c @shigorin<\/a> <\/p>\n
\u0418 \u0441\u0440\u0430\u0437\u0443 \u0442\u0435\u0441\u0442\u044b<\/h2>\n
\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043b \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u043b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0443\u0442 \u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0447\u043d\u0443 \u0441 \u0442\u0435\u0441\u0442\u043e\u0432.<\/p>\n
\u0422\u0435\u0441\u0442 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439. \u0414\u0430\u043d\u043d\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0437\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u0443\u044e \u0448\u0443\u0442\u043a\u0443 \u0438 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n
for a in {1..8};do printf \"%s;\" $a;.\/main -t $a -m .\/models\/ggml-alpaca-7b-q4.bin -s 42 -p \"Random joke:\" -n 32 2>&1 |grep \"llama_print_timings:       eval time\" | cut -d \"(\" -f 2 | grep -o -e \"[0-9\\.]*\" ;done<\/code><\/pre>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n<\/tr>\n
\n
707,81<\/p>\n<\/td>\n
\n
903,02<\/p>\n<\/td>\n
\n
1094,07<\/p>\n<\/td>\n<\/tr>\n
\n
370,47<\/p>\n<\/td>\n
\n
472,6<\/p>\n<\/td>\n
\n
571,45<\/p>\n<\/td>\n<\/tr>\n
\n
258,1<\/p>\n<\/td>\n
\n
330,39<\/p>\n<\/td>\n
\n
398,84<\/p>\n<\/td>\n<\/tr>\n
\n
199,1<\/p>\n<\/td>\n
\n
256,79<\/p>\n<\/td>\n
\n
310,96<\/p>\n<\/td>\n<\/tr>\n
\n
163,97<\/p>\n<\/td>\n
\n
213,01<\/p>\n<\/td>\n
\n
260,76<\/p>\n<\/td>\n<\/tr>\n
\n
140,87<\/p>\n<\/td>\n
\n
184,04<\/p>\n<\/td>\n
\n
226,59<\/p>\n<\/td>\n<\/tr>\n
\n
127,37<\/p>\n<\/td>\n
\n
163,37<\/p>\n<\/td>\n
\n
207,54<\/p>\n<\/td>\n<\/tr>\n
\n
126,05<\/p>\n<\/td>\n
\n
148,54<\/p>\n<\/td>\n
\n
193,7<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\n
\u0413\u0440\u0430\u0444\u0438\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (\u043c\u0435\u043d\u044c\u0448\u0435 — \u043b\u0443\u0447\u0448\u0435) <\/figcaption><\/div>\n<\/figure>\n
\u0422\u0435\u0441\u0442\u044b \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u0431\u0435\u0437.<\/p>\n
\n
\n\n\n\n\n\n\n\n\n\n\n\n
\n
\u041f\u043e\u0442\u043e\u043a\u0438<\/p>\n<\/td>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421 (\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e)<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412 (\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043e)<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412 1550MHz<\/p>\n<\/td>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421 2000MHz<\/p>\n<\/td>\n<\/tr>\n
\n
1<\/p>\n<\/td>\n
\n
707,81<\/p>\n<\/td>\n
\n
903,02<\/p>\n<\/td>\n
\n
1094,07<\/p>\n<\/td>\n
\n
2542,64<\/p>\n<\/td>\n
\n
2389,05<\/p>\n<\/td>\n<\/tr>\n
\n
2<\/p>\n<\/td>\n
\n
370,47<\/p>\n<\/td>\n
\n
472,6<\/p>\n<\/td>\n
\n
571,45<\/p>\n<\/td>\n
\n
1279,05<\/p>\n<\/td>\n
\n
1225,16<\/p>\n<\/td>\n<\/tr>\n
\n
3<\/p>\n<\/td>\n
\n
258,1<\/p>\n<\/td>\n
\n
330,39<\/p>\n<\/td>\n
\n
398,84<\/p>\n<\/td>\n
\n
915,73<\/p>\n<\/td>\n
\n
823,2<\/p>\n<\/td>\n<\/tr>\n
\n
4<\/p>\n<\/td>\n
\n
199,1<\/p>\n<\/td>\n
\n
256,79<\/p>\n<\/td>\n
\n
310,96<\/p>\n<\/td>\n
\n
710,14<\/p>\n<\/td>\n
\n
638,5<\/p>\n<\/td>\n<\/tr>\n
\n
5<\/p>\n<\/td>\n
\n
163,97<\/p>\n<\/td>\n
\n
213,01<\/p>\n<\/td>\n
\n
260,76<\/p>\n<\/td>\n
\n
575,53<\/p>\n<\/td>\n
\n
513,72<\/p>\n<\/td>\n<\/tr>\n
\n
6<\/p>\n<\/td>\n
\n
140,87<\/p>\n<\/td>\n
\n
184,04<\/p>\n<\/td>\n
\n
226,59<\/p>\n<\/td>\n
\n
487,12<\/p>\n<\/td>\n
\n
438,66<\/p>\n<\/td>\n<\/tr>\n
\n
7<\/p>\n<\/td>\n
\n
127,37<\/p>\n<\/td>\n
\n
163,37<\/p>\n<\/td>\n
\n
207,54<\/p>\n<\/td>\n
\n
419,23<\/p>\n<\/td>\n
\n
380,11<\/p>\n<\/td>\n<\/tr>\n
\n
8<\/p>\n<\/td>\n
\n
126,05<\/p>\n<\/td>\n
\n
148,54<\/p>\n<\/td>\n
\n
193,7<\/p>\n<\/td>\n
\n
375,21<\/p>\n<\/td>\n
\n
342,84  <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\n
\u0413\u0440\u0430\u0444\u0438\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 (\u041c\u0435\u043d\u044c\u0448\u0435 — \u043b\u0443\u0447\u0448\u0435)<\/figcaption><\/div>\n<\/figure>\n
\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a<\/h2>\n
\u0422\u0435\u0441\u0442\u044b \u0431\u044b\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 benchmark-q4_0-matmult. \u0421\u043e\u0431\u0438\u0440\u0430\u043b\u043e\u0441\u044c \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043c\u0430\u043d\u0434\u0443:\u00a0make benchmark <\/code><\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
1 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
40205.95<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
22183.21<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
17452.88<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0418 \u043c\u043d\u043e\u0433\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u044b\u0439 \u0442\u0435\u0441\u0442<\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
8 \u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
255353.06<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-16\u0421<\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
161953.14<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441-8\u0421\u0412<\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
129111.80<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0414\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438:<\/p>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
1 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
40205.95<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421  <\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
10761.69 <\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 8\u0421\u0412  <\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
7202.17  <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\n
\n\n\n\n\n\n\n
\n
\n<\/td>\n
\n
8 \u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n
\n
FLOPS_per_u_Second<\/p>\n<\/td>\n<\/tr>\n
\n
Ryzen 7 5800H<\/p>\n<\/td>\n
\n
3200\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
255353.06<\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0421  <\/p>\n<\/td>\n
\n
2000\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
82397.41 <\/p>\n<\/td>\n<\/tr>\n
\n
\u042d\u043b\u044c\u0431\u0440\u0443\u0441 8\u0421\u0412  <\/p>\n<\/td>\n
\n
1550\u041c\u0413\u0446<\/p>\n<\/td>\n
\n
55424.05    <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
\u0427\u0442\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e<\/h2>\n
\u0411\u044b\u043b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043a\u043e\u0434 ggml.c \u043f\u043e\u0434 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043f\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u044c Q4_0. \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0439 \u043e\u0442 @troosh<\/a>. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0435\u0441\u0442\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 Q4_0. \u041f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0438\u043d\u0442\u0440\u0438\u043d\u0441\u0438\u043a\u0438 \u042d\u043b\u044c\u0431\u0440\u0443\u0441\u0430.<\/p>\n
\n
\u041f\u043e\u043f\u044b\u0442\u0430\u043b\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0444\u043e\u0440\u043c\u0430\u0442\u0435 Q4_0 \u0434\u043b\u044f e2k \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u0441 5-\u0439 \u0438 \u0432\u044b\u0448\u0435 \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043a\u043e\u043c\u0430\u043d\u0434 (\u0434\u043b\u044f \u0442\u0435\u0445 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 128-\u043c\u0438 \u0431\u0438\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u043c\u0438), \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e \u0441\u044e\u0434\u0430:\u00a0https:\/\/github.com\/E2Kports\/llama.cpp<\/a><\/p>\n
\u0418\u043c\u0435\u043d\u043d\u043e \u0432 \u044d\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0430\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a. \u0410 \u0432\u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u0434 Q4_1, \u043d\u0430 \u043d\u0435\u0439 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0436\u0434\u0430\u0442\u044c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442. \u041d\u0443\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 Q4_0, \u043b\u0438\u0431\u043e \u043f\u043e\u0434\u043e\u0436\u0434\u0430\u0442\u044c \u043f\u043e\u043a\u0430 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0438 \u044d\u0442\u043e\u0442 \u0444\u043e\u0440\u043c\u0430\u0442.<\/p>\n
\u0410 \u0432\u043e\u043e\u0431\u0449\u0435, \u043f\u0440\u043e\u0435\u043a\u0442 llama.cpp \u043d\u0443 \u043e\u0447\u0435\u043d\u044c \u0443\u0436 \u0431\u044b\u0441\u0442\u0440\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f — \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0430\u0440\u0443 \u0440\u0430\u0437 \u043f\u043e\u0434 \u043d\u043e\u0432\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f…<\/p>\n<\/blockquote>\n
\u041d\u0443 \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0434\u0430<\/p>\n
 #if defined(__e2k__) && __iset__ >= 5 static inline __v2di __attribute__((__always_inline__)) e2k_dot_4_0_8_0_quants(__v2di bx, __v2di by0, __v2di by1) {     const __v2di lowMask = __builtin_e2k_qppackdl(0x0f0f0f0f0f0f0f0fLL,                                                   0x0f0f0f0f0f0f0f0fLL);     const __v2di bais = __builtin_e2k_qppackdl(0x0808080808080808LL,                                                0x0808080808080808LL);     const __v2di ones = __builtin_e2k_qppackdl(0x0001000100010001LL,                                                0x0001000100010001LL);          \/\/ Unpack nibbles into individual bytes         __v2di bx0 = __builtin_e2k_qpand( bx,  lowMask ); \/\/ {HLhl} -> {oLol}         __v2di bx1 = __builtin_e2k_qpsrlh( bx, 4 );       \/\/ {HLhl} -> {oHLh}                bx1 = __builtin_e2k_qpand( bx1, lowMask ); \/\/        -> {oHoh}         \/\/ The output vectors contains 32 bytes, each one in [ 0 .. 15 ] interval          \/\/ Reorder bytes in \"y\" block to order in bx0,bx1         __v2di lo = __builtin_e2k_qppermb(by1, by0,                       __builtin_e2k_qppackdl(0x1e1c1a1816141210LL,                                              0x0e0c0a0806040200LL));         __v2di hi = __builtin_e2k_qppermb(by1, by0,                       __builtin_e2k_qppackdl(0x1f1d1b1917151311LL,                                              0x0f0d0b0907050301LL)); #if __iset__ >= 7         \/\/ Move each one in [ -8 .. +7 ] interval:         bx0 = __builtin_e2k_qpsubb(bx0, bais);         bx1 = __builtin_e2k_qpsubb(bx1, bais);          __v2di xy_int32 = __builtin_e2k_qpidotsbwss(bx0, lo, __builtin_e2k_qppackdl(0, 0));                xy_int32 = __builtin_e2k_qpidotsbwss(bx1, hi, xy_int32); #else         \/\/ Get absolute values of \"x\" vectors:         __v2di ax0 = __builtin_e2k_qppermb(bx0 \/* not used *\/,                         __builtin_e2k_qppackdl(0x0706050403020100LL,                                                0x0102030405060708LL), bx0);         __v2di ax1 = __builtin_e2k_qppermb(bx1 \/* not used *\/,                         __builtin_e2k_qppackdl(0x0706050403020100LL,                                                0x0102030405060708LL), bx1);          \/\/ Move each one in [ -8 .. +7 ] interval:         bx0 = __builtin_e2k_qpsubb(bx0, bais);         bx1 = __builtin_e2k_qpsubb(bx1, bais);          \/\/ Sign the values of the y vectors         __v2di sy0 = __builtin_e2k_qpsignb(lo, bx0);         __v2di sy1 = __builtin_e2k_qpsignb(hi, bx1);          \/\/ Perform multiplication and create 16-bit values         __v2di dot0 = __builtin_e2k_qpmaddubsh(sy0, ax0);         __v2di dot1 = __builtin_e2k_qpmaddubsh(sy1, ax1);          \/\/ Reduce to 8 int16_t (overflow not possible: 8 bit * 4 bit => 12 bit)         __v2di dot = __builtin_e2k_qpaddh(dot0, dot1);          \/\/ Reduce to 4 int32_t by integer horizontal sums         __v2di xy_int32 = __builtin_e2k_qpmaddh(ones, dot); #endif          \/\/ Convert vector of 4 int32_t to 4 floats         return __builtin_e2k_qpistofs(xy_int32); }<\/code><\/pre>\n
\u0418\u0437 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0433\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u0434\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 V7. <\/p>\n
\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
\u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0435 \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 Q4_1. <\/p>\n
\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c \u043f\u043e\u0434 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 VLIW \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0421 \u0443\u0447\u0435\u0442\u043e\u043c \u0442\u043e\u0433\u043e \u0447\u0442\u043e Ryzen 7 5800H \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u043f\u043e \u0442\u0435\u0445\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 7\u043d\u043c \u0438 \u0438\u043c\u0435\u0435\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u0443 3200\u041c\u0413\u0446 \u0441 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0434\u043e 4400\u041c\u0413\u0446. \u0410 \u042d\u043b\u044c\u0431\u0440\u0443\u0441 16\u0441 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u043f\u043e 16\u043d\u043c \u0442\u0435\u0445\u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 \u0438 \u0438\u043c\u0435\u0435\u0442 2000\u041c\u0413\u0446 (\u0423 8\u0421\u0412 \u0432\u043e\u043e\u0431\u0449\u0435 1550\u041c\u0413\u0446) \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u043f\u043e\u043b\u043d\u0435 \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n
<\/div>\n

 \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438  https:\/\/habr.com\/ru\/articles\/732508\/<\/a>
<\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-381009","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381009","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=381009"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381009\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=381009"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=381009"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=381009"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}