{"id":329090,"date":"2022-02-04T15:04:32","date_gmt":"2022-02-04T15:04:32","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=329090"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=329090","title":{"rendered":"<span>Few-Shot NER, \u0438\u043b\u0438 \u041a\u0430\u043a \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0442\u044c \u0438 \u043d\u0430\u0447\u0430\u0442\u044c \u0436\u0438\u0442\u044c<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 SberIDP \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0444\u0430\u043a\u0442\u043e\u0432 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0431\u0430\u043d\u043a\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0438\u0439 \u043f\u0443\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0421\u0431\u0435\u0440 \u0443\u0441\u043a\u043e\u0440\u0438\u043b \u0432\u044b\u0434\u0430\u0447\u0443 \u043a\u0440\u0435\u0434\u0438\u0442\u043e\u0432 <a href=\"https:\/\/www.sberbank.ru\/ru\/press_center\/all\/article?newsID=28a2a1f8-373d-491c-843c-2827f1535979&amp;blockID=1303&amp;regionID=77&amp;lang=ru&amp;type=NEWS#:~:text=%25D0%25A1%25D0%25B1%25D0%25B5%25D1%2580%25D0%25B1%25D0%25B0%25D0%25BD%25D0%25BA%2520%25D0%25BF%25D1%2580%25D0%25B5%25D0%25B4%25D0%25BB%25D0%25BE%25D0%25B6%25D0%25B8%25D0%25BB%2520%25D0%25B1%25D0%25B8%25D0%25B7%25D0%25BD%25D0%25B5%25D1%2581%25D1%2583%2520%25D1%2583%25D0%25BD%25D0%25B8%25D0%25BA%25D0%25B0%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D0%25B9%2520%25D0%25BA%25D1%2580%25D0%25B5%25D0%25B4%25D0%25B8%25D1%2582,%25D0%25BC%25D0%25BE%25D0%25B4%25D0%25B5%25D0%25BB%25D1%258C%2520%25D0%25BE%25D1%2581%25D0%25BD%25D0%25BE%25D0%25B2%25D0%25B0%25D0%25BD%25D0%25B0%2520%25D0%25BD%25D0%25B0%2520%25D0%25BD%25D0%25B5%25D0%25B9%25D1%2580%25D0%25BE%25D0%25BD%25D0%25BD%25D0%25BE%25D0%25B9%2520%25D1%2581%25D0%25B5%25D1%2582%25D0%25B8.\">\u0434\u043e 7 \u043c\u0438\u043d\u0443\u0442<\/a>.<\/p>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0442 \u0441\u043e\u0442\u0435\u043d \u0434\u043e \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 NER. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Few-Shot, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u043c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u0434\u043e\u0441\u0442\u0438\u0447\u044c state-of-the-art \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/thunlp\/Few-NERD\">Few-NERD<\/a> \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 <a href=\"https:\/\/huggingface.co\/sberbank-ai\/bert-base-NER-reptile-5-datasets\">\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430<\/a> \u043d\u0430 HuggingFace \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\" title=\"\" height=\"630\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ac\/871\/9f0\/2ac8719f0b87259938944373b5e30e5f.png\" data-width=\"1200\"\/><figcaption><\/figcaption><\/figure>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 NER<\/h2>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (Named Entity Recognition, NER) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438. \u0417\u0430\u0434\u0430\u0447\u0430 NER \u2014 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u043f\u0430\u043d\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 (\u0441\u043f\u0430\u043d \u2014 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0442\u0435\u043a\u0441\u0442\u0430). \u041f\u043e \u0441\u0443\u0442\u0438, \u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0432\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0441\u043f\u0430\u043d\u044b. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u0430\u043a \u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u2014 F-\u043c\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043e\u0431 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u043e\u0439 <a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2021\/06\/part-10-step-by-step-guide-to-master-nlp-named-entity-recognition\/\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 NER\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 NER\" height=\"116\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39a\/305\/912\/39a3059126881e695218f474dc95b57f.png\" data-width=\"736\"\/><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 NER<\/figcaption><\/figure>\n<p>\u0414\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0440\u0435\u0448\u0430\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0442\u0438\u043f\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/1603.01360.pdf\">CharCNN-BLSTM-CRF<\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\">BERT<\/a>. \u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c, \u0442\u0430\u043a\u0438\u043c \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/\">HuggingFace<\/a>, \u0438\u0445 \u0441\u0442\u0430\u043b\u043e \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c. \u00a0<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER\" title=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER\" height=\"1628\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd5\/47c\/0df\/cd547c0df245dede79d4fc48dcee3003.png\" data-width=\"1892\"\/><figcaption>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER<\/figcaption><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c BERT \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e-\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u0430\u043a \u0437\u0430\u0445\u043e\u0442\u0438\u043c \u2014 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441\u043f\u0430\u043d\u043e\u0432 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043f\u0440\u0438\u0441\u0432\u043e\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043b\u0430\u0441\u0441. \u041e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 NER-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u2014 BIO-\u0441\u0445\u0435\u043c\u0430. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443, \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u043e\u043a\u0430\u0446\u0438\u044f \u0438\u043b\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430), \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0438\u0437 \u0442\u0440\u0435\u0445 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u043e\u0432: B (Begin), I (Inside) \u0438\u043b\u0438 O (Outside). \u041c\u043e\u0434\u0435\u043b\u044c BERT \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0432 \u0441\u043f\u0430\u043d\u044b.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 NER\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 NER\" height=\"1322\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ecf\/875\/563\/ecf87556305f4376084ccbcdc0a72b76.png\" data-width=\"1354\"\/><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 NER<\/figcaption><\/figure>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 BERT \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u0445 \u0441\u043b\u043e\u0436\u043d\u043e, \u0434\u043e\u043b\u0433\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 (\u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u0445). \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:<\/p>\n<ol start=\"1\">\n<li>\n<p><em>Few-Shot<\/em> \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a      \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2103.10385\">P-tuning<\/a>).<\/p>\n<\/li>\n<\/ol>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c.<\/p>\n<h3>Few-Shot NER<\/h3>\n<p><em>Few-Shot Learning<\/em> \u2014 \u044d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0434\u043e \u043f\u0440\u0435\u0434\u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u043e\u0432\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0438\u043b\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u0417\u0430\u0434\u0430\u0447\u0438 Few-Shot \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438: N \u0438 K. \u0417\u0430\u0434\u0430\u0447\u0430 N-way K-shot \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 N \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0437 <a href=\"https:\/\/neptune.ai\/blog\/understanding-few-shot-learning-in-computer-vision\">\u0441\u0442\u0430\u0442\u044c\u0438<\/a>.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c N-way K-shot \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0440\u043e\u0434 \u0441\u043e\u0431\u0430\u043a. \u0423 \u043d\u0430\u0441 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043f\u043e K (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 3) \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441\u043e\u0431\u0430\u043a \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 N \u043f\u043e\u0440\u043e\u0434 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 20), \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u0442\u0438\u0446. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0441 \u043f\u0442\u0438\u0446\u0430\u043c\u0438. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b E \u0440\u0430\u0437 \u044d\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043d\u0430\u043c \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 E \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432 \u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c N \u0432\u0438\u0434\u043e\u0432 \u043f\u0442\u0438\u0446 \u0438 \u043f\u043e K \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (learning-to-learn) \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 N \u043a\u043b\u0430\u0441\u0441\u043e\u0432.\u00a0\u00a0 <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot learning \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot learning \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438\" height=\"514\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25f\/3ec\/af0\/25f3ecaf0a65bb5144b97ed1d3786d95.png\" data-width=\"827\"\/><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot learning \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438<\/figcaption><\/figure>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438\u043c\u0435\u044f \u0432\u0441\u0435\u0433\u043e N \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u043f\u043e\u0440\u043e\u0434 \u0441\u043e\u0431\u0430\u043a) \u0438 \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043b\u0430\u0441\u0441, \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0440\u0430\u043d\u0435\u0435 \u043d\u0435\u0432\u0438\u0434\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 (\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u043e\u0440\u043e\u0434\u0443 \u0441\u043e\u0431\u0430\u043a\u0438). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430 \u0441\u043e\u0431\u0430\u043a, \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u0440\u043e\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439!<\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u2014 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Meta_learning#:~:text=Meta%2520learning%2520is%2520a%2520branch,metamemory%252C%2520and%2520meta%252Demotion.\">meta-learning<\/a> (\u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u044c\u0441\u044f). \u0415\u0441\u0442\u044c 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e:<\/p>\n<ul>\n<li>\n<p><strong>Model-based<\/strong> (\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438);<\/p>\n<\/li>\n<li>\n<p><strong>Metric-based<\/strong> (\u0441\u0445\u043e\u0436\u0435 \u0441 KNN; \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p><strong>Optimization-based<\/strong> (\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u00ab\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00bb).<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u043c\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0430\u043c \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 BERT-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f NER.<\/p>\n<p>\u041c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u0434 \u0441\u043e\u0431\u043e\u0439 \u0442\u0430\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443:\u00a0<strong>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0434\u0430\u0435\u0442 \u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 BERT \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 Few-Shot NER.<\/strong><\/p>\n<h2>Few-NERD: A Few-Shot Named Entity Recognition Dataset<\/h2>\n<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 NER \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 Few-Shot \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439) \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041d\u043e \u0433\u0434\u0435 \u0432\u0437\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435?\u00a0\u0420\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0438 \u0442\u0440\u0443\u0434\u043e\u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e\u0439. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 NER-\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 (\u0441\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439) \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u0436\u0435 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435: <a href=\"https:\/\/aclanthology.org\/W12-4501.pdf\">CoNLL-2012 (OntoNotes)<\/a>, <a href=\"https:\/\/www.derczynski.com\/papers\/btc.pdf\">BTC<\/a>, <a href=\"http:\/\/noisy-text.github.io\/2017\/emerging-rare-entities.html\">WNUT17<\/a>, <a href=\"https:\/\/aclanthology.org\/W03-0419.pdf\">CoNLL-2003<\/a>, <a href=\"http:\/\/www.geniaproject.org\/shared-tasks\/bionlp-jnlpba-shared-task-2004\">JNLPBA<\/a>.<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0438\u0437 \u041f\u043e\u0434\u043d\u0435\u0431\u0435\u0441\u043d\u043e\u0439. \u0412 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2105.07464\">Few<u>&#8212;<\/u>NERD<u>: <\/u>A<u> <\/u>Few<u>&#8212;<\/u>Shot<u> <\/u>Named<u> <\/u>Entity<u> <\/u>Recognition<u> <\/u>Dataset<u> (2021)<\/u><\/a> \u043e\u043d\u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 188 000 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 8 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (coarse types), \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 66 \u0443\u0437\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439\u00a0(fine-grained types).<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Few-NERD\" title=\"\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Few-NERD\" height=\"1350\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0f\/ae5\/f94\/d0fae5f946b462e2c061edc95780eed9.png\" data-width=\"1352\"\/><figcaption>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Few-NERD<\/figcaption><\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0434\u0432\u0435 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 Few-Shot NER: <code>Inter \u0438 Intra<\/code>. \u041f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u0443\u0435\u043c:<\/p>\n<blockquote>\n<p><em>\u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445<\/em> Inter<em> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0442 \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u0442. \u0435. \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 8 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0437\u043a\u0438\u0435.\u00a0\u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 <\/em>Intra<em> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0442 \u043f\u043e \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c.<\/em>   <\/p>\n<\/blockquote>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438\u00a0<strong>metric-based\u00a0<\/strong>\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/arxiv.org\/abs\/1703.05175\">ProtoBert<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2010.02405\">StructShot<\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e BERT \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u041c\u044b \u0436\u0435, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u0441\u044f \u043b\u0438 \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u043e\u0439 \u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e\u00a0<strong>optimization-based <\/strong>\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c. \u041d\u0430\u0448 \u0432\u0437\u043e\u0440 \u0443\u043f\u0430\u043b \u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 <a href=\"https:\/\/openai.com\/blog\/reptile\/\">Reptile<\/a>. <\/p>\n<h2>Reptile<\/h2>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c Reptile \u043e\u043f\u0438\u0441\u0430\u043d \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/1803.02999\">On First-Order Meta-Learning Algorithms (2018)<\/a> \u043e\u0442 OpenAI. \u0415\u0441\u043b\u0438 \u0438\u0437\u043b\u0430\u0433\u0430\u0442\u044c \u043a\u0440\u0430\u0442\u043a\u043e, \u0442\u043e \u0441\u0443\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c: \u043c\u044b \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e <em>k<\/em> \u0448\u0430\u0433\u043e\u0432 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0438\u0437 \u0437\u0430\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b Reptile \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 10 \u0438 20, \u043f\u0440\u0438\u0447\u0435\u043c \u043f\u0440\u0438 k=1 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <em>joint training<\/em>. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u043e\u0432\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 Reptile\" title=\"\u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 Reptile\" height=\"168\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b03\/657\/473\/b03657473f2121f0bace0504ba444b6c.png\" data-width=\"685\"\/><figcaption>\u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 Reptile<\/figcaption><\/figure>\n<h2>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>\u041c\u044b \u0441\u0440\u0430\u0437\u0443 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 Inter \u0438 Intra \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u0431\u044b \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0434\u0432\u043e\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Inter. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c: \u0430\u0432\u0442\u043e\u0440\u044b Few-NERD \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 2 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 4 \u0441\u0435\u0442\u0430\u043f\u0430\u0445. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u043e 3 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 2*3*4=24 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432. \u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0430\u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e 24 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u043d\u043e\u0442\u0430\u0446\u0438\u0438, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 (N-way K-shot), \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0435\u043c \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>5-way 1~2-shot<\/p>\n<\/li>\n<li>\n<p>5-way 5~10-shot<\/p>\n<\/li>\n<li>\n<p>10-way 1~2-shot<\/p>\n<\/li>\n<li>\n<p>10-way 5~10-shot<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0434\u0435\u0441\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 K~2K \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435 \u043e\u0442\u00a0K \u0434\u043e 2K. \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0432 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 Few-NERD \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (F-\u043c\u0435\u0440\u0430):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p align=\"center\">\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\"><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\"><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\"><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\"><strong>10-way 5~10-shot<\/strong> <\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p>bert-base-uncased <br \/> + ProtoBert<\/p>\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\">38.83\u00b11.49<\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\"><strong>58.79\u00b10.44<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">32.45\u00b1-0.79<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\"><strong>52.92\u00b10.37<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\">45.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p>bert-base-uncased<br \/> + StructShot<\/p>\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\"><strong>51.88\u00b10.69<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\">57.32\u00b10.64<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\"><strong>43.34\u00b10.1<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\">49.57\u00b13.08<\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>50.53<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c ProtoBert \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 5~10-shot, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c StructShot \u2014 \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 1~2-shot.<\/p>\n<p>\u0412\u0441\u043b\u0435\u0434 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 Few-NERD \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u00a0<a href=\"https:\/\/huggingface.co\/bert-base-uncased\">bert<u>&#8212;<\/u>base<u>&#8212;<\/u>uncased<\/a> \u0438\u0437 HuggingFace \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Reptile \u043d\u0430 5 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445: CoNLL-2012 (OntoNotes), BTC, WNUT17, CoNLL-2003, JNLPBA. <\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 <a href=\"https:\/\/github.com\/openai\/supervised-reptile\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439<\/a> \u043e\u0442 OpenAI. \u0411\u044b\u043b\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 NER, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 10 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 (k \u0432 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u043d\u043e\u0442\u0430\u0446\u0438\u0438 reptile), \u0430 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 Few-Shot \u2014 <a href=\"https:\/\/github.com\/thunlp\/Few-NERD\">github<\/a> \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438 Few-NERD.<\/p>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430\u0448\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 ProtoBert \u0438 StructShot \u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 bert-base-uncased. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f Few-NERD. <\/p>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u0431\u044b\u043b\u0430 Reptile-10s2500. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0432\u0435\u0441\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 BERT, \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 10-shot \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 2500 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0440\u0435\u0436\u0438\u043c Few-Shot \u0441 10 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043d\u0430 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"345\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/297\/936\/e76\/297936e767f10ebbdc7a4561a08bca0a.png\" data-width=\"723\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"345\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3bc\/2cb\/83f\/3bc2cb83f828f88f67a56af7d77ed709.png\" data-width=\"728\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased<br \/> + ProtoBert   <\/p>\n<\/td>\n<td>\n<p><strong>38.83\u00b11.49<\/strong><\/p>\n<\/td>\n<td>\n<p><em>58.79\u00b10.44<\/em><\/p>\n<\/td>\n<td>\n<p><strong>32.45\u00b1-0.79<\/strong>   <\/p>\n<\/td>\n<td>\n<p><em>52.92\u00b10.37<\/em><\/p>\n<\/td>\n<td>\n<p><strong>45.75<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>Reptile-<u>10s2500<\/u> <br \/> + ProtoBert   <\/p>\n<\/td>\n<td>\n<p><em>35.02\u00b10.76<\/em><\/p>\n<\/td>\n<td>\n<p><strong>59.9\u00b10.34<\/strong><\/p>\n<\/td>\n<td>\n<p><em>28.37\u00b10.16<\/em><\/p>\n<\/td>\n<td>\n<p><strong>53.61\u00b10.13<\/strong><\/p>\n<\/td>\n<td>\n<p><em>44.22<\/em><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased <br \/> + StructShot<\/p>\n<\/td>\n<td>\n<p><strong>51.88\u00b10.69<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>57.32\u00b10.64<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>43.34\u00b10.1<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>49.57\u00b13.08<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>50.53<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>Reptile-<u>10s2500<\/u><br \/> +\u00a0StructShot<\/p>\n<\/td>\n<td>\n<p><em>45.66\u00b10.33<\/em><\/p>\n<\/td>\n<td>\n<p><em>52.69\u00b11.68<\/em><\/p>\n<\/td>\n<td>\n<p><em>37.23\u00b10.67<\/em><\/p>\n<\/td>\n<td>\n<p><em>46.34+-0.81<\/em><\/p>\n<\/td>\n<td>\n<p><em>45.48<\/em><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 ProtoBert \u0434\u0430\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 5~10-shot, \u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0445\u0443\u0436\u0435 \u043d\u0430 1~2-shot. \u041c\u043e\u0434\u0435\u043b\u044c StructShot \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439 \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430.<\/p>\n<p>\u041d\u043e \u043c\u044b \u043d\u0435 \u043e\u0442\u0447\u0430\u044f\u043b\u0438\u0441\u044c! \u041c\u044b \u043f\u043e\u0433\u0440\u0443\u0437\u0438\u043b\u0438\u0441\u044c \u0433\u043b\u0443\u0431\u0436\u0435 \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Reptile \u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0410\u0432\u0442\u043e\u0440\u044b \u043e\u0442\u043c\u0435\u0447\u0430\u044e\u0442 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 N-shot \u043f\u0440\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 3N-shot \u0438 \u0431\u043e\u043b\u0435\u0435. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u044d\u0442\u043e, \u043d\u0430\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 1~2-shot \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 10-shot \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Reptile \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 5-shot.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"345\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bef\/7cf\/9e4\/bef7cf9e46b15f5a7ad9f7ac92b5c59b.png\" data-width=\"723\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"345\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a2\/a8e\/6dd\/3a2a8e6ddd221cfbb77977f0dda31e62.png\" data-width=\"728\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased <br \/> + ProtoBert<\/p>\n<\/td>\n<td>\n<p>38.83\u00b11.49<\/p>\n<\/td>\n<td>\n<p>58.79\u00b10.44<\/p>\n<\/td>\n<td>\n<p>32.45\u00b1-0.79<\/p>\n<\/td>\n<td>\n<p>52.92\u00b10.37<\/p>\n<\/td>\n<td>\n<p>45.75<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>Reptile-<u>5s1000<\/u><br \/> + ProtoBert<\/p>\n<\/td>\n<td>\n<p><strong>44.76\u00b10.93<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>60.38\u00b10.36<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>37.18\u00b10.4<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>54.61\u00b10.09<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>49.23<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased <br \/> + StructShot<\/p>\n<\/td>\n<td>\n<p>51.88\u00b10.69<\/p>\n<\/td>\n<td>\n<p>57.32\u00b10.64<\/p>\n<\/td>\n<td>\n<p>43.34\u00b10.1<\/p>\n<\/td>\n<td>\n<p>49.57\u00b13.08<\/p>\n<\/td>\n<td>\n<p>50.52<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>Reptile-<u>5s1000<\/u> +\u00a0StructShot<\/p>\n<\/td>\n<td>\n<p><strong>56.12\u00b10.13<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>62.7+-0.44<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>50.3\u00b10.3<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>58.82+-0.32<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>56.98<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<p>\u041f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u043c \u043d\u0435\u0442\u0440\u0443\u0434\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0432\u0435\u0441\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432 \u0445\u043e\u0434\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f Reptile \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 5-shot, \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0443\u043d\u043a\u0442\u043e\u0432. <\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438 Few-NERD:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p><em>bert-base-uncased <br \/> + ProtoBert<\/em><\/p>\n<\/td>\n<td>\n<p>38.83\u00b11.49<\/p>\n<\/td>\n<td>\n<p>58.79\u00b10.44<\/p>\n<\/td>\n<td>\n<p>32.45\u00b1-0.79<\/p>\n<\/td>\n<td>\n<p>52.92\u00b10.37<\/p>\n<\/td>\n<td>\n<p>45.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased <br \/> + StructShot<\/p>\n<\/td>\n<td>\n<p>51.88\u00b10.69<\/p>\n<\/td>\n<td>\n<p>57.32\u00b10.64<\/p>\n<\/td>\n<td>\n<p>43.34\u00b10.1<\/p>\n<\/td>\n<td>\n<p>49.57\u00b13.08<\/p>\n<\/td>\n<td>\n<p>50.53<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>Reptile-5s1000 +\u00a0StructShot<\/p>\n<\/td>\n<td>\n<p><strong>56.12\u00b10.13<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>62.7+-0.44<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>50.3\u00b10.3<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>58.82+-0.32<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>56.985<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412 \u0440\u0430\u043c\u043a\u0430\u0445 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u043b\u043e\u0433\u043f\u043e\u0441\u0442\u0430 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER \u043d\u0430 \u043c\u0430\u043b\u043e\u043c \u043e\u0431\u044a\u0435\u043c\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Few-Shot \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u041d\u0430\u0448\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435. \u0414\u043b\u044f \u044d\u0442\u0438\u0445 \u0446\u0435\u043b\u0435\u0439 \u043c\u044b <a href=\"https:\/\/huggingface.co\/sberbank-ai\/bert-base-NER-reptile-5-datasets\">\u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c<\/a> \u043d\u0430 HuggingFace. \u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u0438\u043b\u044b \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 Few-NERD, \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u0441\u0430\u0439\u0442 \u0441 <a href=\"https:\/\/ningding97.github.io\/fewnerd\/\">\u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434\u043e\u043c<\/a>.<\/p>\n<p>\u0412 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u043c\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c \u0435\u0449\u0435 \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER. \u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435!<\/p>\n<p><strong>\u041d\u0430\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438: <\/strong><a href=\"https:\/\/github.com\/Kirili4ik\"><strong>\u0413\u0435\u043b\u044c\u0432\u0430\u043d \u041a\u0438\u0440\u0438\u043b\u043b<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/github.com\/prohor33\"><strong>\u0413\u043b\u0430\u0434\u043a\u0438\u0445 \u041f\u0440\u043e\u0445\u043e\u0440<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/www.linkedin.com\/in\/daniil-vodolazsky\/\"><strong>\u0412\u043e\u0434\u043e\u043b\u0430\u0437\u0441\u043a\u0438\u0439 \u0414\u0430\u043d\u0438\u0438\u043b<\/strong><\/a><strong>, <\/strong><a href=\"https:\/\/www.linkedin.com\/in\/igor-galitskiy-4834b6172\/\"><strong>\u0413\u0430\u043b\u0438\u0446\u043a\u0438\u0439 \u0418\u0433\u043e\u0440\u044c<\/strong><\/a><strong>.<\/strong><\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/sberbank\/blog\/649609\/\"> https:\/\/habr.com\/ru\/company\/sberbank\/blog\/649609\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 SberIDP \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0444\u0430\u043a\u0442\u043e\u0432 \u0438\u0437 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412 \u0431\u0430\u043d\u043a\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043d\u0435\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0432 \u044d\u0442\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0438\u0439 \u043f\u0443\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0421\u0431\u0435\u0440 \u0443\u0441\u043a\u043e\u0440\u0438\u043b \u0432\u044b\u0434\u0430\u0447\u0443 \u043a\u0440\u0435\u0434\u0438\u0442\u043e\u0432 <a href=\"https:\/\/www.sberbank.ru\/ru\/press_center\/all\/article?newsID=28a2a1f8-373d-491c-843c-2827f1535979&amp;blockID=1303&amp;regionID=77&amp;lang=ru&amp;type=NEWS#:~:text=%25D0%25A1%25D0%25B1%25D0%25B5%25D1%2580%25D0%25B1%25D0%25B0%25D0%25BD%25D0%25BA%2520%25D0%25BF%25D1%2580%25D0%25B5%25D0%25B4%25D0%25BB%25D0%25BE%25D0%25B6%25D0%25B8%25D0%25BB%2520%25D0%25B1%25D0%25B8%25D0%25B7%25D0%25BD%25D0%25B5%25D1%2581%25D1%2583%2520%25D1%2583%25D0%25BD%25D0%25B8%25D0%25BA%25D0%25B0%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D0%25B9%2520%25D0%25BA%25D1%2580%25D0%25B5%25D0%25B4%25D0%25B8%25D1%2582,%25D0%25BC%25D0%25BE%25D0%25B4%25D0%25B5%25D0%25BB%25D1%258C%2520%25D0%25BE%25D1%2581%25D0%25BD%25D0%25BE%25D0%25B2%25D0%25B0%25D0%25BD%25D0%25B0%2520%25D0%25BD%25D0%25B0%2520%25D0%25BD%25D0%25B5%25D0%25B9%25D1%2580%25D0%25BE%25D0%25BD%25D0%25BD%25D0%25BE%25D0%25B9%2520%25D1%2581%25D0%25B5%25D1%2582%25D0%25B8.\">\u0434\u043e 7 \u043c\u0438\u043d\u0443\u0442<\/a>.<\/p>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0442 \u0441\u043e\u0442\u0435\u043d \u0434\u043e \u0442\u044b\u0441\u044f\u0447 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0433\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 NER. \u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 Few-Shot, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0448\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u043c\u0441\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u0434\u043e\u0441\u0442\u0438\u0447\u044c state-of-the-art \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/thunlp\/Few-NERD\">Few-NERD<\/a> \u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 <a href=\"https:\/\/huggingface.co\/sberbank-ai\/bert-base-NER-reptile-5-datasets\">\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430<\/a> \u043d\u0430 HuggingFace \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0436\u0435\u043b\u0430\u044e\u0449\u0438\u0445.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 NER<\/h2>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (Named Entity Recognition, NER) \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u043d\u0430\u0440\u0430\u0432\u043d\u0435 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438. \u0417\u0430\u0434\u0430\u0447\u0430 NER \u2014 \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0441\u043f\u0430\u043d\u044b \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 (\u0441\u043f\u0430\u043d \u2014 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0442\u0435\u043a\u0441\u0442\u0430). \u041f\u043e \u0441\u0443\u0442\u0438, \u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u0432\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u0441\u043f\u0430\u043d\u044b. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0430\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u0430\u043a \u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0437\u0430\u0434\u0430\u0447 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u2014 F-\u043c\u0435\u0440\u0430. \u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0441\u043b\u044b\u0448\u0430\u043b\u0438 \u043e\u0431 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u0438 \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u043e\u0439 <a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2021\/06\/part-10-step-by-step-guide-to-master-nlp-named-entity-recognition\/\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 NER<\/figcaption><\/figure>\n<p>\u0414\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442 \u043d\u0430\u0437\u0430\u0434 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0440\u0435\u0448\u0430\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0442\u0438\u043f\u0430 <a href=\"https:\/\/arxiv.org\/pdf\/1603.01360.pdf\">CharCNN-BLSTM-CRF<\/a>. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/1810.04805\">BERT<\/a>. \u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c, \u0442\u0430\u043a\u0438\u043c \u043a\u0430\u043a <a href=\"https:\/\/huggingface.co\/\">HuggingFace<\/a>, \u0438\u0445 \u0441\u0442\u0430\u043b\u043e \u043f\u0440\u043e\u0449\u0435 \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c. \u00a0<\/p>\n<figure class=\"full-width\"><figcaption>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER<\/figcaption><\/figure>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c BERT \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e-\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u044d\u0442\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u0430\u043a \u0437\u0430\u0445\u043e\u0442\u0438\u043c \u2014 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0441\u043f\u0430\u043d\u043e\u0432 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043f\u0440\u0438\u0441\u0432\u043e\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043b\u0430\u0441\u0441. \u041e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 NER-\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u2014 BIO-\u0441\u0445\u0435\u043c\u0430. \u041a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443, \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u043e\u043a\u0430\u0446\u0438\u044f \u0438\u043b\u0438 \u043f\u0435\u0440\u0441\u043e\u043d\u0430), \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0438\u0437 \u0442\u0440\u0435\u0445 \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u043e\u0432: B (Begin), I (Inside) \u0438\u043b\u0438 O (Outside). \u041c\u043e\u0434\u0435\u043b\u044c BERT \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0430 \u0437\u0430\u0442\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442 \u0432 \u0441\u043f\u0430\u043d\u044b.<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 NER<\/figcaption><\/figure>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 BERT \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u0445 \u0441\u043b\u043e\u0436\u043d\u043e, \u0434\u043e\u043b\u0433\u043e \u0438 \u0434\u043e\u0440\u043e\u0433\u043e, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 (\u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u043e\u043c \u0438 \u0434\u0440\u0443\u0433\u0438\u0445). \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b:<\/p>\n<ol start=\"1\">\n<li>\n<p><em>Few-Shot<\/em> \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a      \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0445 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438\u00a0<a href=\"https:\/\/arxiv.org\/abs\/2103.10385\">P-tuning<\/a>).<\/p>\n<\/li>\n<\/ol>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u043c \u043e \u043d\u0430\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0441 \u043f\u0435\u0440\u0432\u044b\u043c\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c.<\/p>\n<h3>Few-Shot NER<\/h3>\n<p><em>Few-Shot Learning<\/em> \u2014 \u044d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0434\u043e \u043f\u0440\u0435\u0434\u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u043d\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u043e\u0432\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445 \u0438\u043b\u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f. \u0417\u0430\u0434\u0430\u0447\u0438 Few-Shot \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0443\u043c\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438: N \u0438 K. \u0417\u0430\u0434\u0430\u0447\u0430 N-way K-shot \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0430 N \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0437 <a href=\"https:\/\/neptune.ai\/blog\/understanding-few-shot-learning-in-computer-vision\">\u0441\u0442\u0430\u0442\u044c\u0438<\/a>.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0438\u0442\u044c N-way K-shot \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043f\u043e\u0440\u043e\u0434 \u0441\u043e\u0431\u0430\u043a. \u0423 \u043d\u0430\u0441 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043f\u043e K (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 3) \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0441\u043e\u0431\u0430\u043a \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0437 N \u043f\u043e\u0440\u043e\u0434 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 20), \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043f\u0442\u0438\u0446. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0441 \u043f\u0442\u0438\u0446\u0430\u043c\u0438. \u0412\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b E \u0440\u0430\u0437 \u044d\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043d\u0430\u043c \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e: \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 E \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432 \u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c N \u0432\u0438\u0434\u043e\u0432 \u043f\u0442\u0438\u0446 \u0438 \u043f\u043e K \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f (learning-to-learn) \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0432\u044b\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 N \u043a\u043b\u0430\u0441\u0441\u043e\u0432.\u00a0\u00a0 <\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot learning \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438<\/figcaption><\/figure>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438\u043c\u0435\u044f \u0432\u0441\u0435\u0433\u043e N \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u043f\u043e\u0440\u043e\u0434 \u0441\u043e\u0431\u0430\u043a) \u0438 \u043f\u043e K \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043b\u0430\u0441\u0441, \u043c\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0435\u0433\u043e \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c \u0440\u0435\u0448\u0430\u0442\u044c \u0440\u0430\u043d\u0435\u0435 \u043d\u0435\u0432\u0438\u0434\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 (\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u043e\u0440\u043e\u0434\u0443 \u0441\u043e\u0431\u0430\u043a\u0438). \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430 \u0441\u043e\u0431\u0430\u043a, \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c \u0438\u0445 \u043f\u043e\u0440\u043e\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439!<\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 Few-Shot \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u2014 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Meta_learning#:~:text=Meta%2520learning%2520is%2520a%2520branch,metamemory%252C%2520and%2520meta%252Demotion.\">meta-learning<\/a> (\u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0443\u0447\u0438\u0442\u044c\u0441\u044f). \u0415\u0441\u0442\u044c 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043a \u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e:<\/p>\n<ul>\n<li>\n<p><strong>Model-based<\/strong> (\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438);<\/p>\n<\/li>\n<li>\n<p><strong>Metric-based<\/strong> (\u0441\u0445\u043e\u0436\u0435 \u0441 KNN; \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p><strong>Optimization-based<\/strong> (\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u00ab\u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00bb).<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u0449\u0438\u043c\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0430\u043c \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 BERT-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f NER.<\/p>\n<p>\u041c\u044b \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u0435\u0440\u0435\u0434 \u0441\u043e\u0431\u043e\u0439 \u0442\u0430\u043a\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443:\u00a0<strong>\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0434\u0430\u0435\u0442 \u043b\u0438 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 BERT \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 Few-Shot NER.<\/strong><\/p>\n<h2>Few-NERD: A Few-Shot Named Entity Recognition Dataset<\/h2>\n<p>\u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 NER \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 Few-Shot \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 (\u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439) \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u041d\u043e \u0433\u0434\u0435 \u0432\u0437\u044f\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435?\u00a0\u0420\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 NER \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0438 \u0442\u0440\u0443\u0434\u043e\u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e\u0439. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 NER-\u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 (\u0441\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439) \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u0436\u0435 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435, \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435: <a href=\"https:\/\/aclanthology.org\/W12-4501.pdf\">CoNLL-2012 (OntoNotes)<\/a>, <a href=\"https:\/\/www.derczynski.com\/papers\/btc.pdf\">BTC<\/a>, <a href=\"http:\/\/noisy-text.github.io\/2017\/emerging-rare-entities.html\">WNUT17<\/a>, <a href=\"https:\/\/aclanthology.org\/W03-0419.pdf\">CoNLL-2003<\/a>, <a href=\"http:\/\/www.geniaproject.org\/shared-tasks\/bionlp-jnlpba-shared-task-2004\">JNLPBA<\/a>.<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0438 \u0438\u0437 \u041f\u043e\u0434\u043d\u0435\u0431\u0435\u0441\u043d\u043e\u0439. \u0412 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2105.07464\">Few<u>&#8212;<\/u>NERD<u>: <\/u>A<u> <\/u>Few<u>&#8212;<\/u>Shot<u> <\/u>Named<u> <\/u>Entity<u> <\/u>Recognition<u> <\/u>Dataset<u> (2021)<\/u><\/a> \u043e\u043d\u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0438\u0437 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 188 000 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0439. \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442 8 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 (coarse types), \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 66 \u0443\u0437\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439\u00a0(fine-grained types).<\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Few-NERD<\/figcaption><\/figure>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0434\u0432\u0435 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 Few-Shot NER: <code>Inter \u0438 Intra<\/code>. \u041f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u0443\u0435\u043c:<\/p>\n<blockquote>\n<p><em>\u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445<\/em> Inter<em> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0442 \u0441 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u0442. \u0435. \u043a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0432\u0441\u0435 8 \u0448\u0438\u0440\u043e\u043a\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0437\u043a\u0438\u0435.\u00a0\u041d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 <\/em>Intra<em> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0442 \u043f\u043e \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f\u043c.<\/em>   <\/p>\n<\/blockquote>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0438\u043b\u0430\u0433\u0430\u044e\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438\u00a0<strong>metric-based\u00a0<\/strong>\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 <a href=\"https:\/\/arxiv.org\/abs\/1703.05175\">ProtoBert<\/a> \u0438 <a href=\"https:\/\/arxiv.org\/abs\/2010.02405\">StructShot<\/a> \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e BERT \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u041c\u044b \u0436\u0435, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u0441\u044f \u043b\u0438 \u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u0430\u0440\u0430\u0434\u0438\u0433\u043c\u043e\u0439 \u043c\u0435\u0442\u0430-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e\u00a0<strong>optimization-based <\/strong>\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c. \u041d\u0430\u0448 \u0432\u0437\u043e\u0440 \u0443\u043f\u0430\u043b \u043d\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 <a href=\"https:\/\/openai.com\/blog\/reptile\/\">Reptile<\/a>. <\/p>\n<h2>Reptile<\/h2>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c Reptile \u043e\u043f\u0438\u0441\u0430\u043d \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/arxiv.org\/abs\/1803.02999\">On First-Order Meta-Learning Algorithms (2018)<\/a> \u043e\u0442 OpenAI. \u0415\u0441\u043b\u0438 \u0438\u0437\u043b\u0430\u0433\u0430\u0442\u044c \u043a\u0440\u0430\u0442\u043a\u043e, \u0442\u043e \u0441\u0443\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c: \u043c\u044b \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437 \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e <em>k<\/em> \u0448\u0430\u0433\u043e\u0432 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u043c \u0438\u0437 \u0437\u0430\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432. \u0410\u0432\u0442\u043e\u0440\u044b Reptile \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 10 \u0438 20, \u043f\u0440\u0438\u0447\u0435\u043c \u043f\u0440\u0438 k=1 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <em>joint training<\/em>. \u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043f\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c\u0441\u044f \u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u043e\u0432\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c.<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 Reptile<\/figcaption><\/figure>\n<h2>\u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>\u041c\u044b \u0441\u0440\u0430\u0437\u0443 \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0438\u0441\u044c \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 Inter \u0438 Intra \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u0431\u044b \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0434\u0432\u043e\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 Inter. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c: \u0430\u0432\u0442\u043e\u0440\u044b Few-NERD \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0441 2 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432 4 \u0441\u0435\u0442\u0430\u043f\u0430\u0445. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u043e 3 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442 \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 2*3*4=24 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432. \u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0443 \u043d\u0430\u0441 \u0431\u044b\u043b\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0430\u0441 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e 24 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u043d\u043e\u0442\u0430\u0446\u0438\u0438, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 (N-way K-shot), \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e \u0447\u0435\u0442\u044b\u0440\u0435\u043c \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>5-way 1~2-shot<\/p>\n<\/li>\n<li>\n<p>5-way 5~10-shot<\/p>\n<\/li>\n<li>\n<p>10-way 1~2-shot<\/p>\n<\/li>\n<li>\n<p>10-way 5~10-shot<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0434\u0435\u0441\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 K~2K \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0435 \u043e\u0442\u00a0K \u0434\u043e 2K. \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u0432 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 Few-NERD \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (F-\u043c\u0435\u0440\u0430):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p align=\"center\">\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\"><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\"><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\"><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\"><strong>10-way 5~10-shot<\/strong> <\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p>bert-base-uncased <br \/> + ProtoBert<\/p>\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\">38.83\u00b11.49<\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\"><strong>58.79\u00b10.44<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">32.45\u00b1-0.79<\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\"><strong>52.92\u00b10.37<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\">45.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"148\" width=\"148\">\n<p>bert-base-uncased<br \/> + StructShot<\/p>\n<\/td>\n<td data-colwidth=\"119\" width=\"119\">\n<p align=\"center\"><strong>51.88\u00b10.69<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"center\">57.32\u00b10.64<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\"><strong>43.34\u00b10.1<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"108\" width=\"108\">\n<p align=\"center\">49.57\u00b13.08<\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>50.53<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c ProtoBert \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 5~10-shot, \u0430 \u043c\u043e\u0434\u0435\u043b\u044c StructShot \u2014 \u0432 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445 1~2-shot.<\/p>\n<p>\u0412\u0441\u043b\u0435\u0434 \u0437\u0430 \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 Few-NERD \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u00a0<a href=\"https:\/\/huggingface.co\/bert-base-uncased\">bert<u>&#8212;<\/u>base<u>&#8212;<\/u>uncased<\/a> \u0438\u0437 HuggingFace \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0417\u0430\u0442\u0435\u043c \u043c\u044b \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 Reptile \u043d\u0430 5 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445: CoNLL-2012 (OntoNotes), BTC, WNUT17, CoNLL-2003, JNLPBA. <\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 <a href=\"https:\/\/github.com\/openai\/supervised-reptile\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439<\/a> \u043e\u0442 OpenAI. \u0411\u044b\u043b\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 NER, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 10 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 (k \u0432 \u0432\u044b\u0448\u0435\u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u043e\u0439 \u043d\u043e\u0442\u0430\u0446\u0438\u0438 reptile), \u0430 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 Few-Shot \u2014 <a href=\"https:\/\/github.com\/thunlp\/Few-NERD\">github<\/a> \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0441\u0442\u0430\u0442\u044c\u0438 Few-NERD.<\/p>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h2>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043d\u0430\u0448\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 ProtoBert \u0438 StructShot \u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 bert-base-uncased. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f Few-NERD. <\/p>\n<p>\u041f\u0435\u0440\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u0431\u044b\u043b\u0430 Reptile-10s2500. \u041d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0432\u0435\u0441\u043e\u0432 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 BERT, \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 10-shot \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 2500 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0440\u0435\u0436\u0438\u043c Few-Shot \u0441 10 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043d\u0430 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044c. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<\/td>\n<td>\n<p><strong>5-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>5-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 1~2-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>10-way 5~10-shot<\/strong><\/p>\n<\/td>\n<td>\n<p><strong>Avg<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>bert-base-uncased<br \/> + ProtoBert   <\/p>\n<\/td>\n<td>\n<p><strong>38.83<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-329090","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/329090","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=329090"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/329090\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=329090"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=329090"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=329090"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}