\u041f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0430\u0439\u043b\u043e\u0432. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439: XSLT-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043f\u0430\u0440\u0441\u0438\u043d\u0433, \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0438\u043b\u0438 \u0432\u0438\u0434\u0435\u043e. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u044f \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u0438\u043b \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a GridGain In-Memory Data Fabric<\/b>. \u041e\u043d \u0434\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c distributed computing, MapReduce, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u044d\u0448\u0438 \u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u0438, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0443\u044e \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u043a \u0434\u0430\u043d\u043d\u044b\u043c, job stealing, \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0438 \u0434\u043b\u044f Hadoop \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u043d\u044b\u0435 \u043d\u044b\u043d\u0435 \u0432\u0435\u0449\u0438. \u0418 \u0432\u0441\u0435 \u044d\u0442\u043e \u043b\u0435\u0433\u043a\u043e \u0438 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043a\u0438. \u0412\u044b \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u0449\u0443\u043f\u0430\u0442\u044c \u043f\u043e\u0434 \u0432\u0438\u043d\u0434\u043e\u0432\u0441.<\/p>\n
\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u0441\u0432\u043e\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n
\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 (2.5 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432).
\u0421\u0430\u0439\u0442 \u0431\u044b\u043b \u0432\u044b\u043a\u0430\u0447\u0430\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0442\u0438\u043b\u0438\u0442\u044b wget: <\/p>\n
C:>start wget110 --recursive --level 10 -nc --no-clobber --html-extension --exclude-directories=it,fr --convert-links http:\/\/site.com <\/code><\/pre>\n \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u0443\u0442\u0438\u043b\u0438\u0442\u044b, \u0431\u0443\u0434\u0443\u0442 \u043a\u0430\u0447\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u041d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0433\u043e, \u043d\u0435\u0434\u0435\u043b\u044e \u0433\u0434\u0435-\u0442\u043e. <\/p>\n
\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b Xidel: <\/p>\n
REM \u043e\u0431\u0445\u043e\u0434 \u0434\u0435\u0440\u0435\u0432\u0430 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a \u0443\u0442\u0438\u043b\u0438\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 FOR \/R .\/ %%G IN (dbfamily*.html) DO xidel "%%G" --quiet --extract-file=mytemplate.txt <\/code><\/pre>\n \u0424\u0430\u0439\u043b mytemplate.txt \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0448\u0430\u0431\u043b\u043e\u043d: <\/p>\n
\/\/td\/h1 || " # " || \/\/td[contains(text(),"\u0417\u041d\u0410\u0427")] || " # " || \/\/td[contains(text(),"\u041f\u041e\u041b")] || " # " || \/\/td[contains(text(),"\u041f\u0420\u0418\u0421\u0425\u041e\u0416\u0414\u0415\u041d\u0418\u0415")] || " # " || \/\/td[contains(text(),"\u041f\u0415\u0420\u0415\u0412\u041e\u0414")] <\/code><\/pre>\n \u041d\u043e \u0443\u0436 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u0440\u0435\u0448\u0435\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430\u0445. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u044d\u0442\u043e \u0432\u044b\u043b\u0438\u043b\u043e\u0441\u044c \u0432\u0441\u0435\u0433\u043e \u0432 \u043e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441 \u043d\u0430 java.<\/p>\n
\u041a\u0430\u0436\u0434\u0430\u044f HTML-\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043a\u0430 \u043f\u0430\u0440\u0441\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e XPath-\u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0447\u0438\u0441\u0442\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e html-cleaner<\/p>\n
\u041a\u043e\u0434 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 HTML-\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043a\u0438:<\/b> <\/p>\npublic static ArrayList parseWithXPathList(String path, ArrayList<String> XPathList) { \tcount++; \tString str = ""; \tArrayList list = new ArrayList(); \ttry { \t\tString content = readFile(path, StandardCharsets.UTF_8); \t\tTagNode tagNode = new HtmlCleaner().clean(content); \t\torg.w3c.dom.Document doc = new DomSerializer(new CleanerProperties()).createDOM(tagNode); \t\t\/\/ And then use the standard JAXP interfaces to query it: \t\tXPath xpath = XPathFactory.newInstance().newXPath(); \t\tIterator<String> it = XPathList.iterator(); \t\twhile (it.hasNext()) { \t\t\tString XPath = it.next(); \t\t\tString res = (String) xpath.evaluate(XPath, doc, XPathConstants.STRING); \t\t\t\tlist.add(res); \t\t\t} \t\t\t\/\/ System.out.println(str); \t\t} catch (Exception e) { \t\t\tstr = "" + e; \t\t\tlist.add(str); \t\t} \t\treturn list; \t} <\/code><\/pre>\n \u0412\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a:
ArrayList Xpaths = new ArrayList(Arrays.asList("\/\/title", "\/\/td\/h1"));
ArrayList ResultList = parseWithXPathList(param.toString(), Xpaths);<\/p>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u043e\u0439\u0442\u0438 \u0434\u0435\u0440\u0435\u0432\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u0432\u043e\u043b\u043a\u0435\u0440\u0430:
Files.walkFiletree(startingDir,opts,Integer.MAX_VALUE,parseFiles)
\u0418 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443 \u043f\u0430\u0440\u0441\u0435\u0440. <\/p>\n
if (file.toString().endsWith(".html")) { \t ArrayList<String> Xpaths= new \t ArrayList<String>(Arrays.asList("\/\/title","\/\/td\/h1")); \t ArrayList<String> \t ResultList=parseWithXPathList(file.toString(),Xpaths); \t System.out.format(" %d ) %s %n", count,""+ResultList); \t \/\/castOneAsync(ignite, "" + file); \t} <\/code><\/pre>\n \u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0444\u0430\u0439\u043b\u043e\u0432 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~12 \u0447\u0430\u0441\u043e\u0432
\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c \u043a\u043e\u0434 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0440\u0435\u0439\u043c\u0444\u043e\u0440\u043a\u0430 GridGain, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0435\u0433\u043e \u043d\u0435\u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 Apache Ignite.
\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u0430 \u0448\u0442\u0443\u043a\u0430 \u0442\u0430\u043a: \u0432\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u043e\u0434\u044b (\u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445), \u043d\u043e\u0434\u044b \u043d\u0430\u0439\u0434\u0443\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 \u043f\u043e \u0441\u0435\u0442\u0438 \u0438 \u043d\u0430\u043f\u0438\u0448\u0443\u0442 \u0443 \u0441\u0435\u0431\u044f \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u044f\u0445 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0443 \u0432\u0430\u0441 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 (\u044d\u0442\u043e \u0432\u0430\u0448\u0438 slaves). \u042f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b 12 \u043d\u043e\u0434 \u043d\u0430 3 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 (\u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e 4 \u044f\u0434\u0440\u0430 \u0438 16 GB RAM).
\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u043a\u0430\u0447\u043a\u0438 \u0441\u0430\u0439\u0442\u0430 (~500GB) \u043f\u0430\u043f\u043e\u0447\u043a\u0430 \u0441 html-\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0448\u0430\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043f\u043e \u0441\u0435\u0442\u043a\u0435. \u0420\u0430\u0441\u0448\u0430\u0440\u0435\u043d\u043d\u0430\u044f \u043f\u0430\u043f\u043e\u0447\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u0438\u0434\u043d\u0430 \u0432\u0441\u0435\u043c \u043d\u043e\u0434\u0430\u043c (\u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043f\u0440\u0430\u0432\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430!)<\/p>\n
\u0414\u0430\u043b\u0435\u0435, \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0435 java app \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0442\u043e\u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c master-\u043d\u043e\u0434\u0443: <\/p>\n
Ignite ignite = Ignition.start("D:\\\\grid\\\\1.4\\\\apache-ignite-fabric-1.4.0-bin\\\\config\\\\default-config.xml"); <\/code><\/pre>\n \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0443 \u043d\u0435\u0435 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438 \u043a\u0430\u0441\u0442\u043e\u0432\u0430\u0442\u044c job\u2019\u044b \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043d\u043e\u0434\u044b.
\u0414\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 master, slave \u0442\u0443\u0442 \u043e\u0441\u043b\u043e\u0432\u043d\u043e\u0435. \u041d\u043e\u0434\u044b \u0440\u0430\u0432\u043d\u043e\u043f\u0440\u0430\u0432\u043d\u044b. \u042f \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u043c\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u043d\u043e\u0434\u0443 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434. \u0412\u043e\u043e\u0431\u0449\u0435-\u0442\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u043d\u043e\u0434, \u043d\u043e \u043d\u0430\u043c \u044d\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0438 \u043a \u0447\u0435\u043c\u0443.<\/p>\n
\u041a\u043e\u0434 \u043a\u0430\u0441\u0442\u0443\u044e\u0449\u0438\u0439 job \u0441 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u043e\u043c \u043d\u0430 \u043d\u043e\u0434\u0443:<\/p>\n
public static void castOneAsync(Ignite ignite, String param) { \t\/\/ Enable asynchronous mode. \tIgniteCluster cluster = ignite.cluster(); IgniteCompute asyncCompute = ignite.compute(cluster.forRemotes()).withAsync(); \/\/ Asynchronously execute a job. \tasyncCompute.call(() -> { \t\tSystem.out.println("processing: " + param); ArrayList<String> Xpaths = new ArrayList<String>(Arrays.asList("\/\/title", "\/\/td\/h1")); ArrayList<String> ResultList = parseWithXPathList(param.toString(), Xpaths); \tSystem.out.format(" %d ) %s \\n %n", count, "" + ResultList); \treturn ""+param+" :" + ResultList; \t}); \t\/\/ Get the future for the above invocation. \tIgniteFuture<String> fut = asyncCompute.future(); \t\/\/ Asynchronously listen for completion and print out the result. \tfut.listen(f -> { \t\tString resultStr = f.get()+" \\n"; \t\t\/\/ System.out.println("Job result: " + resultStr); \t\tcount++; \t\t\ttry { Files.write(Paths.get("d:\\\\grid\\\\result.txt"), resultStr.getBytes(), StandardOpenOption.APPEND); \t\t\t} catch (IOException e) { \t\t\t\tSystem.out.println("" + e); \t\t\t} \t\t\tif (count%100==0) System.out.println( "processed: "+count ); \t\t}); \t} <\/code><\/pre>\n \u0412\u0430\u0436\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b: <\/p>\n
\n- \u041d\u043e\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0430\u043f\u043a\u0443 \u0441 java \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0432 \u0432\u0438\u0434\u0435 default-config.xml \u0444\u0430\u0439\u043b\u0430. \u0421\u0442\u0430\u0440\u0442\u0443\u0435\u0442 \u0438\u0437 ignite.bat.
\u041f\u0430\u043f\u043a\u0443 \u0441 \u043d\u043e\u0434\u043e\u0439 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442\u0435 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u043d\u043e\u0434\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435.
\u0421\u043a\u0430\u0447\u0430\u0442\u044c \u043d\u043e\u0434\u0443<\/a> (\u041e\u043d\u0438 \u0435\u0435 \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 fabric’\u043e\u0439) <\/li>\n- \u0423 \u0432\u0441\u0435\u0445 \u043d\u043e\u0434 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b.<\/li>\n
- Ignite \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e peer class loading (Zero Deployment). \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u0430\u043c \u043d\u0435 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0430\u0448 \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0430 \u0432\u0441\u0435 \u043d\u043e\u0434\u044b. \u041e\u043d \u0441\u0430\u043c \u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u0441\u044f. \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0430\u044f \u0444\u0438\u0447\u0430. \u042d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u043a\u0443\u0447\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.
\u041d\u043e \u043d\u0430\u0434\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u044d\u0442\u0443 \u0444\u0438\u0447\u0443 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435. \u041f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u0441 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0438\u0447\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b. <\/li>\n - \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0434 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0438 \u044d\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c. <\/li>\n
- \u0414\u0430, \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u043d\u043e\u0434\u044b \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043f\u043f. <\/li>\n
- \u0412 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 \u043d\u0430\u0434\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c IP-\u0430\u0434\u0440\u0435\u0441\u0430 \u043c\u0430\u0448\u0438\u043d \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 <\/li>\n
- \u041d\u0443\u0436\u043d\u0430 java 8, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f lambda <\/li>\n
- \u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c master node, \u0442\u043e \u0442\u0430\u0441\u043a\u0438, \u043a-\u0435 \u043e\u043d\u0430 \u043a\u0430\u0441\u0442\u0430\u043d\u0443\u043b\u0430, \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0443\u043c\u0440\u0443\u0442. <\/li>\n
- \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0443 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u043b\u044e\u0431\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430: \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 CPU, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e job’\u043e\u0432, \u043d\u043e \u044f \u0434\u043e\u0432\u0435\u0440\u0438\u043b\u0441\u044f \u0432\u0438\u0437\u0430\u0440\u0434\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u043c\u0443 \u043d\u0430 \u043a\u0430\u043a\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u043b\u0443\u0447\u0448\u0435 \u043a\u0438\u043d\u0443\u0442\u044c job<\/li>\n<\/ul>\n
\u0412 \u0438\u0442\u043e\u0433\u0435, \u043c\u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0443\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0435\u043a\u0442 \u0432 \u043e\u0434\u0438\u043d java class ~200 \u0441\u0442\u0440\u043e\u043a \u043a\u043e\u0434\u0430 \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438. \u041a\u043b\u0430\u0441\u0441\u0443 \u043d\u0443\u0436\u043d\u044b jar files \u0441 htmlcleaner \u0438 apache ignite.<\/p>\n
\u041c\u043e\u0436\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e html cleaner \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 Xidel. \u041e\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 XQuery \u0438 XPath.
T\u043e\u0433\u0434\u0430 \u043d\u0430\u0434\u043e \u0435\u0435 \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0441 \u043d\u043e\u0434\u0430\u043c\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e PATH \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u044c\u0442 \u043f\u0440\u044f\u043c\u043e \u0438\u0437 java. \u0417\u0430\u0442\u043e \u0431\u0443\u0434\u0435\u0442\u0435 \u043d\u0430\u0441\u043b\u0430\u0436\u0434\u0430\u0442\u044c\u0441\u044f XQuery.<\/p>\n
\u0415\u0441\u043b\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0432\u044b\u0437\u043e\u0432\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441, \u0442\u043e \u043d\u0430\u043f\u0438\u0448\u0443 \u0435\u0449\u0435 \u043f\u0440\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u044d\u0448, \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 distributed \u0448\u0442\u0443\u0447\u043a\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435<\/p>\n
\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0434\u043b\u044f Eclipse <\/a><\/p>\n \u2014 <\/a><\/p>\npackage gridE; import org.apache.ignite.Ignite; import org.apache.ignite.IgniteCluster; import org.apache.ignite.IgniteCompute; import org.apache.ignite.Ignition; import org.apache.ignite.lang.IgniteFuture; import org.htmlcleaner.CleanerProperties; import org.htmlcleaner.DomSerializer; import org.htmlcleaner.HtmlCleaner; import org.htmlcleaner.TagNode; import javax.xml.xpath.XPath; import javax.xml.xpath.XPathConstants; import javax.xml.xpath.XPathFactory; import java.io.File; import java.io.IOException; import java.io.PrintWriter; import java.nio.charset.Charset; import java.nio.charset.StandardCharsets; import java.nio.file.*; import java.nio.file.attribute.BasicFileAttributes; import java.util.ArrayList; import java.util.Arrays; import java.util.Date; import java.util.EnumSet; import java.util.Iterator; import java.util.Scanner; import static java.nio.file.FileVisitResult.CONTINUE; \/** * Created by Veaceslav Kunitki on 11\/13\/2015. * This class parse files on cluster with "Apache Ignite" framework *\/ import static java.nio.file.FileVisitResult.*; public class ParseFilesOnCluster extends SimpleFileVisitor<Path> { \tIgnite ignite; \tpublic static long count = 0; \/\/ counter of parsed files \t\/\/ Java standart FileTree walker \t@Override \tpublic FileVisitResult visitFile(Path file, BasicFileAttributes attr) { \t\tif (attr.isSymbolicLink()) { \t\t\tSystem.out.format("Symbolic link: %s ", file); \t\t} else if (attr.isRegularFile()) { \t\t\t\/\/ System.out.format("Regular file: %s ", file); \t\t\tif (file.toString().endsWith(".html") ) { \t\t\t\/\/if (file.toString().endsWith(".html") ) { \/\/ uncomment it for serial processing \t\t\t\t\/\/ArrayList<String> Xpaths = new ArrayList<String>(Arrays.asList("\/\/title", "\/\/td\/h1")); \t\t\t\t\/\/ ArrayList<String> \t\t\t\t\/\/ ResultList=parseWithXPathList(file.toString(),Xpaths); \t\t\t\t\/\/ System.out.format(" %d ) %s %n", count,""+ResultList); \t\t\t\tcastOneAsync(ignite, "" + file); \/\/ parallel processing \t\t\t} \t\t} else { \t\t\tSystem.out.format("Other: %s ", file); \t\t} \t\treturn CONTINUE; \t} \t\/\/ Print each directory visited. \t@Override \tpublic FileVisitResult postVisitDirectory(Path dir, IOException exc) { \t\tSystem.out.format("Directory: %s%n", dir); \t\treturn CONTINUE; \t} \t@Override \tpublic FileVisitResult visitFileFailed(Path file, IOException exc) { \t\tSystem.err.println(exc); \t\treturn CONTINUE; \t} \tstatic String readFile(String path, Charset encoding) throws IOException { \t\tbyte[] encoded = Files.readAllBytes(Paths.get(path)); \t\treturn new String(encoded, encoding); \t} \tpublic static ArrayList parseWithXPathList(String path, ArrayList<String> XPathList) { \t\tcount++; \t\tString str = ""; \t\tArrayList list = new ArrayList(); \t\ttry { \t\t\tString content = readFile(path, StandardCharsets.UTF_8); \t\t\tTagNode tagNode = new HtmlCleaner().clean(content); \t\t\torg.w3c.dom.Document doc = new DomSerializer(new CleanerProperties()).createDOM(tagNode); \t\t\t\/\/ And then use the standard JAXP interfaces to query it: \t\t\tXPath xpath = XPathFactory.newInstance().newXPath(); \t\t\t\/\/ String str = (String) xpath.evaluate("\/\/div\/\/td[contains(@id, \t\t\t\/\/ 'foo')]\/text()", \t\t\tIterator<String> it = XPathList.iterator(); \t\t\twhile (it.hasNext()) { \t\t\t\tString XPath = it.next(); \t\t\t\tString res = (String) xpath.evaluate(XPath, doc, XPathConstants.STRING); \t\t\t\tlist.add(res); \t\t\t} \t\t\t\/\/ System.out.println(str); \t\t} catch (Exception e) { \t\t\tstr = "" + e; \t\t\tlist.add(str); \t\t} \t\treturn list; \t} \t\/* \t * Asynchronously execute a job on external PC \t *\/ \tpublic static void castOneAsync(Ignite ignite, String param) { \t\t\/\/ Enable asynchronous mode. \t\tIgniteCluster cluster = ignite.cluster(); \t\t\/\/ IgniteCompute compute1 = ignite.compute(cluster.forRemotes()); \t\tIgniteCompute asyncCompute = ignite.compute(cluster.forRemotes()).withAsync(); \t\t\/\/ Asynchronously execute a job. \t\tasyncCompute.call(() -> { \t\t\t\/\/ Print hello world on some cluster node and wait for completion. \t\t\tSystem.out.println("processing: " + param); \t\t\tArrayList<String> Xpaths = new ArrayList<String>(Arrays.asList("\/\/title", "\/\/li\/@data-zoom")); \t\t\tArrayList<String> ResultList = parseWithXPathList(param.toString(), Xpaths); \t\t\tSystem.out.format(" %d ) %s \\n %n", count, "" + ResultList); \t\t\tString text = new Scanner(new File(param.toString()), "UTF-8").useDelimiter("\\\\A").next(); \t\t\treturn "{ 'url':" + param + " ,'ResultList'=" + ResultList + " }"; \t\t}); \t\t\/\/ Get the future for the above invocation. \t\tIgniteFuture<String> fut = asyncCompute.future(); \t\t\/\/ Asynchronously listen for completion and print out the result. \t\tfut.listen(f -> { \t\t\tString resultStr = f.get() + " \\n"; \t\t\t\/\/ System.out.println("Job result: " + resultStr); \t\t\tcount++; \t\t\ttry { \t\t\t\tFiles.write(Paths.get("d:\\\\grid\\\\result.txt"), resultStr.getBytes(), StandardOpenOption.APPEND ); \/\/Warning! File must be exist, do it manual! \t\t\t} catch (IOException e) { \t\t\t\tSystem.out.println("" + e); \t\t\t} \t\t\tif (count % 100 == 0) \t\t\t\tSystem.out.println("processed: " + count); \t\t}); \t} \tpublic static void main(String[] args) throws Exception { \t\tSystem.out.println("# Distributed parser!"); \t\tIgnite ignite = Ignition.start("D:\\\\grid\\\\1.4\\\\apache-ignite-fabric-1.4.0-bin\\\\config\\\\default-config.xml");\t \t\tIgniteCluster cluster = ignite.cluster(); \t\t\/\/ Compute instance over remote nodes. \t\tIgniteCompute compute4remote = ignite.compute(cluster.forRemotes()); \t\t\/\/ Print hello message on all remote nodes. \t\tcompute4remote.broadcast( \t\t\t\t() -> System.out.println("---===Distributed parser started===---: " + cluster.localNode().id())); \t\tSystem.out.println( "Cluster ready!" ); \t\tif (true) { \/\/ start parsing job \t\t\t\/\/ final Path startingDir = Paths.get("d:\/home\/familytree.ru\/"); \t\t\tPath startingDir = Paths.get("\\\\\\\\SERGIU-PC\\\\temp"); \/\/ shared directory with HTML-files \t\t\tEnumSet<FileVisitOption> opts = EnumSet.of(FileVisitOption.FOLLOW_LINKS); \t\t\tParseFiles parseFiles = new ParseFiles(); \t\t\tparseFiles.ignite = ignite; \t\t\t\/\/ log time to file \t\t\tPrintWriter writer = new PrintWriter("d:\\\\grid\\\\start.txt", "UTF-8");\t\t\t \t\t\tString dateTime = "" + (new Date()); \t\t\twriter.println(dateTime + "\\n"); \t\t\tSystem.out.println(dateTime + "\\n"); \t\t\twriter.close(); \t\t\tSystem.out.println("# walking...!"); \t\t\tFiles.walkFileTree(startingDir, opts, Integer.MAX_VALUE, parseFiles); \t\t\t\/\/ log end time\t\t\t \t\t\tdateTime = "" + (new Date()); \t\t\tFiles.write(Paths.get("d:\\\\grid\\\\start.txt"), dateTime.getBytes(), StandardOpenOption.APPEND); \t\t} \t} } <\/code><\/pre>\n POM- file \u0441 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u043c\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430<\/b><\/p>\n<project xmlns="http:\/\/maven.apache.org\/POM\/4.0.0" xmlns:xsi="http:\/\/www.w3.org\/2001\/XMLSchema-instance" \txsi:schemaLocation="http:\/\/maven.apache.org\/POM\/4.0.0 http:\/\/maven.apache.org\/xsd\/maven-4.0.0.xsd"> \t<modelVersion>4.0.0<\/modelVersion> \t<groupId>gridE<\/groupId> \t<artifactId>gridE<\/artifactId> \t<version>0.0.1-SNAPSHOT<\/version> \t<repositories> \t\t<repository> \t\t\t<id>GridGain External Repository<\/id> \t\t\t<url>http:\/\/www.gridgainsystems.com\/nexus\/content\/repositories\/external<\/url> \t\t<\/repository> \t<\/repositories> \t<dependencies> \t\t<dependency> \t\t\t<groupId>org.apache.ignite<\/groupId> \t\t\t<artifactId>ignite-core<\/artifactId> \t\t\t<version>1.4.0<\/version> \t\t<\/dependency> \t\t<dependency> \t\t\t<groupId>org.apache.ignite<\/groupId> \t\t\t<artifactId>ignite-spring<\/artifactId> \t\t\t<version>1.1.4<\/version> \t\t<\/dependency> \t\t<dependency> \t\t\t<groupId>org.apache.ignite<\/groupId> \t\t\t<artifactId>ignite-indexing<\/artifactId> \t\t\t<version>1.4.0<\/version> \t\t<\/dependency> \t\t<dependency> \t\t\t<groupId>org.apache.ignite<\/groupId> \t\t\t<artifactId>ignite-examples<\/artifactId> \t\t\t<version>1.0.0-RC1<\/version> \t\t<\/dependency> \t\t<dependency> \t\t\t<groupId>net.sourceforge.htmlcleaner<\/groupId> \t\t\t<artifactId>htmlcleaner<\/artifactId> \t\t\t<version>2.15<\/version> \t\t<\/dependency> \t<\/dependencies> <\/project> <\/code><\/pre>\n \u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b \u0434\u043b\u044f \u043d\u043e\u0434\u044b <\/b><\/p>\n<?xml version="1.0" encoding="UTF-8"?> <!-- _________ _____ __________________ _____ __ ____\/___________(_)______ \/__ ____\/______ ____(_)_______ _ \/ __ __ ___\/__ \/ _ __ \/ _ \/ __ _ __ `\/__ \/ __ __ \\ \/ \/_\/ \/ _ \/ _ \/ \/ \/_\/ \/ \/ \/_\/ \/ \/ \/_\/ \/ _ \/ _ \/ \/ \/ \\____\/ \/_\/ \/_\/ \\_,__\/ \\____\/ \\__,_\/ \/_\/ \/_\/ \/_\/ Copyright (C) GridGain Systems. All Rights Reserved. Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http:\/\/www.apache.org\/licenses\/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. --> <!-- Ignite Spring configuration file. --> <beans xmlns="http:\/\/www.springframework.org\/schema\/beans" xmlns:xsi="http:\/\/www.w3.org\/2001\/XMLSchema-instance" xmlns:util="http:\/\/www.springframework.org\/schema\/util" xsi:schemaLocation=" http:\/\/www.springframework.org\/schema\/beans http:\/\/www.springframework.org\/schema\/beans\/spring-beans-2.5.xsd http:\/\/www.springframework.org\/schema\/util http:\/\/www.springframework.org\/schema\/util\/spring-util-2.0.xsd"> <bean class="org.apache.ignite.configuration.IgniteConfiguration"> <!-- Set to true to enable grid-aware class loading for examples, default is false. --> <property name="peerClassLoadingEnabled" value="true"\/> <property name="marshaller"> <bean class="org.apache.ignite.marshaller.optimized.OptimizedMarshaller"> <!-- Set to false to allow non-serializable objects in examples, default is true. --> <property name="requireSerializable" value="false"\/> <\/bean> <\/property> <!-- Enable events for examples. --> <property name="includeEventTypes"> <util:constant static-field="org.apache.ignite.events.EventType.EVTS_ALL"\/> <\/property> <!-- Explicitly configure TCP discovery SPI to provide list of initial nodes. --> <property name="discoverySpi"> <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi"> <property name="ipFinder"> <!-- Uncomment multicast IP finder to enable multicast-based discovery of initial nodes. --> <!--<bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.multicast.TcpDiscoveryMulticastIpFinder">--> <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder"> <property name="addresses"> <list> <!-- In distributed environment, replace with actual host IP address. --> <value>127.0.0.1:47500..47509<\/value> \t\t\t\t<value>192.168.4.110:47500..47509<\/value> \t\t\t\t<value>192.168.4.117:47500..47509<\/value> <\/list> <\/property> <\/bean> <\/property> <\/bean> <\/property> <property name="cacheConfiguration"> <bean class="org.apache.ignite.configuration.CacheConfiguration"> <!-- Set a cache name. --> <property name="name" value="cacheName"\/> <!-- Set cache mode. --> <property name="cacheMode" value="PARTITIONED"\/> <\/bean> <\/property> <\/bean> <\/beans> <\/code><\/pre>\n<\/div>\n \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 http:\/\/habrahabr.ru\/post\/271475\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" \u041f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0430\u0439\u043b\u043e\u0432. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439: XSLT-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043f\u0430\u0440\u0441\u0438\u043d\u0433, \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u0438\u043b\u0438 \u0432\u0438\u0434\u0435\u043e. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u044f \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u0438\u043b \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a GridGain In-Memory Data Fabric<\/b>. \u041e\u043d \u0434\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c distributed computing, MapReduce, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043a\u044d\u0448\u0438 \u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u0438, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u0443\u044e \u0444\u0430\u0439\u043b\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u043a \u0434\u0430\u043d\u043d\u044b\u043c, job stealing, \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u0435\u043b\u0438 \u0434\u043b\u044f Hadoop \u0438 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u043d\u044b\u0435 \u043d\u044b\u043d\u0435 \u0432\u0435\u0449\u0438. \u0418 \u0432\u0441\u0435 \u044d\u0442\u043e \u043b\u0435\u0433\u043a\u043e \u0438 \u043f\u043e\u0434 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043a\u0438. \u0412\u044b \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u0449\u0443\u043f\u0430\u0442\u044c \u043f\u043e\u0434 \u0432\u0438\u043d\u0434\u043e\u0432\u0441.<\/p>\n
\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e \u0441\u0432\u043e\u0435\u043c \u043e\u043f\u044b\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n
\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u0430\u0439\u0442\u0430 (2.5 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432).
\u0421\u0430\u0439\u0442 \u0431\u044b\u043b \u0432\u044b\u043a\u0430\u0447\u0430\u043d \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0443\u0442\u0438\u043b\u0438\u0442\u044b wget: <\/p>\n
C:>start wget110 --recursive --level 10 -nc --no-clobber --html-extension --exclude-directories=it,fr --convert-links http:\/\/site.com <\/code><\/pre>\n \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u0443\u0442\u0438\u043b\u0438\u0442\u044b, \u0431\u0443\u0434\u0443\u0442 \u043a\u0430\u0447\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e. \u041d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0433\u043e, \u043d\u0435\u0434\u0435\u043b\u044e \u0433\u0434\u0435-\u0442\u043e. <\/p>\n
\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u044f \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0441\u043f\u0430\u0440\u0441\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u044b Xidel: <\/p>\n
REM \u043e\u0431\u0445\u043e\u0434 \u0434\u0435\u0440\u0435\u0432\u0430 \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u043e\u0432 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a \u0443\u0442\u0438\u043b\u0438\u0442\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u0430 FOR \/R .\/ %%G IN (dbfamily*.html) DO xidel "%%G" --quiet --extract-file=mytemplate.txt <\/code><\/pre>\n \u0424\u0430\u0439\u043b mytemplate.txt \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u0448\u0430\u0431\u043b\u043e\u043d: <\/p>\n
\/\/td\/h1 || " # " || \/\/td[contains(text(),"\u0417\u041d\u0410\u0427")] || " # " || \/\/td[contains(text(),"\u041f\u041e\u041b")] || " # " || \/\/td[contains(text(),"\u041f\u0420\u0418\u0421\u0425\u041e\u0416\u0414\u0415\u041d\u0418\u0415")] || " # " || \/\/td[contains(text(),"\u041f\u0415\u0420\u0415\u0412\u041e\u0414")] <\/code><\/pre>\n \u041d\u043e \u0443\u0436 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u043b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u044b\u043b\u043e \u0440\u0435\u0448\u0435\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430\u0445. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u044d\u0442\u043e \u0432\u044b\u043b\u0438\u043b\u043e\u0441\u044c \u0432\u0441\u0435\u0433\u043e \u0432 \u043e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441 \u043d\u0430 java.<\/p>\n
\u041a\u0430\u0436\u0434\u0430\u044f HTML-\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043a\u0430 \u043f\u0430\u0440\u0441\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e XPath-\u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0447\u0438\u0441\u0442\u0438\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e html-cleaner<\/p>\n
\u041a\u043e\u0434 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 HTML-\u0441\u0442\u0440\u0430\u043d\u0438\u0447\u043a\u0438:<\/b> <\/p>\npublic static ArrayList parseWithXPathList(String path, ArrayList<String> XPathList) { \tcount++; \tString str = ""; \tArrayList list = new ArrayList(); \ttry { \t\tString content = readFile(path, StandardCharsets.UTF_8); \t\tTagNode tagNode = new HtmlCleaner().clean(content); \t\torg.w3c.dom.Document doc = new DomSerializer(new CleanerProperties()).createDOM(tagNode); \t\t\/\/ And then use the standard JAXP interfaces to query it: \t\tXPath xpath = XPathFactory.newInstance().newXPath(); \t\tIterator<String> it = XPathList.iterator(); \t\twhile (it.hasNext()) { \t\t\tString XPath = it.next(); \t\t\tString res = (String) xpath.evaluate(XPath, doc, XPathConstants.STRING); \t\t\t\tlist.add(res); \t\t\t} \t\t\t\/\/ System.out.println(str); \t\t} catch (Exception e) { \t\t\tstr = "" + e; \t\t\tlist.add(str); \t\t} \t\treturn list; \t} <\/code><\/pre>\n \u0412\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a:
ArrayList Xpaths = new ArrayList(Arrays.asList("\/\/title", "\/\/td\/h1"));
ArrayList ResultList = parseWithXPathList(param.toString(), Xpaths);<\/p>\n
\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u043e\u0439\u0442\u0438 \u0434\u0435\u0440\u0435\u0432\u043e \u043a\u0430\u0442\u0430\u043b\u043e\u0433\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u0432\u043e\u043b\u043a\u0435\u0440\u0430:
Files.walkFiletree(startingDir,opts,Integer.MAX_VALUE,parseFiles)
\u0418 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0443 \u043f\u0430\u0440\u0441\u0435\u0440. <\/p>\n
if (file.toString().endsWith(".html")) { \t ArrayList<String> Xpaths= new \t ArrayList<String>(Arrays.asList("\/\/title","\/\/td\/h1")); \t ArrayList<String> \t ResultList=parseWithXPathList(file.toString(),Xpaths); \t System.out.format(" %d ) %s %n", count,""+ResultList); \t \/\/castOneAsync(ignite, "" + file); \t} <\/code><\/pre>\n \u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0444\u0430\u0439\u043b\u043e\u0432 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~12 \u0447\u0430\u0441\u043e\u0432
\u041f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c \u043a\u043e\u0434 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0440\u0435\u0439\u043c\u0444\u043e\u0440\u043a\u0430 GridGain, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0435\u0433\u043e \u043d\u0435\u043a\u043e\u043c\u043c\u0435\u0440\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 Apache Ignite.
\u0420\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u044d\u0442\u0430 \u0448\u0442\u0443\u043a\u0430 \u0442\u0430\u043a: \u0432\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u043e\u0434\u044b (\u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445), \u043d\u043e\u0434\u044b \u043d\u0430\u0439\u0434\u0443\u0442 \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 \u043f\u043e \u0441\u0435\u0442\u0438 \u0438 \u043d\u0430\u043f\u0438\u0448\u0443\u0442 \u0443 \u0441\u0435\u0431\u044f \u0432 \u043a\u043e\u043d\u0441\u043e\u043b\u044f\u0445 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 \u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0443 \u0432\u0430\u0441 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 (\u044d\u0442\u043e \u0432\u0430\u0448\u0438 slaves). \u042f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b 12 \u043d\u043e\u0434 \u043d\u0430 3 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 (\u043a\u0430\u0436\u0434\u0430\u044f \u043f\u043e 4 \u044f\u0434\u0440\u0430 \u0438 16 GB RAM).
\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u043a\u0430\u0447\u043a\u0438 \u0441\u0430\u0439\u0442\u0430 (~500GB) \u043f\u0430\u043f\u043e\u0447\u043a\u0430 \u0441 html-\u043a\u0430\u043c\u0438 \u0440\u0430\u0441\u0448\u0430\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043f\u043e \u0441\u0435\u0442\u043a\u0435. \u0420\u0430\u0441\u0448\u0430\u0440\u0435\u043d\u043d\u0430\u044f \u043f\u0430\u043f\u043e\u0447\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c \u0432\u0438\u0434\u043d\u0430 \u0432\u0441\u0435\u043c \u043d\u043e\u0434\u0430\u043c (\u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u043f\u0440\u0430\u0432\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430!)<\/p>\n
\u0414\u0430\u043b\u0435\u0435, \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0435 java app \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0442\u043e\u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u0442\u044c master-\u043d\u043e\u0434\u0443: <\/p>\n
Ignite ignite = Ignition.start("D:\\\\grid\\\\1.4\\\\apache-ignite-fabric-1.4.0-bin\\\\config\\\\default-config.xml"); <\/code><\/pre>\n \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0443 \u043d\u0435\u0435 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438 \u043a\u0430\u0441\u0442\u043e\u0432\u0430\u0442\u044c job\u2019\u044b \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043d\u043e\u0434\u044b.
\u0414\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 master, slave \u0442\u0443\u0442 \u043e\u0441\u043b\u043e\u0432\u043d\u043e\u0435. \u041d\u043e\u0434\u044b \u0440\u0430\u0432\u043d\u043e\u043f\u0440\u0430\u0432\u043d\u044b. \u042f \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u043c\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u043d\u043e\u0434\u0443 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434. \u0412\u043e\u043e\u0431\u0449\u0435-\u0442\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u043f\u043e \u0442\u0438\u043f\u0430\u043c \u043d\u043e\u0434, \u043d\u043e \u043d\u0430\u043c \u044d\u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0438 \u043a \u0447\u0435\u043c\u0443.<\/p>\n
\u041a\u043e\u0434 \u043a\u0430\u0441\u0442\u0443\u044e\u0449\u0438\u0439 job \u0441 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u043e\u043c \u043d\u0430 \u043d\u043e\u0434\u0443:<\/p>\n
public static void castOneAsync(Ignite ignite, String param) { \t\/\/ Enable asynchronous mode. \tIgniteCluster cluster = ignite.cluster(); IgniteCompute asyncCompute = ignite.compute(cluster.forRemotes()).withAsync(); \/\/ Asynchronously execute a job. \tasyncCompute.call(() -> { \t\tSystem.out.println("processing: " + param); ArrayList<String> Xpaths = new ArrayList<String>(Arrays.asList("\/\/title", "\/\/td\/h1")); ArrayList<String> ResultList = parseWithXPathList(param.toString(), Xpaths); \tSystem.out.format(" %d ) %s \\n %n", count, "" + ResultList); \treturn ""+param+" :" + ResultList; \t}); \t\/\/ Get the future for the above invocation. \tIgniteFuture<String> fut = asyncCompute.future(); \t\/\/ Asynchronously listen for completion and print out the result. \tfut.listen(f -> { \t\tString resultStr = f.get()+" \\n"; \t\t\/\/ System.out.println("Job result: " + resultStr); \t\tcount++; \t\t\ttry { Files.write(Paths.get("d:\\\\grid\\\\result.txt"), resultStr.getBytes(), StandardOpenOption.APPEND); \t\t\t} catch (IOException e) { \t\t\t\tSystem.out.println("" + e); \t\t\t} \t\t\tif (count%100==0) System.out.println( "processed: "+count ); \t\t}); \t} <\/code><\/pre>\n \u0412\u0430\u0436\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b: <\/p>\n
\n- \u041d\u043e\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0437 \u0441\u0435\u0431\u044f \u043f\u0430\u043f\u043a\u0443 \u0441 java \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0432 \u0432\u0438\u0434\u0435 default-config.xml \u0444\u0430\u0439\u043b\u0430. \u0421\u0442\u0430\u0440\u0442\u0443\u0435\u0442 \u0438\u0437 ignite.bat.
\u041f\u0430\u043f\u043a\u0443 \u0441 \u043d\u043e\u0434\u043e\u0439 \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442\u0435 \u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0441\u0442\u0430\u043d\u0441\u043e\u0432 \u043d\u043e\u0434\u044b \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435.
\u0421\u043a\u0430\u0447\u0430\u0442\u044c \u043d\u043e\u0434\u0443<\/a> (\u041e\u043d\u0438 \u0435\u0435 \u043f\u043e\u0447\u0435\u043c\u0443-\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 fabric’\u043e\u0439) <\/li>\n- \u0423 \u0432\u0441\u0435\u0445 \u043d\u043e\u0434 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0444\u0430\u0439\u043b.<\/li>\n
- Ignite \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e peer class loading (Zero Deployment). \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u0430\u043c \u043d\u0435 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0430\u0448 \u043f\u0440\u043e\u0435\u043a\u0442 \u043d\u0430 \u0432\u0441\u0435 \u043d\u043e\u0434\u044b. \u041e\u043d \u0441\u0430\u043c \u0437\u0430\u0434\u0435\u043f\u043b\u043e\u0438\u0442\u0441\u044f. \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u0442\u0430\u044f \u0444\u0438\u0447\u0430. \u042d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u043a\u0443\u0447\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.
\u041d\u043e \u043d\u0430\u0434\u043e \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u044d\u0442\u0443 \u0444\u0438\u0447\u0443 \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435. \u041f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u0441 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0438\u0447\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b. <\/li>\n - \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u043e\u0434 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u0438 \u044d\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c. <\/li>\n
- \u0414\u0430, \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u043d\u043e\u0434\u044b \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043f\u043f. <\/li>\n
- \u0412 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 \u043d\u0430\u0434\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c IP-\u0430\u0434\u0440\u0435\u0441\u0430 \u043c\u0430\u0448\u0438\u043d \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435 <\/li>\n
- \u041d\u0443\u0436\u043d\u0430 java 8, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f lambda <\/li>\n
- \u0415\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c master node, \u0442\u043e \u0442\u0430\u0441\u043a\u0438, \u043a-\u0435 \u043e\u043d\u0430 \u043a\u0430\u0441\u0442\u0430\u043d\u0443\u043b\u0430, \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0443\u043c\u0440\u0443\u0442. <\/li>\n
- \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u044c \u0443 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u043b\u044e\u0431\u043e\u0439 \u043c\u0430\u0448\u0438\u043d\u0435 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430: \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 CPU, \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e job’\u043e\u0432, \u043d\u043e \u044f \u0434\u043e\u0432\u0435\u0440\u0438\u043b\u0441\u044f \u0432\u0438\u0437\u0430\u0440\u0434\u0443 \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u043c\u0443 \u043d\u0430 \u043a\u0430\u043a\u0443\u044e \u043c\u0430\u0448\u0438\u043d\u0443 \u043b\u0443\u0447\u0448\u0435 \u043a\u0438\u043d\u0443\u0442\u044c job<\/li>\n<\/ul>\n
\u0412 \u0438\u0442\u043e\u0433\u0435, \u043c\u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0443\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0435\u043a\u0442 \u0432 \u043e\u0434\u0438\u043d java class ~200 \u0441\u0442\u0440\u043e\u043a \u043a\u043e\u0434\u0430 \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438. \u041a\u043b\u0430\u0441\u0441\u0443 \u043d\u0443\u0436\u043d\u044b jar files \u0441 htmlcleaner \u0438 apache ignite.<\/p>\n
\u041c\u043e\u0436\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e html cleaner \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u043d\u0435\u0448\u043d\u0435\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 Xidel. \u041e\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 XQuery \u0438 XPath.
T\u043e\u0433\u0434\u0430 \u043d\u0430\u0434\u043e \u0435\u0435 \u043f\u0440\u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0430 \u0432\u0441\u0435\u0445 \u043c\u0430\u0448\u0438\u043d\u0430\u0445 \u0441 \u043d\u043e\u0434\u0430\u043c\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e PATH \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u044c\u0442 \u043f\u0440\u044f\u043c\u043e \u0438\u0437 java. \u0417\u0430\u0442\u043e \u0431\u0443\u0434\u0435\u0442\u0435 \u043d\u0430\u0441\u043b\u0430\u0436\u0434\u0430\u0442\u044c\u0441\u044f XQuery.<\/p>\n
\u0415\u0441\u043b\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044f \u0432\u044b\u0437\u043e\u0432\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441, \u0442\u043e \u043d\u0430\u043f\u0438\u0448\u0443 \u0435\u0449\u0435 \u043f\u0440\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u044d\u0448, \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 distributed \u0448\u0442\u0443\u0447\u043a\u0438 \u043d\u0430 \u044d\u0442\u043e\u043c \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435<\/p>\n