{"id":286398,"date":"2017-05-16T11:15:03","date_gmt":"2017-05-16T07:15:03","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=286398"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2017-05-16T07:15:03","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=286398","title":{"rendered":"\u041f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0446\u0435\u043d \u0434\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430"},"content":{"rendered":"

\u041b\u044e\u0431\u043e\u0439 \u043a\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0441\u0444\u0435\u0440\u0435 e-comerce \u0440\u0430\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u0437\u0434\u043d\u043e \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0431\u044b\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u043c \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432. \u041e\u0434\u0438\u043d \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u043e\u0439. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u0438 \u0442\u0435\u0445 \u043f\u043e\u0442\u0440\u0435\u0431\u0438\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u043e\u0442\u043e\u0432\u044b \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u0430 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043e\u0434\u043d\u0430 \u0442\u0440\u0435\u0442\u044c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0438\u0437\u043a\u0438\u0435 \u0446\u0435\u043d\u044b \u043a\u0430\u043a \u0440\u0435\u0448\u0430\u044e\u0449\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440 \u0432\u044b\u0431\u043e\u0440\u0430 \u043d\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0449\u0438\u043a\u0430. \u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0440\u0430\u0445 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u043a\u0443\u0447\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432, \u043d\u043e \u043f\u043e \u0442\u0435\u043c \u0438\u043b\u0438 \u0438\u043d\u044b\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u043e\u043d\u0438 \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u0438.
<\/a>
\u0421\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0446\u0435\u043d\u0430\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432:<\/b> <\/p>\n

    \n
  1. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0446\u0435\u043d \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u2014 pricelab<\/a>. \u041d\u043e \u0432 \u043d\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0442\u043e\u0432\u0430\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0442 \u0432 yandex market. \u0422\u043e\u0435\u0441\u0442\u044c, \u0432\u0430\u0448 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0432 YandexMarket, \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0439 \u0432\u0430\u0441 \u0442\u043e\u0432\u0430\u0440, \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d, \u0438 \u0432\u044b \u0441\u0430\u043c\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0430\u0448 \u0442\u043e\u0432\u0430\u0440.
    \u041a\u0430\u043a\u0438\u0435 \u0436\u0435 \u043c\u0438\u043d\u0443\u0441\u044b \u0432\u0441\u0435 \u044d\u0442\u043e \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0432\u043b\u0435\u0447\u0435\u0442. \u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0442\u043e, \u0447\u0442\u043e \u0432 YandexMarket \u0446\u0435\u043d\u0430 \u043a\u043b\u0438\u043a\u0430 \u0441\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e \u0446\u0435\u043d\u0435     SKU<\/a> \u0442\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0442\u044c \u0432 \u043d\u0435\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u0432\u0430\u0440\u044b \u0441 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0446\u0435\u043d\u043e\u0439, \u0434\u0430 \u0438 \u0441\u0430\u043c\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0449\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u043e\u0432\u0430\u0440 \u043d\u0435 \u0440\u0435\u043d\u0442\u0430\u0431\u0435\u043b\u044c\u043d\u043e.
    \u0423 \u043d\u0430\u0441 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u043a\u0440\u0438\u043f\u0442 \u0434\u043b\u044f \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0446\u0435\u043d \u0441 pricelab, \u043d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043d\u0435 \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u044e\u0442\u0441\u044f \u0432 pricelab.<\/li>\n
  2. \u0414\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0431\u043e\u0442\u043d\u0438\u043a\u043e\u043c \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u0447\u0435\u0441\u0442\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043c\u0435\u0442\u0430\u0435\u0442\u0441\u044f<\/li>\n
  3. \u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441\u0430\u0439\u0442\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0438 \u043e\u043d \u0434\u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u0430\u0440\u043e\u043c. \u041d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0438\u0441\u0430\u043d \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d.<\/li>\n<\/ol>\n

    \u0418\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b<\/b> <\/p>\n

      \n
    1. \u0411\u0430\u0437\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/li>\n
    2. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430<\/li>\n<\/ol>\n

      \u0422\u0430\u043a \u043a\u0430\u043a \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u043e\u0436\u0438\u043b\u043e\u0441\u044c \u0447\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d \u0431\u044b\u043b 1C-Bitrix, \u0442\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0446\u0435\u043d \u0431\u044b\u043b \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 php. \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0438\u0441\u0430\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u043d\u0430 Node.js.<\/p>\n

      \u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u0432\u0430\u0440 iphone<\/a> \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\u0445 \u0438 \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0435\u0433\u043e \u0446\u0435\u043d\u044b.<\/p>\n

      \u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432: <\/p>\n

      CREATE TABLE panda.competitors (   id int(11) NOT NULL AUTO_INCREMENT,   name varchar(50) DEFAULT NULL,   PRIMARY KEY (id) ) ENGINE = INNODB CHARACTER SET utf8 COLLATE utf8_general_ci; <\/code><\/pre>\n
        \u0414\u0430\u043b\u0435\u0435 \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f URL \u0434\u043b\u044f \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u0438 \u0441\u043f\u0438\u0441\u043e\u043a \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 HTML \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435.
        \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441\u043f\u0438\u0441\u043a\u043e\u0432 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432  <\/p>\n
      CREATE TABLE panda.competitors_selector (   id int(11) NOT NULL AUTO_INCREMENT,   competitor_id int(11) DEFAULT NULL,   selector varchar(255) DEFAULT NULL,   use_status CHAR(20) DEFAULT 'unused',   PRIMARY KEY (id) ) ENGINE = INNODB CHARACTER SET utf8 COLLATE utf8_general_ci; <\/code><\/pre>\n
        \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0443\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c\u0441\u044f url, \u0446\u0435\u043d\u044b \u0438 \u0442.\u0434.  <\/p>\n
      CREATE TABLE panda.competitors_data (   id INT(11) NOT NULL AUTO_INCREMENT,   competitor_id INT(11) DEFAULT NULL,   sku INT(11) DEFAULT NULL,   competitor_url VARCHAR(255) DEFAULT NULL,   competitor_price INT(11) DEFAULT NULL,   competitor_response_ms INT(11) DEFAULT NULL,   competitor_price_status CHAR(20) DEFAULT 'created',   last_update_unixtime INT(11) DEFAULT NULL,   PRIMARY KEY (id) ) ENGINE = INNODB CHARACTER SET utf8 COLLATE utf8_general_ci; <\/code><\/pre>\n
        \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b competitors:
        \"image\"\/<\/p>\n
        \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b competitors_selector:
        \"image\"\/<\/p>\n
        \u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b competitors_selector:
        \"image\"\/<\/p>\n
        \u0414\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 competitors_selector \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u0435\u043b\u0435\u043a\u0442\u043e\u0440\u043e\u0432:
        \"image\"\/
        \"image\"\/<\/p>\n
        \u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0443\u0432\u0430\u0436\u0430\u044e\u0449\u0438\u0439 \u0441\u0435\u0431\u044f \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043c\u0430\u0433\u0430\u0437\u0438\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 microdata<\/a> \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0441\u0435\u0440\u043e\u0432, \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u0430\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c \u0441 NODE.js, \u0442\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u043c\u043e\u0434\u0443\u043b\u0435\u043c semantic-schema-parser<\/a>. \u0421\u0430\u043c \u043c\u043e\u0434\u0443\u043b\u044c \u0443\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 149 \u0441\u0442\u0440\u043e\u043a, \u0438 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 \u043d\u0435\u0433\u043e, \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0435\u0440 \u043a\u043e\u043d\u0435\u043d\u0442\u0430 cheerio<\/a>. \u041d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u043c\u043e\u0434\u0443\u043b\u044c, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432 callback \u043e\u0431\u044a\u0435\u043a\u0442 $. 
        \"image\"\/
        \u041d\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b, \u0432\u0441\u0435 \u0435\u0449\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442       microdata<\/a>. \u0422\u0443\u0442 \u0432\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0434\u0435\u043b\u043e \u0434\u0430\u043d\u043d\u044b\u0435 competitors_selector. \u0412 \u043e\u043f\u0446\u0438\u044f\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 5 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0432, user-agent \u043a\u0430\u043a yandex bot, \u0438 timeout 2 \u0441\u0435\u043a.
        \u0414\u043b\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 html \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0443       needle<\/a>. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u0411\u0414, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0448\u0430\u0431\u043b\u043e\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c templayed<\/a>
        \u0417\u0430\u043f\u0440\u043e\u0441\u044b \u043a \u0411\u0414:
        resetSelectorsStatus.sql  <\/p>\n
      UPDATE  \tcompetitors_selector  SET  \tuse_status = 'unuse'  WHERE 1; <\/code><\/pre>\n
        selectcSelectors.sql  <\/p>\n
      SELECT *  FROM competitors_selector <\/code><\/pre>\n
        selectcURLs.sql  <\/p>\n
      SELECT * FROM competitors_data <\/code><\/pre>\n
        updateCompetitorData.sql  <\/p>\n
      UPDATE  competitors_data  SET  competitor_price = '{{price}}' ,competitor_response_ms =  {{response_ms}} ,last_update_unixtime = {{response_time}} ,competitor_price_status = '{{status}}' WHERE id = {{id}} <\/code><\/pre>\n
        \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439:  <\/p>\n
        \n
      1. \u0421\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c selector<\/li>\n
      2. \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442 \u0438\u0437 DOM-\u0441\u0435\u043b\u0435\u043a\u0442\u043e\u0440\u043e\u0432.\n
        {\u043a\u043b\u044e\u0447:['selector1','selector2']}<\/code><\/pre>\n<\/li>\n
      3. \u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c HTML<\/li>\n
      4. \u0410\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c microdata<\/li>\n
      5. \u0415\u0441\u043b\u0438 \u0432 microdata \u043d\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c selector’\u044b<\/li>\n
      6. \u0415\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b, \u0442\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c null<\/li>\n<\/ol>\n
          \u041a\u043e\u0434 \u043a\u043b\u0430\u0441\u0441\u0430 Scraping \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043d\u0438\u0436\u0435. \u0412 \u043a\u043e\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434 \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c url. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0434\u0443\u043c\u043a\u0430 \u0431\u044b\u043b\u0430:  <\/p>\n
          \n
        1. \u0410\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0438\u0437 competitors_data <\/li>\n
        2. \u0412\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432<\/li>\n
        3. \u041a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430 \u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 timeout<\/li>\n<\/ol>\n
            \u041d\u043e \u043f\u043e\u043a\u0430 \u0442\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f:  <\/p>\n
          \u041f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u0434<\/b><\/p>\n
          \n
            var needle = require('needle'); var mysql = require('mysql'); var templayed = require('templayed'); var fs = require('fs'); var schema = require("semantic-schema-parser");   var Scraping = new function(){ \t\/\/1. \u041f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u043c\u0441\u044f \u043a \u0411\u0414 \t_this = this; \t_this.DB = mysql.createConnection({ \t\t  host     : 'localhost', \t\t  user     : '******************', \t\t  password : '******************', \t\t  database : 'panda' \t\t}); \t_this.querys  = {}; \t_this.selectors = {};\/\/dom \u0441\u0435\u043b\u0435\u043a\u0442\u043e\u0440\u044b \u0434\u043b\u044f Scraping'a \t_this.rows = null;\/\/\u041c\u0430\u0441\u0441\u0438\u0432 \u0438\u0437 url \t_this.workers = 5;\/\/\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u044b\u0445 \u043e\u043f\u0440\u043e\u0441\u043e\u0432 \t_this.needleOptions = { \t\t\tfollow_max : 5    \/\/ \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 5 \u0440\u0435\u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0432 \t\t\t,headers:{'User-Agent': 'Mozilla\/5.0 (compatible; YandexBot\/3.0; +http:\/\/yandex.com\/bots) '} \t\t\t,open_timeout: 2000 \/\/ if we don't get our response headers in 5 seconds, boom. \t} \tthis.run = function(){ \t\t_this.DB.connect(); \t\t_this.queryLoad(); \t\t_this.resetSelectorsStatus(); \t} \t\/\/--------------------\/\/ \/\/\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0448\u0430\u0431\u043b\u043e\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 {\u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0431\u043b\u043e\u043a\u0438\u0440\u0443\u044e\u0449\u0430\u044f(\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u0430\u044f)} \tthis.queryLoad = function(){ \t\t_this.querys['selectcSelectors'] = fs.readFileSync('sql\/selectcSelectors.sql', 'utf8'); \t\t_this.querys['resetSelectorsStatus'] = fs.readFileSync('sql\/resetSelectorsStatus.sql', 'utf8'); \t\t_this.querys['selectcURLs'] = fs.readFileSync('sql\/selectcURLs.sql', 'utf8'); \t\t_this.querys['updateCompetitorData'] = fs.readFileSync('sql\/updateCompetitorData.sql', 'utf8'); \t\t \t\t \t}; \t\/\/--------------------\/\/ \/\/\u0421\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u0441\u0435\u043b\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \tthis.resetSelectorsStatus = function(callback){ \t\t_this.DB.query(  _this.querys['resetSelectorsStatus'], function(err, rows) { \t\t\t_this.selectcSelectors(); \t\t}); \t} \t\/\/--------------------\/\/ \/\/----\u041c\u0430\u0441\u0441\u0438\u0432 DOM \u0435\u043b\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \tthis.selectcSelectors = function(callback){ \t\t_this.DB.query(  _this.querys['selectcSelectors'] , function(err, rows) { \t\t\t  if (!err){ \t\t\t\trows.forEach(function(item, i, arr) { \t\t\t\t\t if (!_this.selectors[item.competitor_id]){_this.selectors[item.competitor_id]=[];} \t\t\t\t\t _this.selectors[item.competitor_id].push({id:item.id,selector:item.selector}); \t\t\t\t}); \t\t\t\t_this.selectcURLs(); \t\t\t  } \t\t}); \t} \t\/\/--------------------\/\/ \tthis.selectcURLs = function(callback){ \t\t_this.DB.query(  _this.querys['selectcURLs'] , function(err, rows) { \t\t\t  if (!err){ \t\t\t\t  _this.rows = rows; \t\t\t\t  _this.workersTask();  \t\t\t  } \t\t}); \t} \t\/\/--------------------\/\/ \tthis.workersTask = function(){ \t\t__this = this; \t\t__this.worker = []; \t\tfor (var i = 0; i < _this.workers; i++) { \t\t\t__this.worker[i] = { \t\t\t\t\tid:i \t\t\t\t\t,status: 'run' \t\t\t\t\t,allTask : function(){ \t\t\t\t\t\tvar status = {}; \t\t\t\t\t\tstatus['run'] = 0; \t\t\t\t\t\tstatus['iddle'] = 0; \t\t\t\t\t\t__this.worker.forEach(function(item){ \t\t\t\t\t\t\tif(item.status==='run'){status['run']++;} \t\t\t\t\t\t\telse{status['iddle']++;} \t\t\t\t\t\t}); \t\t\t\t\t\treturn status; \t\t\t\t\t} \t\t\t\t\t,timeStart : new Date().valueOf() \t\t\t\t\t,func: function(){ \t\t\t\t\t\t_this.parseData(__this.worker[this.id]) \t\t\t\t\t} \t\t\t} \t\t\t__this.worker[i].func(); \t\t} \t} \t\/\/--------------------\/\/ \tthis.parseData = function(worker){ \t\t__this = this; \t\tvar count = _this.rows.length; \t\tvar startTime = new Date().valueOf();   \t\tif(count > 0 ){ \t\t\tvar row = _this.rows.shift();\/\/\u0443\u0434\u0430\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0438\u0437 rows \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \t\t\tvar URL  = row.competitor_url; \t\t\tneedle.get(URL, _this.needleOptions, function(err, res){ \t\t\t    if (err) {worker.func(); return;} \t\t\t     \t\t\t    var timeRequest = ( new Date().valueOf() ) - startTime; \t\t\t    schema.parseContent(res.body, function(schemaObject, $){ \t\t\t    \tprice = _this.parseBody(schemaObject,$,row); \t\t\t    \tstatus = ( price!='NULL' ) ? 'active' : 'error'; \t\t\t    \t \t\t\t    \t\/\/console.log(res.statusCode, 'timeout:'+timeRequest, 'price:'+price, worker.id, URL, row.id); \t\t\t    \t \t\t\t    \t_this.updateCompetitorData({ \t\t\t    \t\t\t\tid : row.id \t\t\t    \t\t\t\t,status:status \t\t\t    \t\t\t\t,response_time:( new Date().valueOf() ) \t\t\t    \t\t\t\t,response_ms:timeRequest \t\t\t    \t\t\t\t,competitor_price:price \t\t\t    \t\t\t}); \t\t\t    \t \t\t\t    \tworker.func(); \t\t\t    }); \t\t\t     \t\t\t}); \t    }else{ \t    \tworker.status = 'idle'; \t    \tif(worker.allTask().run===0){ \t    \t\tconsole.log('\u041c\u044b \u0432\u0441\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b\u0438, \u043c\u044b \u043c\u043e\u043b\u043e\u0434\u0446\u044b'); \t    \t\t_this.DB.end();\/\/\u0417\u0430\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0441\u043e\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0441 \u0431\u0434; \t    \t} \t    } \t} \t \t_this.parseBody = function(schemaObject,$,row){ \t\tvar price;     \tschemaObject.elems.forEach(function(elemsItem, i) {     \t\tif(!elemsItem.product)return;     \t\telemsItem.product.forEach(function(productItem, i) {     \t\t\tif(!productItem.price)return;     \t\t\tprice = ( productItem.price['content'] ) ? productItem.price['content'] :     \t\t\t\t  \t\t( productItem.price['text'] ) ? productItem.price['text'] :     \t\t\t\t  \t\tnull;\t     \t\t\tprice = price.replace(\/[^.\\d]+\/g,"").replace( \/^([^\\.]*\\.)|\\.\/g, '$1' );     \t\t\tprice = Math.floor(price);\t     \t\t});     \t});     \tif( (!price) && (_this.selectors[row.competitor_id]) ){     \t\t_this.selectors[row.competitor_id].forEach(function(selector){     \t\t\tprice_text = $(selector.selector).text();     \t\t\tif (price_text){     \t\t\t\tprice = price_text.replace(\/[^.\\d]+\/g,"").replace( \/^([^\\.]*\\.)|\\.\/g, '$1' );         \t\t\tprice = Math.floor(price);         \t\t\t         \t\t\t\/\/\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u043e \u0442\u043e\u043c \u0447\u0442\u043e selector \u0431\u044b\u043b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d         \t\t\t\/\/-------------------------------------------------\/\/     \t\t\t\treturn;     \t\t\t}     \t\t});     \t}        \tif(!price){price = 'NULL'};     \treturn price; \t} \t\/\/--------------------\/\/ \t_this.updateCompetitorData = function(data){ \t\tquery = templayed(  _this.querys['updateCompetitorData']  )(data); \t\t_this.DB.query( query , function(err, rows) {}); \t} \t\/\/--------------------\/\/ \t_this.run(); } <\/code><\/pre>\n
            <\/div>\n<\/div>\n
            \u041f\u043e\u0434\u0432\u043e\u0434\u044f \u0438\u0442\u043e\u0433, \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0447\u0442\u043e \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c microdata \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0442\u043e\u0432\u0430\u0440\u043e\u0432, \u0446\u0435\u043d\u044b \u0438 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f. \u041d\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043b\u043e\u0436\u043a\u0430 \u0434\u0435\u0433\u0442\u044f:  <\/p>\n