{"id":381490,"date":"2024-06-29T03:41:48","date_gmt":"2024-06-29T03:41:48","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=381490"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2024-06-29T03:41:48","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=381490","title":{"rendered":"<span>Python \u043a\u043e\u0434\u043e\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0431\u043b\u0430\u0433\u043e ETL \u2014 \u0447\u0430\u0441\u0442\u044c 2<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 <a href=\"https:\/\/habr.com\/ru\/post\/569398\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/a> \u044f \u043f\u043e\u0434\u0435\u043b\u0438\u043b\u0441\u044f \u043c\u044b\u0441\u043b\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0431\u0443\u0434\u0438\u043b\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e python \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/westandskif\/convtools\" rel=\"noopener noreferrer nofollow\">convtools<\/a>. \u041a\u0440\u0430\u0442\u043a\u043e \u043e \u043d\u0435\u0439: \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b (\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438), \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434, \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0440\u0435\u0448\u0430\u044e\u0449\u0443\u044e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445:<\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a <code>pipe<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043a\u043e\u0434\u0430<\/p>\n<\/li>\n<li>\n<p>\u043d\u043e\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438: <code>Table<\/code>  &#8212; \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<\/ul>\n<h2>1) Pipes &amp; code reuse<\/h2>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u0434 \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u0443\u0434\u043e\u0431\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0442\u043e\u0440\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u0442 \u043d\u0435\u0433\u043e \u043a\u043e\u0441\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c:<\/p>\n<pre><code class=\"python\">from datetime import datetime from decimal import Decimal  from convtools import conversion as c   # \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043d\u0435\u043a\u0438\u0439 \u043e\u0442\u0447\u0435\u0442 \u0438 \u043f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c.  # \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u043e\u0442\u0447\u0435\u0442\u0430 # \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0442\u043e, \u043a\u0430\u043a \u0431\u0443\u0434\u0443\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 c_str = c.this().call_method(\"strip\") # \u0442\u043e, \u043a\u0430\u043a \u0438\u0437 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c Decimal (\u0443\u0431\u0438\u0432\u0430\u0435\u043c \u0437\u0430\u043f\u044f\u0442\u044b\u0435 - # \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u0438 \u0433\u0440\u0443\u043f\u043f \u0440\u0430\u0437\u0440\u044f\u0434\u043e\u0432) c_decimal = c_str.call_method(\"replace\", \",\", \"\").as_type(Decimal) c_parse_date = c.call_func(     datetime.strptime, c.this(), \"%Y-%m-%d\" ).call_method(\"date\") c_date = c_str.pipe(c_parse_date)  c_optional_date = c_str.pipe(c.if_(c.this(), \u0441_parse_date, None)) c_optional_decimal = c_str.pipe(c.if_(c.this(), c_decimal, None))  # \u0440\u0430\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0447\u0435\u0440\u0435\u0437 (\u0442\u0443\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c # Enum, \u043d\u043e \u0441 \u0434\u0438\u043a\u0442\u043e\u043c \u0442\u043e\u0436\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u043e) c_product_type = c.naive(     {         \"phone\": 1,         \"laptop\": 2,     } ).item(c_str.call_method(\"lower\"))   # \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044f # \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043f\u043e\u043b\u0435\u0439 \u0432 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e schema = {     \"full_name\": c.item(\"Full Name\").pipe(c_str),     \"sku\": c.item(\"SKU\").pipe(c_str),     \"product_type\": c.item(\"Product Type\").pipe(c_product_type),     \"earnings\": c.item(\"Earnings\").pipe(c_decimal),     \"refunds\": c.item(\"Refunds\").pipe(c_optional_decimal),     \"date\": c.item(\"Date\").pipe(c_date),     \"date_of_birth\": c.item(\"Date of Birth\").pipe(c_optional_date), }  # \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0431\u044b\u0442\u044c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0447\u0442\u043e \u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0435\u0442\u0441\u044f. # \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 converter = (     # \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u0438\u043c\u0435\u043d\u0430\u043c \u0438 \u0434\u0430\u0442\u0430\u043c     c.group_by(schema[\"full_name\"], schema[\"date\"])     .aggregate(         {             \"full_name\": schema[\"full_name\"],             \"date\": schema[\"date\"],             \"date_of_birth\": c.ReduceFuncs.First(schema[\"date_of_birth\"]),             \"total_earnings\": c.ReduceFuncs.Sum(schema[\"earnings\"]),         }     )     # \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \"\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0445\"     .filter(c.item(\"total_earnings\") > 1000)     # \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u0434\u0430\u0442\u0430\u043c, \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u044f\u043a\u043e\u0431\u044b \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443:     #  - \u043a\u043e\u043b-\u0432\u043e \u043d\u0435 \"\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0445\"     #  - \u0438\u0445 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043e\u043a     #  - \u0438\u0445 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u0430\u044f \u0434\u0430\u0442\u0430 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f     #  - dict: SKU -> \u0441\u0443\u043c\u043c\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0432 (\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0432 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438)     .pipe(         c.group_by(c.item(\"date\")).aggregate(             {                 \"date\": c.item(\"date\"),                 \"number_of_workers\": c.ReduceFuncs.Count(),                 \"average_earnings\": c.ReduceFuncs.Average(                     c.item(\"total_earnings\")                 ),                 \"median_date_of_birth\": c.ReduceFuncs.Median(                     c.item(\"date_of_birth\")                 ),                 \"earnings_by_sku\": c.ReduceFuncs.DictSum(                     c.item(\"sku\"),                     c.item(\"total_earnings\"),                 ),             }         )     )     # debug=True - \u0432\u044b\u0432\u0435\u0434\u0435\u0442 \u0432 stdout \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434.     # \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d black, \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0435 \u0438 \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d     .gen_converter() )  converter(input_data)<\/code><\/pre>\n<details class=\"spoiler\">\n<summary>\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">def pipe__cp(input__cp, _naive, _labels, _none):     return (         _naive[\"strptime_ox\"](input__cp.strip(), _naive[\"v_7o\"]).date()         if input__cp         else None     )   class AggData__cg:     __slots__ = [\"v0\", \"v1\"]      def __init__(self, _none=__none__):         self.v0 = _none         self.v1 = _none   def group_by__cg(data_, _naive, _labels, _none):     signature_to_agg_data__cg = defaultdict(AggData__cg)      for row__cg in data_:         agg_data__cg = signature_to_agg_data__cg[             (                 row__cg[\"Full Name\"].strip(),                 _naive[\"strptime_ox\"](                     row__cg[\"Date\"].strip(), _naive[\"v_7o\"]                 ).date(),             )         ]         if agg_data__cg.v0 is _none:             agg_data__cg.v0 = pipe__cp(                 row__cg[\"Date of Birth\"].strip(), _naive, _labels, _none             )             agg_data__cg.v1 = (                 _naive[\"Decimal_4v\"](                     row__cg[\"Earnings\"].strip().replace(\",\", \"\")                 )                 or 0             )         else:             agg_data__cg.v1 = agg_data__cg.v1 + (                 _naive[\"Decimal_4v\"](                     row__cg[\"Earnings\"].strip().replace(\",\", \"\")                 )                 or 0             )      result_ = (         {             \"full_name\": signature__cg[0],             \"date\": signature__cg[1],             \"date_of_birth\": (                 None if agg_data__cg.v0 is _none else agg_data__cg.v0             ),             \"total_earnings\": (                 0 if agg_data__cg.v1 is _none else agg_data__cg.v1             ),         }         for signature__cg, agg_data__cg in signature_to_agg_data__cg.items()     )     filtered_result_ = [         i_4z for i_4z in result_ if (i_4z[\"total_earnings\"] > 1000)     ]     return filtered_result_   class AggData__gp:     __slots__ = [\"v0\", \"v1\", \"v2\", \"v3\"]      def __init__(self, _none=__none__):         self.v0 = _none         self.v1 = _none         self.v2 = _none         self.v3 = _none   def group_by__gp(data_, _naive, _labels, _none):     signature_to_agg_data__gp = defaultdict(AggData__gp)      for row__gp in data_:         agg_data__gp = signature_to_agg_data__gp[row__gp[\"date\"]]         if agg_data__gp.v0 is _none:             agg_data__gp.v0 = 1             agg_data__gp.v2 = [row__gp[\"date_of_birth\"]]             agg_data__gp.v3 = _d = defaultdict(int)             _d[row__gp[\"sku\"]] = row__gp[\"total_earnings\"] or 0         else:             agg_data__gp.v0 = agg_data__gp.v0 + 1             agg_data__gp.v2.append(row__gp[\"date_of_birth\"])             agg_data__gp.v3[row__gp[\"sku\"]] = agg_data__gp.v3[                 row__gp[\"sku\"]             ] + (row__gp[\"total_earnings\"] or 0)         if agg_data__gp.v1 is _none:             if row__gp[\"total_earnings\"] is not None:                 agg_data__gp.v1 = (1, row__gp[\"total_earnings\"] * 1)         else:             if row__gp[\"total_earnings\"] is not None:                 agg_data__gp.v1 = (                     agg_data__gp.v1[0] + 1,                     agg_data__gp.v1[1] + row__gp[\"total_earnings\"] * 1,                 )      return [         {             \"date\": signature__gp,             \"number_of_workers\": (                 0 if agg_data__gp.v0 is _none else agg_data__gp.v0             ),             \"average_earnings\": (                 None                 if agg_data__gp.v1 is _none                 else (agg_data__gp.v1[1] \/ agg_data__gp.v1[0])             ),             \"median_date_of_birth\": (                 None                 if agg_data__gp.v2 is _none                 else _naive[\"median_59\"](agg_data__gp.v2)             ),             \"earnings_by_sku\": (                 None if agg_data__gp.v3 is _none else (dict(agg_data__gp.v3))             ),         }         for signature__gp, agg_data__gp in signature_to_agg_data__gp.items()     ]   def converter_uk(data_):     global __naive_values__, __none__     _naive = __naive_values__     _none = __none__     _labels = {}     return _naive[\"group_by__gp\"](         _naive[\"group_by__cg\"](data_, _naive, _labels, _none),         _naive,         _labels,         _none,     ) <\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432\u0441\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u043c\u0435\u0442\u043e\u0434 <code>pipe<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u044e\u0431\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445. <code>pipe<\/code>-\u044b \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u044e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <code>label<\/code>-\u043e\u0432 \u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0430, <code>pipe<\/code> \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0432\u044b\u0437\u043e\u0432\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<h2>2) Table &#8212; \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0412\u0440\u0435\u043c\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u0438\u043b\u0438 \u0441\u0445\u043e\u0436\u0438\u043c\u0438 \u0441 \u043d\u0438\u043c\u0438). \u0418 \u043c\u0435\u043d\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0435\u043b\u044c\u0449\u0430\u043b\u0430 \u043c\u044b\u0441\u043b\u044c &#171;\u0437\u0430\u043f\u0435\u0447\u044c&#187; \u0432 \u043a\u043e\u0434 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043a\u043e\u043b\u043e\u043d\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u043d\u0438\u043c \u0431\u044b\u043b\u0438 \u0434\u0435\u0448\u0435\u0432\u044b\u043c\u0438. \u0418 \u0432\u043e\u0442, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0438\u043c\u0435\u044f \u043f\u043e\u0434 \u0440\u0443\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b convtools, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u043d\u043e\u0435, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u043c\u0430\u043b\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043b\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>\u041b\u043e\u0433\u0438\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u044b<\/strong>: <code>Table<\/code> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0438\u0442\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u043b\u0435\u043d\u0438\u0432\u043e, \u0432\u044b\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a. \u0414\u0430\u043b\u0435\u0435, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0438 \u0437\u0430\u043f\u0440\u043e\u0448\u0435\u043d\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u043a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0434 \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c. \u041c\u0435\u0442\u043e\u0434\u044b <code>into_iter_rows<\/code> \u0438 <code>into_csv<\/code> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c\u0438.<\/p>\n<pre><code class=\"python\">from convtools.contrib.tables import Table from convtools import conversion as c  (     Table.from_csv(         \"tests\/csvs\/ac.csv\",         header=True,         dialect=Table.csv_dialect(delimiter=\"\\t\"),     )     # \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \"a\" \u0438 \"c\"     .take(\"a\", \"c\")     # \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0434\u0432\u0435 \u043d\u043e\u0432\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u0445 \u043a\u043e\u043b\u043e\u043d\u043a\u0438     .update(B=c.col(\"a\") + c.col(\"c\"), D=c.call_func(abs, c.col(\"c\")))     # \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0435\u043c     .rename({\"a\": \"A\"})     # \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u043c \u0441\u0442\u0440\u043e\u043a\u0438     .filter(c.col(\"c\") &lt; 10)     # \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u043a\u043e\u043b\u043e\u043d\u043a\u0443 \"c\"     .drop(\"c\").into_csv(\"tests\/csvs\/out.csv\") )   # \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043c \u0434\u0432\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0435 \"a\" list(     Table.from_rows([(1, 2), (2, 3)], [\"a\", \"b\"])     .join(         Table.from_rows([(1, 3), (2, 4)], [\"a\", \"c\"]),         how=\"inner\",         on=[\"a\"],     )     .into_iter_rows(dict)  # \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f list\/tuple )<\/code><\/pre>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u0434\u0432\u0430 \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">\"\"\" Table 1      Table 2 | a | b |    | b | c | | 1 | 2 |    | 3 | 4 |  >>> table1.chain(table2, fill_value=\" \")  Result: | a | b | c | | 1 | 2 |   | |   | 3 | 4 | \"\"\"<\/code><\/pre>\n<pre><code class=\"python\">\"\"\" Table 1      Table 2 | a | b |    | b | c | | 1 | 2 |    | 3 | 4 |              | 5 | 6 | >>> table1.zip(table2, fill_value=\" \")  Result: | a | b | b | c | | 1 | 2 | 3 | 4 | |   |   | 5 | 6 | \"\"\" <\/code><\/pre>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u044f \u043d\u0435 \u043f\u0438\u0442\u0430\u044e \u0438\u043b\u043b\u044e\u0437\u0438\u0439, \u0447\u0442\u043e \u0432\u0441\u0435 \u0440\u0435\u0437\u043a\u043e \u0431\u0440\u043e\u0441\u044f\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c convtools, \u043d\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f. \u0418 \u0434\u0430\u0436\u0435 \u043d\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e codegen \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u043c\u0435\u043d\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043a\u043e\u0434\u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u0442\u0438\u043b\u0435 \u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0435\u043b\u044c\u0441\u044b. \u0421 \u0442\u0430\u043a\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u044f \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u044e \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043e\u043a, \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0431\u043b\u0435\u0433\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0434\u0430, \u0442.\u043a. \u0440\u0430\u0431\u043e\u0442\u0430 \u0432\u0435\u0434\u0435\u0442\u0441\u044f \u0441 \u0447\u0438\u0441\u0442\u044b\u043c\u0438 &#171;\u043f\u043e\u0447\u0442\u0438-\u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438&#187; + convtools \u043f\u043e\u043e\u0449\u0440\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 iterator-\u0430\u043c\u0438, \u0447\u0442\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u0412\u0441\u0435\u043c \u0443\u0441\u043f\u0435\u0445\u043e\u0432 \u0438, \u0435\u0441\u043b\u0438 \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u044e \u0438\u043b\u0438 \u043f\u043e\u0434\u0441\u043a\u0430\u0436\u0435\u0442\u0435, \u0434\u043e \u0441\u043a\u043e\u0440\u043e\u0433\u043e!<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/583984\/\"> https:\/\/habr.com\/ru\/articles\/583984\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 <a href=\"https:\/\/habr.com\/ru\/post\/569398\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/a> \u044f \u043f\u043e\u0434\u0435\u043b\u0438\u043b\u0441\u044f \u043c\u044b\u0441\u043b\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0431\u0443\u0434\u0438\u043b\u0438 \u043a \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044e python \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/westandskif\/convtools\" rel=\"noopener noreferrer nofollow\">convtools<\/a>. \u041a\u0440\u0430\u0442\u043a\u043e \u043e \u043d\u0435\u0439: \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b (\u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438), \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0435, \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0443\u0437\u043a\u043e\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434, \u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0440\u0435\u0448\u0430\u044e\u0449\u0443\u044e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445:<\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a <code>pipe<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043a\u043e\u0434\u0430<\/p>\n<\/li>\n<li>\n<p>\u043d\u043e\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438: <code>Table<\/code>  &#8212; \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/li>\n<\/ul>\n<h2>1) Pipes &amp; code reuse<\/h2>\n<p>\u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u0434 \u0441 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u043c\u0438 \u0443\u0434\u043e\u0431\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0442\u043e\u0440\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u0442 \u043d\u0435\u0433\u043e \u043a\u043e\u0441\u043d\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c:<\/p>\n<pre><code class=\"python\">from datetime import datetime from decimal import Decimal  from convtools import conversion as c   # \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0435\u0441\u0442\u044c \u043d\u0435\u043a\u0438\u0439 \u043e\u0442\u0447\u0435\u0442 \u0438 \u043f\u043e\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0438\u043c.  # \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0440\u0438 \u0447\u0442\u0435\u043d\u0438\u0438 \u043e\u0442\u0447\u0435\u0442\u0430 # \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043c \u0442\u043e, \u043a\u0430\u043a \u0431\u0443\u0434\u0443\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 c_str = c.this().call_method(\"strip\") # \u0442\u043e, \u043a\u0430\u043a \u0438\u0437 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c Decimal (\u0443\u0431\u0438\u0432\u0430\u0435\u043c \u0437\u0430\u043f\u044f\u0442\u044b\u0435 - # \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u0438 \u0433\u0440\u0443\u043f\u043f \u0440\u0430\u0437\u0440\u044f\u0434\u043e\u0432) c_decimal = c_str.call_method(\"replace\", \",\", \"\").as_type(Decimal) c_parse_date = c.call_func(     datetime.strptime, c.this(), \"%Y-%m-%d\" ).call_method(\"date\") c_date = c_str.pipe(c_parse_date)  c_optional_date = c_str.pipe(c.if_(c.this(), \u0441_parse_date, None)) c_optional_decimal = c_str.pipe(c.if_(c.this(), c_decimal, None))  # \u0440\u0430\u0437\u043c\u0435\u043d\u044f\u0435\u043c \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0447\u0435\u0440\u0435\u0437 (\u0442\u0443\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c # Enum, \u043d\u043e \u0441 \u0434\u0438\u043a\u0442\u043e\u043c \u0442\u043e\u0436\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u043e) c_product_type = c.naive(     {         \"phone\": 1,         \"laptop\": 2,     } ).item(c_str.call_method(\"lower\"))   # \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u044f # \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437 \u043f\u043e\u043b\u0435\u0439 \u0432 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e schema = {     \"full_name\": c.item(\"Full Name\").pipe(c_str),     \"sku\": c.item(\"SKU\").pipe(c_str),     \"product_type\": c.item(\"Product Type\").pipe(c_product_type),     \"earnings\": c.item(\"Earnings\").pipe(c_decimal),     \"refunds\": c.item(\"Refunds\").pipe(c_optional_decimal),     \"date\": c.item(\"Date\").pipe(c_date),     \"date_of_birth\": c.item(\"Date of Birth\").pipe(c_optional_date), }  # \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0431\u044b\u0442\u044c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0447\u0442\u043e \u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0435\u0442\u0441\u044f. # \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 converter = (     # \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u0438\u043c\u0435\u043d\u0430\u043c \u0438 \u0434\u0430\u0442\u0430\u043c     c.group_by(schema[\"full_name\"], schema[\"date\"])     .aggregate(         {             \"full_name\": schema[\"full_name\"],             \"date\": schema[\"date\"],             \"date_of_birth\": c.ReduceFuncs.First(schema[\"date_of_birth\"]),             \"total_earnings\": c.ReduceFuncs.Sum(schema[\"earnings\"]),         }     )     # \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \"\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0445\"     .filter(c.item(\"total_earnings\") > 1000)     # \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u043f\u043e \u0434\u0430\u0442\u0430\u043c, \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u044f\u043a\u043e\u0431\u044b \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443:     #  - \u043a\u043e\u043b-\u0432\u043e \u043d\u0435 \"\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u0445\"     #  - \u0438\u0445 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043e\u043a     #  - \u0438\u0445 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u0430\u044f \u0434\u0430\u0442\u0430 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f     #  - dict: SKU -> \u0441\u0443\u043c\u043c\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u043e\u0432 (\u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f \u0432 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438)     .pipe(         c.group_by(c.item(\"date\")).aggregate(             {                 \"date\": c.item(\"date\"),                 \"number_of_workers\": c.ReduceFuncs.Count(),                 \"average_earnings\": c.ReduceFuncs.Average(                     c.item(\"total_earnings\")                 ),                 \"median_date_of_birth\": c.ReduceFuncs.Median(                     c.item(\"date_of_birth\")                 ),                 \"earnings_by_sku\": c.ReduceFuncs.DictSum(                     c.item(\"sku\"),                     c.item(\"total_earnings\"),                 ),             }         )     )     # debug=True - \u0432\u044b\u0432\u0435\u0434\u0435\u0442 \u0432 stdout \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434.     # \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d black, \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0435 \u0438 \u043e\u0442\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u043d     .gen_converter() )  converter(input_data)<\/code><\/pre>\n<details class=\"spoiler\">\n<summary>\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">def pipe__cp(input__cp, _naive, _labels, _none):     return (         _naive[\"strptime_ox\"](input__cp.strip(), _naive[\"v_7o\"]).date()         if input__cp         else None     )   class AggData__cg:     __slots__ = [\"v0\", \"v1\"]      def __init__(self, _none=__none__):         self.v0 = _none         self.v1 = _none   def group_by__cg(data_, _naive, _labels, _none):     signature_to_agg_data__cg = defaultdict(AggData__cg)      for row__cg in data_:         agg_data__cg = signature_to_agg_data__cg[             (                 row__cg[\"Full Name\"].strip(),                 _naive[\"strptime_ox\"](                     row__cg[\"Date\"].strip(), _naive[\"v_7o\"]                 ).date(),             )         ]         if agg_data__cg.v0 is _none:             agg_data__cg.v0 = pipe__cp(                 row__cg[\"Date of Birth\"].strip(), _naive, _labels, _none             )             agg_data__cg.v1 = (                 _naive[\"Decimal_4v\"](                     row__cg[\"Earnings\"].strip().replace(\",\", \"\")                 )                 or 0             )         else:             agg_data__cg.v1 = agg_data__cg.v1 + (                 _naive[\"Decimal_4v\"](                     row__cg[\"Earnings\"].strip().replace(\",\", \"\")                 )                 or 0             )      result_ = (         {             \"full_name\": signature__cg[0],             \"date\": signature__cg[1],             \"date_of_birth\": (                 None if agg_data__cg.v0 is _none else agg_data__cg.v0             ),             \"total_earnings\": (                 0 if agg_data__cg.v1 is _none else agg_data__cg.v1             ),         }         for signature__cg, agg_data__cg in signature_to_agg_data__cg.items()     )     filtered_result_ = [         i_4z for i_4z in result_ if (i_4z[\"total_earnings\"] > 1000)     ]     return filtered_result_   class AggData__gp:     __slots__ = [\"v0\", \"v1\", \"v2\", \"v3\"]      def __init__(self, _none=__none__):         self.v0 = _none         self.v1 = _none         self.v2 = _none         self.v3 = _none   def group_by__gp(data_, _naive, _labels, _none):     signature_to_agg_data__gp = defaultdict(AggData__gp)      for row__gp in data_:         agg_data__gp = signature_to_agg_data__gp[row__gp[\"date\"]]         if agg_data__gp.v0 is _none:             agg_data__gp.v0 = 1             agg_data__gp.v2 = [row__gp[\"date_of_birth\"]]             agg_data__gp.v3 = _d = defaultdict(int)             _d[row__gp[\"sku\"]] = row__gp[\"total_earnings\"] or 0         else:             agg_data__gp.v0 = agg_data__gp.v0 + 1             agg_data__gp.v2.append(row__gp[\"date_of_birth\"])             agg_data__gp.v3[row__gp[\"sku\"]] = agg_data__gp.v3[                 row__gp[\"sku\"]             ] + (row__gp[\"total_earnings\"] or 0)         if agg_data__gp.v1 is _none:             if row__gp[\"total_earnings\"] is not None:                 agg_data__gp.v1 = (1, row__gp[\"total_earnings\"] * 1)         else:             if row__gp[\"total_earnings\"] is not None:                 agg_data__gp.v1 = (                     agg_data__gp.v1[0] + 1,                     agg_data__gp.v1[1] + row__gp[\"total_earnings\"] * 1,                 )      return [         {             \"date\": signature__gp,             \"number_of_workers\": (                 0 if agg_data__gp.v0 is _none else agg_data__gp.v0             ),             \"average_earnings\": (                 None                 if agg_data__gp.v1 is _none                 else (agg_data__gp.v1[1] \/ agg_data__gp.v1[0])             ),             \"median_date_of_birth\": (                 None                 if agg_data__gp.v2 is _none                 else _naive[\"median_59\"](agg_data__gp.v2)             ),             \"earnings_by_sku\": (                 None if agg_data__gp.v3 is _none else (dict(agg_data__gp.v3))             ),         }         for signature__gp, agg_data__gp in signature_to_agg_data__gp.items()     ]   def converter_uk(data_):     global __naive_values__, __none__     _naive = __naive_values__     _none = __none__     _labels = {}     return _naive[\"group_by__gp\"](         _naive[\"group_by__cg\"](data_, _naive, _labels, _none),         _naive,         _labels,         _none,     ) <\/code><\/pre>\n<\/div>\n<\/details>\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u0432\u0441\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438, \u043c\u0435\u0442\u043e\u0434 <code>pipe<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u044e\u0431\u044b\u0435 \u0438\u0437 \u043d\u0438\u0445. <code>pipe<\/code>-\u044b \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0446\u0438\u044e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <code>label<\/code>-\u043e\u0432 \u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0430, <code>pipe<\/code> \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0432\u044b\u0437\u043e\u0432\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<h2>2) Table &#8212; \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u0430\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n<p>\u0412\u0440\u0435\u043c\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 (\u0438\u043b\u0438 \u0441\u0445\u043e\u0436\u0438\u043c\u0438 \u0441 \u043d\u0438\u043c\u0438). \u0418 \u043c\u0435\u043d\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0435\u043b\u044c\u0449\u0430\u043b\u0430 \u043c\u044b\u0441\u043b\u044c &#171;\u0437\u0430\u043f\u0435\u0447\u044c&#187; \u0432 \u043a\u043e\u0434 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043a\u043e\u043b\u043e\u043d\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u043d\u0438\u043c \u0431\u044b\u043b\u0438 \u0434\u0435\u0448\u0435\u0432\u044b\u043c\u0438. \u0418 \u0432\u043e\u0442, \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0438\u043c\u0435\u044f \u043f\u043e\u0434 \u0440\u0443\u043a\u043e\u0439 \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u044b convtools, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0443\u043c\u0430\u043d\u043d\u043e\u0435, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u043c\u0430\u043b\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043b\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>\u041b\u043e\u0433\u0438\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u044b<\/strong>: <code>Table<\/code> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0438\u0442\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 \u043b\u0435\u043d\u0438\u0432\u043e, \u0432\u044b\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u0443\u044e \u0441\u0442\u0440\u043e\u043a\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a. \u0414\u0430\u043b\u0435\u0435, \u043e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0438 \u0437\u0430\u043f\u0440\u043e\u0448\u0435\u043d\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u043a\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442 \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430\u0434 \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u043c. \u041c\u0435\u0442\u043e\u0434\u044b <code>into_iter_rows<\/code> \u0438 <code>into_csv<\/code> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c\u0438.<\/p>\n<pre><code class=\"python\">from convtools.contrib.tables import Table from convtools import conversion as c  (     Table.from_csv(         \"tests\/csvs\/ac.csv\",         header=True,         dialect=Table.csv_dialect(delimiter=\"\\t\"),     )     # \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \"a\" \u0438 \"c\"     .take(\"a\", \"c\")     # \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0434\u0432\u0435 \u043d\u043e\u0432\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u0445 \u043a\u043e\u043b\u043e\u043d\u043a\u0438     .update(B=c.col(\"a\") + c.col(\"c\"), D=c.call_func(abs, c.col(\"c\")))     # \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u0443\u0435\u043c     .rename({\"a\": \"A\"})     # \u043e\u0442\u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u043c \u0441\u0442\u0440\u043e\u043a\u0438     .filter(c.col(\"c\") &lt; 10)     # \u043e\u0442\u0431\u0440\u043e\u0441\u0438\u043c \u043a\u043e\u043b\u043e\u043d\u043a\u0443 \"c\"     .drop(\"c\").into_csv(\"tests\/csvs\/out.csv\") )   # \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u043c \u0434\u0432\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043f\u043e \u043a\u043e\u043b\u043e\u043d\u043a\u0435 \"a\" list(     Table.from_rows([(1, 2), (2, 3)], [\"a\", \"b\"])     .join(         Table.from_rows([(1, 3), (2, 4)], [\"a\", \"c\"]),         how=\"inner\",         on=[\"a\"],     )     .into_iter_rows(dict)  # \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f list\/tuple )<\/code><\/pre>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u0434\u0432\u0430 \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">\"\"\" Table 1      Table 2 | a | b |    | b | c | | 1 | 2 |    | 3 | 4 |  >>> table1.chain(table2, fill_value=\" \")  Result: | a | b | c | | 1 | 2 |   | |   | 3 | 4 | \"\"\"<\/code><\/pre>\n<pre><code class=\"python\">\"\"\" Table 1      Table 2 | a | b |    | b | c | | 1 | 2 |    | 3 | 4 |       <\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-381490","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381490","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=381490"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/381490\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=381490"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=381490"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=381490"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}