{"id":479314,"date":"2026-05-11T12:26:41","date_gmt":"2026-05-11T12:26:41","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=479314"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=479314","title":{"rendered":"Airflow TaskFlow API: \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043f\u0438\u0441\u0430\u0442\u044c DAG-\u0438"},"content":{"rendered":"
\n

Apache Airflow \u0434\u043e\u043b\u0433\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0430\u0441\u0441\u043e\u0446\u0438\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0441 \u0442\u0430\u043a\u0438\u043c \u0441\u0442\u0438\u043b\u0435\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f workflow:<\/p>\n

# \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0438-\u0442\u0430\u0441\u043a\u0438task1 = PythonOperator(...)task2 = BashOperator(...)# \u043f\u0440\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438task1 >> task2<\/code>
<\/a><\/div><\/pre>\n
\u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0438 \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u043d\u043e \u0441 Airflow 2.0.0 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f TaskFlow API<\/strong> \u2014 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c DAG-\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 Python \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0438 \u0434\u0435\u043a\u043e\u0440\u0430\u0442\u043e\u0440\u044b:<\/p>\n
@dag(dag_id=\"linear_demo\")def tutorial_dag()    @task    def extract():    \u00a0\u00a0\u00a0return 42        @task    def transform(x):    \u00a0\u00a0\u00a0return x * 2        # \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438\u00a0\u0438 \u0441\u0442\u0440\u043e\u0438\u043c Flow    y = transform(extract())# \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0434\u0430\u0433    tutorial_dag()<\/code>
<\/a><\/div><\/pre>\n
TaskFlow\u00a0\u0432 Airflow \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c DAG \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Python-\u043a\u043e\u0434:\u00a0@dag<\/strong><\/code>\u00a0\u0437\u0430\u0434\u0430\u0435\u0442 \u0441\u0430\u043c workflow\/DAG, \u0430\u00a0@task<\/strong><\/code>\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 Python-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u0437\u0430\u0434\u0430\u0447\u0438 Airflow. \u041f\u0440\u0438 \u0432\u044b\u0437\u043e\u0432\u0435 \u0434\u0435\u043a\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440\u00a0transform(extract())<\/code>, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442, \u0430 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0437\u0430\u0434\u0430\u0447, \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0438\u0445 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b (\u0447\u0435\u0440\u0435\u0437\u00a0\u043e\u0431\u044a\u0435\u043a\u0442 XComArg).   <\/p>\n
\u0422\u043e \u0435\u0441\u0442\u044c TaskFlow\u00a0— \u044d\u0442\u043e \u0434\u0435\u043a\u043b\u0430\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 DSL(domain-specific language) \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f DAG, \u0433\u0434\u0435 \u0432\u044b\u0437\u043e\u0432\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0433\u0440\u0430\u0444 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439.  <\/p>\n
\u0417\u0430\u0434\u0430\u0447\u0438 \u0441\u0442\u0430\u0442\u044c\u0438<\/h2>\n
\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c:<\/p>\n
    \n
  1. \n
    \u0417\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u044c Airflow \u0438 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 TaskFlow API (\u0434\u043b\u044f \u0432\u0435\u0440\u0441\u0438\u0438 3.2.1)<\/p>\n<\/li>\n
  2. \n
    \u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u0438\u0445 \u0438\u0434\u0435\u0439 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u0438\u043a\u0440\u043e-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n
  3. \n
    \u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0438 \u043e\u0431\u0449\u0443\u044e \u043b\u043e\u0433\u0438\u043a\u0443 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 Airflow.<\/p>\n<\/li>\n
  4. \n
    \u041f\u043e\u043d\u044f\u0442\u044c \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f: \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 DAG \u2260 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 DAG.<\/p>\n<\/li>\n<\/ol>\n
    \u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0435\u0449\u0435 \u0440\u0430\u0437 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0444\u0430\u0437\u044b TaskFlow:<\/p>\n
      \n
    1. \n
      \u0421\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f DAG \u0447\u0435\u0440\u0435\u0437\u00a0@dag\u00a0\u0438 \u0432\u044b\u0437\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 DAG-\u0430.
      \u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 Airflow \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u00a0DAG, \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u0435\u043b\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 DAG-\u0430 \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u043a\u0438 \u0433\u0440\u0430\u0444\u0430.<\/p>\n<\/li>\n
    2. \n
      \u0412\u043d\u0443\u0442\u0440\u0438 \u0442\u0435\u043b\u0430 DAG-\u0430\u00a0@task\u00a0\u0434\u0435\u043a\u043e\u0440\u0438\u0440\u0443\u0435\u0442 Python-\u0444\u0443\u043d\u043a\u0446\u0438\u0438.
      \u0422\u043e \u0435\u0441\u0442\u044c\u00a0extract,\u00a0transform\u00a0\u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043d\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438, \u0430 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438-\u0434\u0435\u043a\u043e\u0440\u0430\u0442\u043e\u0440\u0430\u043c\u0438 (_TaskDecorator), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043c\u0435\u044e\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c Airflow-\u0437\u0430\u0434\u0430\u0447\u0438.  <\/p>\n<\/li>\n
    3. \n
      \u041f\u0440\u0438 \u0432\u044b\u0437\u043e\u0432\u0435 \u0434\u0435\u043a\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440<\/p>\n
      y = transform(extract()) <\/code><\/p>\n
      \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0437\u0430\u0434\u0430\u0447 (\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b) \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438.
      \u0418\u043c\u0435\u043d\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0444 DAG.<\/p>\n<\/li>\n
    4. \n
      \u041f\u043e\u0437\u0436\u0435 scheduler \u0438 worker \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0443\u0436\u0435 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 DAG.<\/p>\n<\/li>\n<\/ol>\n
      \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 @task<\/h2>\n
      \u041e\u0431\u044a\u0435\u043a\u0442 task<\/code> \u0432 Airflow \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u043c \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u043c (TaskDecoratorCollection<\/code>). \u041f\u0440\u0438 \u0434\u0435\u043a\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u043d \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 _TaskDecorator<\/code>. \u0441\u043c. \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u0432 [task-sdk\\src\\airflow\\sdk\\definitions\\decorators\\__init__.py]<\/p>\n
      \u0423\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e:<\/p>\n
      class TaskDecoratorCollection:\u00a0\u00a0\u00a0def __call__(self, function):\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return _TaskDecorator(function)task = TaskDecoratorCollection()<\/code>
      <\/a><\/div><\/pre>\n
      \u041d\u0430\u043f\u043e\u043c\u043d\u044e:<\/p>\n
      @taskdef extract():<\/code>
      <\/a><\/div><\/pre>\n
      \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e: extract = task(extract)<\/code><\/p>\n
      \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0437\u0432\u0430\u043d:<\/p>\n
      TaskDecoratorCollection.__call__()<\/code><\/p>\n
      \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0435\u0440\u043d\u0451\u0442 _TaskDecorator, \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d \u0432 [task-sdk\\src\\airflow\\sdk\\bases\\decorator.py<\/a>]<\/p>\n
      \n
      \n\n\n\n
      \n
      \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 TaskDecoratorCollection \u043a TaskDecorator  \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0442\u0430\u043d, \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u043b\u0435\u0434\u0438\u0442\u044c — \u0447\u0435\u0440\u0435\u0437\u00a0 <\/em>_getattr__(«python»), \u0434\u043e\u0441\u0442\u0430\u0435\u0442 Python task decorator \u0438\u0437 provider registry<\/p>\n
       def python_task(...):<\/code>
      [providers\\standard\\src\\airflow\\providers\\standard\\decorators\\python.py<\/a>]<\/p>\n
      \u0414\u0430\u043b\u0435\u0435 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 task_decorator_factory(…), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 _TaskDecorator<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n
      \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 _TaskDecorator<\/h2>\n
      \u042d\u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u043e\u0431\u044a\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430 @task. \u041e\u043d \u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u0443\u043c\u0435\u0435\u0442 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0435\u0451 \u0432\u044b\u0437\u043e\u0432 \u0432 \u0437\u0430\u0434\u0430\u0447\u0443 DAG.\u00a0<\/p>\n
      class _TaskDecorator:    # \u0445\u0440\u0430\u043d\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e\u00a0\u00a0\u00a0 def __init__(self, function):\u00a0\u00a0\u00a0\u00a0 \u00a0\u00a0\u00a0self.function = function  # \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 Airflow \u0438 \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 XComArg\u00a0\u00a0def __call__(self, ...):\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0op = BaseOperator(\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0python_callable = self.function,          ...\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0)\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0return XComArg(op)<\/code>
      <\/a><\/div><\/pre>\n
      \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/h2>\n