{"id":465487,"date":"2025-07-01T15:19:48","date_gmt":"2025-07-01T15:19:48","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=465487"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=465487","title":{"rendered":"\u0427\u0442\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0432 Apache Spark 4.0<\/span>"},"content":{"rendered":"
<\/div>\n
\n
\n
\n
\n

\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u042f \u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0421\u043a\u0430\u0445\u0438\u043d, \u0438\u043d\u0436\u0435\u043d\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u00ab\u0414\u0410\u0420\u00bb (\u0413\u041a \u00ab\u041a\u041e\u0420\u0423\u0421 \u041a\u043e\u043d\u0441\u0430\u043b\u0442\u0438\u043d\u0433\u00bb). Apache Spark \u2014 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0451\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u0445 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043e\u0432 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u044c\u044e. <\/p>\n

\"Apache<\/p>\n
Apache Spark 4 released<\/figcaption><\/div>\n<\/figure>\n

\u0418 \u0432\u043e\u0442 23 \u043c\u0430\u044f 2025 \u0433\u043e\u0434\u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Apache \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b\u0430\u00a0\u043d\u043e\u0432\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e<\/strong>\u00a0Spark 4.<\/p>\n

\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e Apache Spark \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a \u0441 \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u043e\u043c. \u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0443\u0441\u044c \u043d\u0430 \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0442\u0440\u043e\u043d\u0443\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 Spark SQL \u0438 PySpark.<\/p>\n

\u041f\u043e\u043b\u043d\u044b\u0439 \u0441\u043f\u0438\u0441\u043e\u043a 5100 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043e\u0442 390 \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043d\u0430 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0430\u0439\u0442\u0435<\/a>.<\/p>\n

\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 Spark SQL<\/h2>\n

\u0421 \u043c\u043e\u0435\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0438 \u0432 Spark SQL. \u041f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u0430\u0447\u0430\u0442\u043a\u0438 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f SQL.<\/p>\n

[SPARK-42849] Session Variables<\/h2>\n

SQL \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 spark \u0441\u0435\u0441\u0441\u0438\u0438.<\/p>\n

\u0414\u0430\u043d\u043d\u044b\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0434\u043b\u044f \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432, \u0433\u0434\u0435 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Spark SQL \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0432\u0438\u0442\u0440\u0438\u043d.<\/p>\n

\u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u043e\u0442\u0447\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 Spark SQL \u0444\u0430\u0439\u043b\u0430. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c 1 \u0440\u0430\u0437 \u0438 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u0435\u0441\u0442\u0430\u0445:<\/p>\n

--\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439, \u0442\u0430\u043a \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430: SET start_date = (select value from settings where name = 'last_copy') ; --\u0434\u0430\u043b\u0435\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 select ${start_date} ; --\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0437\u0430\u043a\u0430\u0437\u043e\u0432 SELECT *  FROM orders  WHERE order_date > ${start_date} ; --\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u0440\u043e\u0434\u0430\u0436 SELECT *  FROM sales  WHERE sale_date > ${start_date}<\/code><\/pre>\n
\u0412\u044b\u0437\u043e\u0432 \u0434\u0430\u043d\u043d\u043e\u0433\u043e SQL:<\/p>\n
[spark.sql(s).show() for s in sql.split(\";\")]  +----------+--------------------+ |       key|               value| +----------+--------------------+ |start_date|(select value fro...| +----------+--------------------+  +----------------+ |scalarsubquery()| +----------------+ |      2023-06-02| +----------------+  +---+----------+ | id|order_date| +---+----------+ |  3|2023-06-03| |  4|2023-06-04| |  5|2023-06-05| +---+----------+  +---+----------+ | id| sale_date| +---+----------+ | 30|2023-06-03| | 40|2023-06-04| | 50|2023-06-05| |  3|2025-06-03| +---+----------+<\/code><\/pre>\n
\u0421\u0442\u043e\u0438\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043d\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c \u0432 \u0437\u0430\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435.
\u042d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u043f\u043e \u043f\u043b\u0430\u043d\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0435, \u0433\u0434\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f subquery<\/p>\n
explain SELECT *  FROM sales  WHERE sale_date > ${start_date} ;  == Physical Plan == AdaptiveSparkPlan isFinalPlan=false +- Filter (isnotnull(sale_date#3) AND (sale_date#3 > Subquery subquery#201, [id=#465]))    :  +- Subquery subquery#201, [id=#465]    :     +- AdaptiveSparkPlan isFinalPlan=false    :        +- Project [value#5]    :           +- Filter (isnotnull(name#4) AND (name#4 = last_copy))    :              +- Scan ExistingRDD[name#4,value#5]    +- Scan ExistingRDD[id#2L,sale_date#3]<\/code><\/pre>\n
[SPARK-46246] EXECUTE IMMEDIATESQL support<\/h2>\n
\u0412\u044b\u0437\u043e\u0432 SQL \u0441 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0435\u0439 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/a>:<\/p>\n
DECLARE sqlStr1 = 'SELECT SUM(col1) FROM VALUES(?), (?)'; DECLARE arg10 = 5; DECLARE arg20 = 6; EXECUTE IMMEDIATE sqlStr1 USING arg10, arg20;  +---------+ |sum(col1)| +---------+ |       11| +---------+<\/code><\/pre>\n
Declare \u0438 set \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/p>\n
DECLARE sqlStr1 = 'SELECT SUM(col1) FROM VALUES(?), (?)'; SET test_arg = 123; DECLARE arg1 = ${test_arg}; EXECUTE IMMEDIATE sqlStr1 USING ${test_arg}, arg1;  +---------+ |sum(col1)| +---------+ |      246| +---------+<\/code><\/pre>\n
\u0412 \u0431\u0438\u043d\u0434 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0441\u0435\u0441\u0441\u0438\u043e\u043d\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0441 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c:<\/p>\n
SET test_arg = (select 1);  EXECUTE IMMEDIATE sqlStr1 USING ${test_arg}, arg1;  # A query parameter contains unsupported expression. # Parameters can either be variables or literals<\/code><\/pre>\n
\u0418\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e \u0447\u0442\u043e SQL \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432 EXECUTE IMMEDIATE \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u044d\u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n
\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0431\u0438\u043d\u0434\u044b \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432 PySpark 3.4 (SPARK-41271, SPARK-42702, SPARK-40281)<\/p>\n
spark.sql(     sqlText = \"SELECT * FROM tbl WHERE date > :startDate LIMIT :maxRows\",     args = Map(         \"startDate\" -> \"DATE'2022-12-01'\",         \"maxRows\" -> \"100\"))<\/code><\/pre>\n
\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0432 3.5<\/p>\n
spark.sql(\"SELECT * FROM {df} WHERE {df[B]} > ? and ? < {df[A]}\"           , args=[5, 2], df=mydf).show()<\/code><\/pre>\n
[SPARK-46057] Support SQL user-defined functions<\/h2>\n
\u0414\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u0446\u0438\u0439 \u0432 Spark SQL.<\/p>\n
\u042d\u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f<\/p>\n
CREATE FUNCTION to_hex(x INT COMMENT 'Any number between 0 - 255')   RETURNS STRING   COMMENT 'Converts a decimal to a hexadecimal'   CONTAINS SQL DETERMINISTIC   RETURN lpad(hex(least(greatest(0, x), 255)), 2, 0) ; SELECT to_hex(id) FROM range(2) ; +--------------------------------+ |spark_catalog.default.to_hex(id)| +--------------------------------+ |                              00| |                              01| +--------------------------------+  EXPLAIN SELECT to_hex(id) FROM range(2); == Physical Plan == *(1) Project [lpad(hex(cast(least(greatest(0, cast(id#225L as int)), 255) as bigint)), 2, 0) AS spark_catalog.default.to_hex(id)#226] +- *(1) Range (0, 2, step=1, splits=20)<\/code><\/pre>\n
\u0422\u0430\u043a \u0438 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u0434\u0440\u0443\u0433\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c \u0437\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c.<\/p>\n
\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0430:<\/p>\n
CREATE OR REPLACE TEMPORARY FUNCTION       get_order_name(order_id INT COMMENT 'Order ID')     RETURNS TABLE(name STRING COMMENT 'order name')    READS SQL DATA SQL SECURITY DEFINER    COMMENT 'Get order name by ID'    RETURN SELECT order_name FROM orders WHERE id = get_order_name.order_id ;  SELECT id, get_order_name.name      FROM VALUES(1),                (3) AS orders(id),          LATERAL get_order_name(orders.id) ;  +---+------+ | id|  name| +---+------+ |  1|name 1| |  3|name 3| +---+------+<\/code><\/pre>\n
\u041d\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u043a \u0438 \u0441\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u043e \u0441\u0443\u0442\u0438 \u044d\u0442\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0435 \u0448\u0430\u0431\u043b\u043e\u043d\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 SQL:<\/p>\n
explain SELECT id, get_order_name.name      FROM VALUES(1),                (3) AS orders(id),          LATERAL get_order_name(orders.id) ;  == Physical Plan == AdaptiveSparkPlan isFinalPlan=false +- Project [id#212, name#218]    +- BroadcastHashJoin [cast(id#212 as bigint)], [id#86L], Inner, BuildLeft, false       :- BroadcastExchange HashedRelationBroadcastMode(List(cast(input[0, int, false] as bigint)),false), [plan_id=532]       :  +- LocalTableScan [id#212]       +- Project [order_name#88 AS name#218, id#86L]          +- Filter isnotnull(id#86L)             +- Scan ExistingRDD[id#86L,order_date#87,order_name#88]<\/code><\/pre>\n
\u041d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0446\u0438\u043a\u043b\u043e\u0432, \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0438\u043b\u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e SQL.<\/p>\n
\u0414\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u0432\u0438\u0434\u0435\u0442\u044c \u0432 \u0442\u0435\u0441\u0442\u0430\u0445: https:\/\/github.com\/apache\/spark\/blob\/master\/sql\/core\/src\/test\/resources\/sql-tests\/inputs\/sql-udf.sql<\/a><\/p>\n
[SPARK-44444] Use ANSI SQL mode by default<\/h2>\n
\u0422\u0435\u043f\u0435\u0440\u044c Spark SQL \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 ANSI \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441 SQL<\/a><\/p>\n
\u041c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u043d\u044c\u0448\u0435 \u0434\u0430\u0432\u0430\u043b\u0438 NULL \u043d\u0430 \u0447\u0430\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442 exception:<\/p>\n
spark.conf.set(\"spark.sql.ansi.enabled\", \"true\") #default  spark.sql(\"select 1\/0\").show() # ArithmeticException: [DIVIDE_BY_ZERO] Division by zero.  # Use try_divide to tolerate divisor being 0 and return NULL instead.  # If necessary set \"spark.sql.ansi.enabled\" to \"false\" to bypass this error.  # SQLSTATE: 22012  spark.sql(\"select cast('test' as int)\").show() # NumberFormatException: [CAST_INVALID_INPUT] The value 'test' of the type \"STRING\" cannot be cast to \"INT\" because it is malformed.  # Correct the value as per the syntax, or change its target type.  # Use try_cast to tolerate malformed input and return NULL instead.  # SQLSTATE: 22018<\/code><\/pre>\n
\u041a\u0430\u043a \u0431\u044b\u043b\u043e \u0440\u0430\u043d\u044c\u0448\u0435:<\/p>\n
spark.conf.set(\"spark.sql.ansi.enabled\", \"false\")  spark.sql(\"select 1\/0\").show() +-------+ |(1 \/ 0)| +-------+ |   NULL| +-------+  spark.sql(\"select cast('test' as int)\").show() +-----------------+ |CAST(test AS INT)| +-----------------+ |             NULL| +-----------------+<\/code><\/pre>\n
[SPARK-49555] SQL Pipe syntax<\/h2>\n
\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0430 SQL<\/a>. \u042d\u0442\u043e \u043d\u0435 \u043d\u043e\u0432\u044b\u0439 \u044f\u0437\u044b\u043a, \u0430 \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0438\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e GoogleSQL<\/p>\n
\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430:<\/p>\n