spark sql 广播模式参数
在 Spark SQL 中，广播（Broadcast）模式常用于处理 Join 操作时的小表与大表的场景，尤其是在小表较小，可以被广播到每个 Executor 时，能够显著提升性能，避免了分布式 Shuffle 的开销。
Spark SQL 自动检测并使用广播模式，但可以通过以下几个参数进行手动控制和调整：
1. spark.sql.autoBroadcastJoinThreshold
该参数用于设置小表的最大大小（以字节为单位），超过该值的表不会被自动广播。默认值通常是 10MB（10485760 字节），可以根据数据量进行调整。设置为 -1 ，关闭广播模式
bash复制
--conf spark.sql.autoBroadcastJoinThreshold=104857600 # 100MB |
2. spark.sql.broadcastTimeout
广播表的超时时间（以毫秒为单位）。默认是 300 秒（5 分钟），如果小表广播时间过长，可以通过调整该参数来设置更长的超时时间。
bash复制
--conf spark.sql.broadcastTimeout=600000 # 10分钟 |
3. spark.sql.shuffle.partitions
虽然该参数不是专门针对广播的，但它会影响 Join 操作中的分区数，从而间接影响广播的性能。如果你在使用广播时遇到分区数不合理的问题，可以通过调整该参数。
bash复制
--conf spark.sql.shuffle.partitions=500 # 默认值为 200 |
4. spark.sql.adaptive.autoBroadcastJoinThreshold
从 Spark 3.x 开始，引入了自适应执行，该参数允许 Spark 在运行时动态调整广播的阈值。默认情况下，Spark 会根据当前作业的统计信息动态调整。如果你希望关闭自适应广播，可以将该参数设置为 -1。
bash复制
--conf spark.sql.adaptive.autoBroadcastJoinThreshold=-1 # 关闭自适应广播 |
5. spark.sql.adaptive.skewedJoin.enabled
如果在使用广播模式时遇到了数据倾斜问题，可以启用自适应倾斜 Join 功能，Spark 会动态地将倾斜的分区重新划分，以避免广播时出现性能瓶颈。
bash复制
--conf spark.sql.adaptive.skewedJoin.enabled=true |
示例
以下是一个完整的示例，展示了如何在提交 Spark SQL 作业时调整广播相关的参数：
bash复制
spark-submit \ |
--conf spark.sql.autoBroadcastJoinThreshold=104857600 \ |
--conf spark.sql.broadcastTimeout=600000 \ |
--conf spark.sql.shuffle.partitions=500 \ |
--conf spark.sql.adaptive.autoBroadcastJoinThreshold=-1 \ |
your_application.jar |
总结
spark.sql.autoBroadcastJoinThreshold：控制小表自动广播的阈值。spark.sql.broadcastTimeout：控制广播的超时时间。spark.sql.shuffle.partitions：影响分区数，从而影响 Join 操作的性能。spark.sql.adaptive.autoBroadcastJoinThreshold：控制自适应执行时广播的阈值。
根据你的数据规模和场景，合理调整这些参数可以帮助优化 Spark SQL 的性能。