[opt](scanner) Control the degree of parallelism of scanner when only limit involved by RoanHeNaN · Pull Request #39927 · apache/doris

RoanHeNaN · 2024-08-26T10:14:05Z

For queries like select * from tbl limit 100;, we should limit the parallelism to 1.

We already have strategies in our code, but we can not control its behavior. So add session variables to control them.

Previous pr like #33888 #36535 already has done something similar, this pr integrates them.

doris-robot · 2024-08-26T10:14:10Z

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

github-actions · 2024-08-26T10:20:29Z

clang-tidy review says "All clean, LGTM! 👍"

yiguolei · 2024-08-27T07:46:56Z

+ description = {
+ "请使用 adaptive_pipeline_task_serial_read_on_limit",
+ "Please use adaptive_pipeline_task_serial_read_on_limit"})
+ public long limitRowsForSingleInstance = 8192;


保持原来的值，10000就行了，万一有一些极限情况，上线后，直接性能下降了

FE BE上参数不一样，都改成10000？

RoanHeNaN · 2024-08-27T11:57:23Z

run buildall

github-actions · 2024-08-27T12:00:57Z

clang-tidy review says "All clean, LGTM! 👍"

github-actions · 2024-08-27T12:03:57Z

clang-tidy review says "All clean, LGTM! 👍"

doris-robot · 2024-08-27T13:32:12Z

TPC-H: Total hot run time: 38150 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4bfdd1b9e70686e58a74d05df1383a9e5694afb1, data reload: false
------ Round 1 ----------------------------------
q1	17947	4448	4276	4276
q2	2031	191	187	187
q3	11736	974	1115	974
q4	10229	736	697	697
q5	7745	2907	2753	2753
q6	222	139	139	139
q7	962	623	608	608
q8	9319	2070	2086	2070
q9	7179	6542	6546	6542
q10	7014	2287	2224	2224
q11	462	256	254	254
q12	399	236	236	236
q13	17757	3059	3054	3054
q14	286	237	230	230
q15	516	475	510	475
q16	501	404	397	397
q17	973	708	717	708
q18	7496	7086	6893	6893
q19	1394	1068	1126	1068
q20	693	334	352	334
q21	4417	3057	3041	3041
q22	1131	1065	990	990
Total cold run time: 110409 ms
Total hot run time: 38150 ms
----- Round 2, with runtime_filter_mode=off -----
q1	4303	4336	4281	4281
q2	382	271	269	269
q3	2877	2702	2720	2702
q4	1927	1600	1663	1600
q5	5618	5701	5736	5701
q6	229	144	138	138
q7	2232	1856	1790	1790
q8	3300	3437	3524	3437
q9	8844	8857	8826	8826
q10	3578	3366	3370	3366
q11	613	515	513	513
q12	839	704	647	647
q13	14182	3264	3240	3240
q14	323	285	293	285
q15	531	495	493	493
q16	501	478	466	466
q17	1851	1570	1525	1525
q18	8328	7911	7859	7859
q19	1742	1493	1503	1493
q20	2142	1953	1891	1891
q21	5697	5411	5580	5411
q22	1130	1043	1038	1038
Total cold run time: 71169 ms
Total hot run time: 56971 ms

doris-robot · 2024-08-27T13:44:22Z

TPC-DS: Total hot run time: 193246 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 4bfdd1b9e70686e58a74d05df1383a9e5694afb1, data reload: false
query1	1262	884	870	870
query2	6358	1964	1973	1964
query3	10637	4076	4070	4070
query4	59871	24581	23198	23198
query5	5426	517	505	505
query6	403	157	167	157
query7	5809	298	296	296
query8	276	202	205	202
query9	9096	2522	2469	2469
query10	473	264	255	255
query11	18295	15084	15384	15084
query12	157	115	101	101
query13	1561	397	381	381
query14	10711	6996	7235	6996
query15	217	177	179	177
query16	7446	478	513	478
query17	1112	556	577	556
query18	2026	312	295	295
query19	285	165	148	148
query20	119	112	115	112
query21	209	111	102	102
query22	4601	4380	4415	4380
query23	34318	33653	33619	33619
query24	5992	2846	2824	2824
query25	523	389	384	384
query26	662	158	158	158
query27	1737	280	284	280
query28	3600	2072	2083	2072
query29	678	407	407	407
query30	241	147	147	147
query31	920	716	770	716
query32	83	52	56	52
query33	468	306	282	282
query34	849	486	486	486
query35	856	704	725	704
query36	1053	934	943	934
query37	138	85	82	82
query38	3947	3928	3870	3870
query39	1433	1383	1368	1368
query40	197	114	114	114
query41	45	45	44	44
query42	118	100	97	97
query43	527	490	497	490
query44	1087	758	757	757
query45	193	165	164	164
query46	1084	759	806	759
query47	1901	1828	1851	1828
query48	383	300	310	300
query49	774	460	424	424
query50	808	433	428	428
query51	7160	7079	7108	7079
query52	97	88	87	87
query53	249	179	178	178
query54	551	449	446	446
query55	80	78	79	78
query56	281	247	252	247
query57	1195	1102	1081	1081
query58	222	225	217	217
query59	3092	2777	2786	2777
query60	293	274	274	274
query61	103	98	96	96
query62	746	624	662	624
query63	224	184	196	184
query64	2611	671	651	651
query65	3232	3166	3138	3138
query66	689	334	337	334
query67	15314	15415	15438	15415
query68	2979	591	575	575
query69	394	274	281	274
query70	1183	1068	1085	1068
query71	340	274	282	274
query72	5117	4237	4040	4040
query73	744	342	346	342
query74	9071	8794	8711	8711
query75	3364	2634	2679	2634
query76	1308	979	1024	979
query77	525	331	330	330
query78	9574	9144	9069	9069
query79	1058	556	542	542
query80	699	535	528	528
query81	462	232	228	228
query82	239	138	135	135
query83	176	156	154	154
query84	265	79	81	79
query85	743	350	353	350
query86	317	301	283	283
query87	4410	4218	4211	4211
query88	3215	2410	2417	2410
query89	395	285	290	285
query90	1897	199	197	197
query91	141	115	114	114
query92	62	57	58	57
query93	1038	541	536	536
query94	686	298	322	298
query95	369	285	284	284
query96	588	275	277	275
query97	3201	3053	3022	3022
query98	216	216	202	202
query99	1521	1279	1268	1268
Total cold run time: 303401 ms
Total hot run time: 193246 ms

doris-robot · 2024-08-27T13:49:56Z

ClickBench: Total hot run time: 31.16 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 4bfdd1b9e70686e58a74d05df1383a9e5694afb1, data reload: false
query1	0.05	0.04	0.04
query2	0.08	0.04	0.03
query3	0.23	0.05	0.05
query4	1.68	0.08	0.08
query5	0.49	0.50	0.50
query6	1.13	0.74	0.74
query7	0.02	0.02	0.02
query8	0.05	0.04	0.05
query9	0.54	0.48	0.48
query10	0.53	0.54	0.54
query11	0.16	0.12	0.12
query12	0.15	0.12	0.13
query13	0.62	0.61	0.59
query14	0.76	0.78	0.78
query15	0.86	0.82	0.81
query16	0.37	0.38	0.38
query17	1.03	1.09	1.04
query18	0.22	0.22	0.20
query19	1.84	1.79	1.78
query20	0.01	0.00	0.01
query21	15.40	0.65	0.64
query22	3.93	7.43	2.26
query23	18.26	1.42	1.38
query24	2.08	0.23	0.23
query25	0.15	0.08	0.08
query26	0.26	0.18	0.18
query27	0.09	0.08	0.08
query28	13.22	1.02	0.99
query29	12.63	3.31	3.24
query30	0.24	0.06	0.05
query31	2.89	0.41	0.39
query32	3.26	0.47	0.48
query33	2.96	2.99	3.02
query34	17.09	4.32	4.38
query35	4.43	4.48	4.45
query36	0.66	0.48	0.47
query37	0.18	0.16	0.15
query38	0.15	0.16	0.15
query39	0.05	0.04	0.04
query40	0.17	0.13	0.13
query41	0.09	0.06	0.05
query42	0.05	0.05	0.05
query43	0.04	0.04	0.03
Total cold run time: 109.1 s
Total hot run time: 31.16 s

RoanHeNaN · 2024-08-28T03:37:19Z

run buildall

github-actions · 2024-08-28T03:42:47Z

clang-tidy review says "All clean, LGTM! 👍"

doris-robot · 2024-08-28T05:30:06Z

TPC-H: Total hot run time: 38335 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
------ Round 1 ----------------------------------
q1	18653	4601	4313	4313
q2	2031	183	180	180
q3	11421	951	1155	951
q4	10220	725	812	725
q5	7767	2861	2811	2811
q6	231	135	137	135
q7	960	643	598	598
q8	9347	2125	2077	2077
q9	6984	6579	6599	6579
q10	6992	2247	2218	2218
q11	464	239	238	238
q12	400	223	225	223
q13	18821	3030	3041	3030
q14	281	237	231	231
q15	520	495	487	487
q16	586	520	499	499
q17	985	723	687	687
q18	7710	6914	7068	6914
q19	1396	1061	1108	1061
q20	665	337	335	335
q21	3955	3127	3021	3021
q22	1120	1022	1040	1022
Total cold run time: 111509 ms
Total hot run time: 38335 ms
----- Round 2, with runtime_filter_mode=off -----
q1	4390	4337	4278	4278
q2	372	274	270	270
q3	2915	2706	2672	2672
q4	1986	1686	1738	1686
q5	5691	5644	5737	5644
q6	226	132	136	132
q7	2214	1845	1837	1837
q8	3307	3466	3546	3466
q9	8807	8843	8817	8817
q10	3696	3397	3345	3345
q11	615	504	511	504
q12	876	705	692	692
q13	13073	3179	3212	3179
q14	313	293	279	279
q15	538	474	470	470
q16	616	564	608	564
q17	1845	1559	1530	1530
q18	8210	7866	7898	7866
q19	1737	1596	1641	1596
q20	2166	1888	1925	1888
q21	5728	5541	5529	5529
q22	1140	1119	1102	1102
Total cold run time: 70461 ms
Total hot run time: 57346 ms

doris-robot · 2024-08-28T05:42:19Z

TPC-DS: Total hot run time: 193613 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
query1	1246	919	855	855
query2	6320	1988	2039	1988
query3	10719	4175	4118	4118
query4	59922	25259	23340	23340
query5	5478	495	494	494
query6	415	161	163	161
query7	5793	308	301	301
query8	291	221	208	208
query9	9095	2513	2490	2490
query10	504	277	286	277
query11	17684	15186	15271	15186
query12	161	106	103	103
query13	1559	414	387	387
query14	11179	6972	7233	6972
query15	243	171	193	171
query16	7618	463	493	463
query17	1136	585	575	575
query18	2117	316	303	303
query19	300	154	154	154
query20	122	114	111	111
query21	212	106	105	105
query22	4720	4526	4530	4526
query23	34390	33330	33407	33330
query24	5929	2908	2863	2863
query25	529	367	384	367
query26	685	157	151	151
query27	1789	280	284	280
query28	3549	2136	2119	2119
query29	700	405	404	404
query30	240	147	156	147
query31	921	760	773	760
query32	87	56	53	53
query33	447	280	276	276
query34	859	465	490	465
query35	848	713	728	713
query36	1080	954	933	933
query37	153	96	98	96
query38	3896	3822	3901	3822
query39	1471	1398	1366	1366
query40	198	118	115	115
query41	47	47	44	44
query42	111	97	97	97
query43	522	487	481	481
query44	1118	746	760	746
query45	195	164	164	164
query46	1100	762	740	740
query47	1877	1789	1787	1787
query48	374	299	311	299
query49	770	422	425	422
query50	802	425	417	417
query51	7224	7165	7080	7080
query52	94	85	89	85
query53	254	180	183	180
query54	574	452	458	452
query55	80	80	79	79
query56	331	255	253	253
query57	1172	1081	1062	1062
query58	218	229	227	227
query59	3149	3027	3068	3027
query60	291	276	271	271
query61	102	97	100	97
query62	734	677	647	647
query63	212	190	185	185
query64	2831	674	706	674
query65	3247	3148	3149	3148
query66	671	340	336	336
query67	15581	15159	15362	15159
query68	2945	579	590	579
query69	407	282	270	270
query70	1161	1040	1145	1040
query71	342	277	280	277
query72	5902	4148	4162	4148
query73	766	348	349	348
query74	9194	8882	9074	8882
query75	3404	2660	2667	2660
query76	1380	1026	944	944
query77	496	326	319	319
query78	9611	9079	9049	9049
query79	1044	554	539	539
query80	720	526	505	505
query81	465	233	234	233
query82	237	145	152	145
query83	170	149	149	149
query84	268	71	78	71
query85	681	350	278	278
query86	318	302	299	299
query87	4288	4325	4326	4325
query88	2901	2326	2338	2326
query89	389	291	282	282
query90	1976	197	193	193
query91	123	100	99	99
query92	62	52	53	52
query93	1072	542	541	541
query94	735	310	289	289
query95	338	260	261	260
query96	593	270	263	263
query97	3170	3074	3087	3074
query98	237	199	199	199
query99	1562	1271	1268	1268
Total cold run time: 305243 ms
Total hot run time: 193613 ms

doris-robot · 2024-08-28T05:47:58Z

ClickBench: Total hot run time: 31.93 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
query1	0.04	0.04	0.04
query2	0.08	0.05	0.04
query3	0.22	0.06	0.05
query4	1.68	0.09	0.08
query5	0.50	0.49	0.48
query6	1.13	0.74	0.73
query7	0.02	0.01	0.01
query8	0.05	0.04	0.04
query9	0.55	0.49	0.49
query10	0.55	0.54	0.54
query11	0.15	0.12	0.11
query12	0.15	0.12	0.12
query13	0.60	0.60	0.59
query14	2.10	2.06	2.06
query15	0.84	0.82	0.81
query16	0.36	0.39	0.36
query17	1.00	0.98	0.97
query18	0.24	0.21	0.22
query19	1.84	1.77	1.78
query20	0.03	0.02	0.01
query21	15.39	0.66	0.66
query22	4.08	7.59	1.72
query23	18.32	1.34	1.46
query24	2.12	0.23	0.22
query25	0.14	0.09	0.08
query26	0.26	0.18	0.18
query27	0.08	0.08	0.07
query28	13.32	1.01	1.03
query29	12.61	3.34	3.29
query30	0.24	0.06	0.05
query31	2.87	0.40	0.40
query32	3.27	0.49	0.49
query33	2.97	3.03	2.99
query34	17.15	4.42	4.50
query35	4.45	4.43	4.47
query36	0.66	0.50	0.46
query37	0.20	0.16	0.16
query38	0.16	0.15	0.16
query39	0.04	0.04	0.04
query40	0.15	0.13	0.13
query41	0.09	0.05	0.05
query42	0.06	0.04	0.04
query43	0.05	0.05	0.04
Total cold run time: 110.81 s
Total hot run time: 31.93 s

RoanHeNaN · 2024-08-29T02:10:57Z

run buildall

doris-robot · 2024-08-29T03:54:37Z

TPC-H: Total hot run time: 38507 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
------ Round 1 ----------------------------------
q1	17937	4573	4313	4313
q2	2039	191	174	174
q3	11674	990	1114	990
q4	10450	764	740	740
q5	7790	2888	2873	2873
q6	229	144	141	141
q7	961	612	621	612
q8	9354	2072	2067	2067
q9	7119	6524	6548	6524
q10	6986	2252	2181	2181
q11	469	258	247	247
q12	403	230	231	230
q13	17767	3065	3022	3022
q14	288	240	230	230
q15	519	501	488	488
q16	600	529	516	516
q17	983	768	722	722
q18	7410	6950	6979	6950
q19	1401	1079	1078	1078
q20	684	341	340	340
q21	3963	3231	3083	3083
q22	1109	1023	986	986
Total cold run time: 110135 ms
Total hot run time: 38507 ms
----- Round 2, with runtime_filter_mode=off -----
q1	4332	4282	4298	4282
q2	383	273	287	273
q3	2949	2662	2687	2662
q4	1938	1612	1638	1612
q5	5641	5696	5779	5696
q6	232	140	137	137
q7	2238	1810	1803	1803
q8	3348	3395	3458	3395
q9	8869	8878	8775	8775
q10	3540	3405	3350	3350
q11	624	522	517	517
q12	833	674	645	645
q13	14629	3130	3234	3130
q14	335	286	289	286
q15	548	501	486	486
q16	627	579	585	579
q17	1852	1569	1545	1545
q18	8235	7866	7922	7866
q19	1759	1610	1614	1610
q20	2179	1937	1925	1925
q21	5921	5498	5622	5498
q22	1132	1039	1030	1030
Total cold run time: 72144 ms
Total hot run time: 57102 ms

doris-robot · 2024-08-29T04:06:52Z

TPC-DS: Total hot run time: 193612 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
query1	1259	889	844	844
query2	6335	1946	1907	1907
query3	10667	3941	3932	3932
query4	59587	25940	23217	23217
query5	5449	494	503	494
query6	423	168	170	168
query7	5759	295	297	295
query8	284	205	213	205
query9	8711	2495	2467	2467
query10	470	274	256	256
query11	16856	16448	15405	15405
query12	169	105	102	102
query13	1485	403	384	384
query14	11116	7557	7502	7502
query15	245	173	183	173
query16	7556	481	474	474
query17	1071	577	573	573
query18	1997	297	294	294
query19	290	146	149	146
query20	124	109	108	108
query21	207	102	103	102
query22	4746	4463	4647	4463
query23	34360	33602	33383	33383
query24	5970	2861	2888	2861
query25	562	408	412	408
query26	691	161	161	161
query27	1784	282	284	282
query28	3708	2125	2123	2123
query29	684	422	430	422
query30	248	154	162	154
query31	898	771	768	768
query32	82	54	61	54
query33	438	297	301	297
query34	863	482	471	471
query35	850	741	740	740
query36	1072	929	959	929
query37	154	98	91	91
query38	4045	4082	3876	3876
query39	1458	1394	1374	1374
query40	208	119	117	117
query41	48	49	47	47
query42	117	95	98	95
query43	496	479	479	479
query44	1099	748	753	748
query45	200	163	163	163
query46	1092	758	772	758
query47	1868	1780	1796	1780
query48	368	310	299	299
query49	775	433	438	433
query50	821	486	415	415
query51	7219	7070	7123	7070
query52	102	85	86	85
query53	250	176	188	176
query54	562	465	465	465
query55	82	76	81	76
query56	281	254	278	254
query57	1206	1103	1100	1100
query58	222	251	221	221
query59	3025	2774	2693	2693
query60	290	267	271	267
query61	120	101	101	101
query62	763	655	646	646
query63	216	186	181	181
query64	2851	667	689	667
query65	3246	3183	3167	3167
query66	682	328	338	328
query67	15353	15423	15178	15178
query68	3254	586	569	569
query69	405	272	283	272
query70	1152	1116	1101	1101
query71	355	268	273	268
query72	6273	4015	3971	3971
query73	751	338	336	336
query74	9139	8856	8791	8791
query75	3390	2682	2750	2682
query76	1361	985	1019	985
query77	595	326	320	320
query78	9725	9146	9331	9146
query79	1061	540	542	540
query80	702	512	496	496
query81	558	237	231	231
query82	287	142	142	142
query83	169	150	152	150
query84	268	79	75	75
query85	752	296	286	286
query86	312	302	293	293
query87	4427	4218	4317	4218
query88	3060	2404	2338	2338
query89	389	287	285	285
query90	1958	190	191	190
query91	123	100	100	100
query92	62	53	52	52
query93	1072	546	543	543
query94	752	305	293	293
query95	358	259	262	259
query96	587	268	267	267
query97	3175	3064	3040	3040
query98	223	201	208	201
query99	1529	1278	1258	1258
Total cold run time: 304459 ms
Total hot run time: 193612 ms

doris-robot · 2024-08-29T04:12:31Z

ClickBench: Total hot run time: 32.91 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 89dde54d2bad996974c9f75dd382589178f750e4, data reload: false
query1	0.05	0.04	0.03
query2	0.08	0.04	0.04
query3	0.23	0.06	0.06
query4	1.65	0.08	0.08
query5	0.50	0.48	0.49
query6	1.13	0.73	0.72
query7	0.02	0.02	0.02
query8	0.05	0.04	0.05
query9	0.55	0.49	0.50
query10	0.54	0.54	0.54
query11	0.16	0.12	0.13
query12	0.15	0.12	0.13
query13	0.62	0.61	0.60
query14	2.10	2.07	2.05
query15	0.84	0.83	0.82
query16	0.35	0.35	0.36
query17	0.98	1.03	1.00
query18	0.22	0.21	0.20
query19	1.84	1.80	1.79
query20	0.02	0.01	0.02
query21	15.41	0.67	0.66
query22	3.97	6.97	2.69
query23	18.31	1.38	1.32
query24	2.16	0.21	0.23
query25	0.16	0.09	0.08
query26	0.27	0.18	0.18
query27	0.08	0.08	0.08
query28	13.29	1.02	1.01
query29	12.61	3.40	3.34
query30	0.24	0.05	0.06
query31	2.87	0.40	0.39
query32	3.26	0.49	0.49
query33	2.98	3.04	3.00
query34	16.95	4.41	4.39
query35	4.45	4.43	4.39
query36	0.67	0.46	0.48
query37	0.19	0.16	0.16
query38	0.16	0.15	0.15
query39	0.04	0.04	0.03
query40	0.16	0.13	0.13
query41	0.10	0.04	0.04
query42	0.05	0.06	0.06
query43	0.04	0.04	0.04
Total cold run time: 110.5 s
Total hot run time: 32.91 s

… limit involved (apache#39927) For queries like `select * from tbl limit 100;`, we should limit the parallelism to 1. We already have strategies in our code, but we can not control its behavior. So add session variables to control them. Previous pr like apache#33888 apache#36535 already has done something similar, this pr integrates them.

… limit involved #39927 (#40357) cherry pick from #39927

enable_scan_node_run_serial is not working after #39927