[cloud](Variant) limit column size in MetaService and support handle rowset schema in backend side(#41482)

[github-actions]

PR Body: 1. in local mode we limit column size in commit_txn phase, in cloud mode we limit it in write_schema_dict which in commit_rowset phase
2. add config to decide whether fill schema in BE side or MS side

Cherry-picked from #41482

[github-actions]

run buildall

[doris-robot]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR

Since 2024-03-18, the Document has been moved to doris-website.
See Doris Document.

[eldenmoon]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40645 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
------ Round 1 ----------------------------------
q1	17931	7463	7265	7265
q2	2087	160	151	151
q3	10889	1070	1165	1070
q4	10551	764	741	741
q5	7747	2973	2812	2812
q6	232	148	150	148
q7	984	614	611	611
q8	9335	1928	1989	1928
q9	6593	6390	6444	6390
q10	7015	2280	2425	2280
q11	456	266	274	266
q12	408	217	216	216
q13	17797	2970	2971	2970
q14	241	203	211	203
q15	571	512	519	512
q16	661	604	602	602
q17	984	559	564	559
q18	7191	6626	6571	6571
q19	1715	1076	1046	1046
q20	495	206	207	206
q21	3905	3106	3151	3106
q22	1085	998	992	992
Total cold run time: 108873 ms
Total hot run time: 40645 ms
----- Round 2, with runtime_filter_mode=off -----
q1	7319	7218	7264	7218
q2	325	235	231	231
q3	2882	2862	2849	2849
q4	1999	1846	1803	1803
q5	5694	5718	5771	5718
q6	217	140	145	140
q7	2206	1751	1775	1751
q8	3280	3529	3501	3501
q9	8788	8905	8842	8842
q10	3564	3503	3465	3465
q11	600	484	499	484
q12	802	605	596	596
q13	16510	3139	3121	3121
q14	310	262	288	262
q15	564	522	532	522
q16	713	683	676	676
q17	1864	1640	1627	1627
q18	8190	7880	7727	7727
q19	6932	1625	1637	1625
q20	2064	1841	1852	1841
q21	5427	5246	5285	5246
q22	1080	999	1038	999
Total cold run time: 81330 ms
Total hot run time: 60244 ms

[doris-robot]

TPC-DS: Total hot run time: 192623 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
query1	1255	953	895	895
query2	6238	2093	2002	2002
query3	10807	3811	3621	3621
query4	66914	30801	23753	23753
query5	5502	420	422	420
query6	316	164	161	161
query7	5059	303	310	303
query8	289	234	230	230
query9	6305	2672	2663	2663
query10	444	261	257	257
query11	15578	14993	15750	14993
query12	171	100	111	100
query13	1005	415	409	409
query14	10942	7357	6979	6979
query15	218	192	180	180
query16	7302	510	519	510
query17	1062	557	556	556
query18	1838	308	297	297
query19	190	153	160	153
query20	124	108	105	105
query21	207	98	99	98
query22	4571	4398	4009	4009
query23	34493	33810	33548	33548
query24	5910	2754	2763	2754
query25	497	410	391	391
query26	703	162	161	161
query27	1728	287	303	287
query28	4094	2511	2486	2486
query29	677	431	434	431
query30	234	156	157	156
query31	985	786	814	786
query32	65	53	54	53
query33	451	273	271	271
query34	907	490	498	490
query35	838	711	722	711
query36	1057	939	943	939
query37	116	72	75	72
query38	3939	3849	3869	3849
query39	1474	1437	1417	1417
query40	197	98	98	98
query41	53	55	55	55
query42	109	94	96	94
query43	520	481	467	467
query44	1114	777	794	777
query45	183	169	166	166
query46	1117	733	719	719
query47	1883	1795	1832	1795
query48	450	366	366	366
query49	725	391	409	391
query50	809	394	404	394
query51	7170	7084	7012	7012
query52	104	87	92	87
query53	258	184	186	184
query54	556	449	448	448
query55	75	78	75	75
query56	266	247	242	242
query57	1179	1092	1090	1090
query58	203	191	206	191
query59	3044	2949	2763	2763
query60	268	241	242	241
query61	103	100	98	98
query62	802	679	645	645
query63	220	187	179	179
query64	1478	604	589	589
query65	3274	3166	3174	3166
query66	723	308	305	305
query67	15796	15243	15666	15243
query68	4197	549	536	536
query69	427	247	253	247
query70	1177	1135	1119	1119
query71	426	253	265	253
query72	6463	3830	3458	3458
query73	743	332	332	332
query74	10350	8880	8964	8880
query75	3343	2629	2607	2607
query76	2278	921	930	921
query77	482	250	256	250
query78	10709	9626	9499	9499
query79	8057	569	574	569
query80	2251	432	427	427
query81	537	239	244	239
query82	1341	112	108	108
query83	246	132	130	130
query84	287	78	73	73
query85	1800	293	274	274
query86	482	295	282	282
query87	4686	4296	4151	4151
query88	5209	2349	2371	2349
query89	410	277	283	277
query90	2046	177	170	170
query91	167	143	137	137
query92	65	45	44	44
query93	6593	538	527	527
query94	891	285	279	279
query95	335	244	246	244
query96	614	276	276	276
query97	3324	3106	3156	3106
query98	226	194	191	191
query99	1905	1292	1314	1292
Total cold run time: 329251 ms
Total hot run time: 192623 ms

[eldenmoon]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40812 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
------ Round 1 ----------------------------------
q1	17999	10029	7396	7396
q2	2062	170	147	147
q3	10650	1106	1126	1106
q4	10410	801	689	689
q5	7729	2864	2831	2831
q6	258	149	146	146
q7	967	618	606	606
q8	9363	1966	2032	1966
q9	6626	6408	6398	6398
q10	7015	2282	2306	2282
q11	454	265	279	265
q12	394	208	202	202
q13	17812	2961	2954	2954
q14	251	217	214	214
q15	570	508	521	508
q16	654	604	594	594
q17	995	568	552	552
q18	7428	6739	6585	6585
q19	2211	1058	1023	1023
q20	477	204	196	196
q21	3883	3237	3163	3163
q22	1078	1013	989	989
Total cold run time: 109286 ms
Total hot run time: 40812 ms
----- Round 2, with runtime_filter_mode=off -----
q1	7372	7232	7209	7209
q2	324	225	221	221
q3	2935	2723	2747	2723
q4	1890	1671	1694	1671
q5	5381	5478	5429	5429
q6	217	139	134	134
q7	2048	1642	1641	1641
q8	3206	3367	3385	3367
q9	8536	8548	8502	8502
q10	3456	3395	3416	3395
q11	591	500	492	492
q12	776	544	563	544
q13	16934	2944	2968	2944
q14	308	256	253	253
q15	548	514	504	504
q16	708	668	657	657
q17	1826	1569	1547	1547
q18	7672	7604	7209	7209
q19	1650	1512	1427	1427
q20	1995	1783	1778	1778
q21	5129	5051	5029	5029
q22	1073	995	977	977
Total cold run time: 74575 ms
Total hot run time: 57653 ms

[doris-robot]

TPC-DS: Total hot run time: 188627 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
query1	982	378	380	378
query2	6510	2082	2035	2035
query3	6708	213	218	213
query4	34272	23512	23420	23420
query5	4258	449	420	420
query6	261	169	157	157
query7	4618	305	306	305
query8	299	222	220	220
query9	9665	2640	2602	2602
query10	455	254	240	240
query11	18040	14957	15112	14957
query12	160	102	102	102
query13	1639	416	399	399
query14	9336	6268	6966	6268
query15	213	180	178	178
query16	7731	464	467	464
query17	1610	558	556	556
query18	1889	297	301	297
query19	197	145	150	145
query20	116	108	110	108
query21	205	100	102	100
query22	4453	4115	4559	4115
query23	34190	33746	33608	33608
query24	12230	2834	2761	2761
query25	723	395	400	395
query26	1849	163	165	163
query27	3068	292	289	289
query28	8305	2502	2465	2465
query29	1107	432	420	420
query30	330	153	163	153
query31	1017	796	793	793
query32	94	59	56	56
query33	775	269	264	264
query34	1018	491	499	491
query35	929	725	710	710
query36	1073	938	947	938
query37	273	72	74	72
query38	4111	3858	3844	3844
query39	1477	1432	1413	1413
query40	288	102	98	98
query41	60	49	50	49
query42	114	103	96	96
query43	513	475	481	475
query44	1192	781	781	781
query45	184	173	163	163
query46	1122	721	733	721
query47	1896	1841	1847	1841
query48	475	380	360	360
query49	1297	401	400	400
query50	799	401	409	401
query51	7175	7068	6977	6977
query52	104	91	93	91
query53	263	185	187	185
query54	1331	452	437	437
query55	74	73	78	73
query56	257	260	241	241
query57	1200	1101	1107	1101
query58	244	208	228	208
query59	3179	2980	2933	2933
query60	286	261	241	241
query61	123	120	117	117
query62	874	655	702	655
query63	206	190	181	181
query64	5172	613	579	579
query65	3240	3202	3180	3180
query66	1424	310	306	306
query67	15821	15405	15329	15329
query68	4537	521	523	521
query69	415	256	259	256
query70	1144	1145	1131	1131
query71	421	263	248	248
query72	6302	3967	3953	3953
query73	752	337	332	332
query74	10116	8855	8950	8855
query75	3350	2605	2584	2584
query76	3057	957	971	957
query77	387	255	260	255
query78	10690	9738	9434	9434
query79	8993	580	588	580
query80	2178	421	410	410
query81	571	246	238	238
query82	1378	120	116	116
query83	255	139	134	134
query84	283	76	74	74
query85	2257	294	280	280
query86	499	307	303	303
query87	4508	4310	4332	4310
query88	5832	2326	2323	2323
query89	557	284	276	276
query90	2104	179	180	179
query91	169	143	153	143
query92	67	50	48	48
query93	6918	548	542	542
query94	907	285	286	285
query95	350	246	245	245
query96	604	272	272	272
query97	3308	3136	3152	3136
query98	217	208	195	195
query99	1938	1279	1310	1279
Total cold run time: 320163 ms
Total hot run time: 188627 ms

[eldenmoon]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40502 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
------ Round 1 ----------------------------------
q1	18017	10710	7368	7368
q2	2067	160	153	153
q3	10666	1140	1168	1140
q4	10435	748	714	714
q5	7765	2835	2781	2781
q6	238	150	146	146
q7	968	618	593	593
q8	9351	1926	1975	1926
q9	6622	6442	6411	6411
q10	7016	2286	2291	2286
q11	456	262	260	260
q12	397	209	208	208
q13	17788	2983	2966	2966
q14	242	210	218	210
q15	576	537	509	509
q16	678	611	603	603
q17	989	580	555	555
q18	7238	6500	6596	6500
q19	2950	1049	928	928
q20	490	195	192	192
q21	3934	3296	3076	3076
q22	1072	983	977	977
Total cold run time: 109955 ms
Total hot run time: 40502 ms
----- Round 2, with runtime_filter_mode=off -----
q1	7449	7280	7296	7280
q2	328	239	224	224
q3	2932	2737	2735	2735
q4	1883	1698	1633	1633
q5	5459	5449	5480	5449
q6	217	139	142	139
q7	2051	1637	1647	1637
q8	3255	3381	3405	3381
q9	8579	8561	8519	8519
q10	3445	3405	3365	3365
q11	603	495	490	490
q12	732	557	583	557
q13	16936	2950	2995	2950
q14	299	254	271	254
q15	565	500	507	500
q16	709	654	658	654
q17	1846	1587	1545	1545
q18	7725	7331	7448	7331
q19	1657	1597	1538	1538
q20	2000	1793	1798	1793
q21	5143	5003	5037	5003
q22	1104	969	976	969
Total cold run time: 74917 ms
Total hot run time: 57946 ms

[doris-robot]

TPC-DS: Total hot run time: 189634 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit f85ade154b482b88f8c1751aff409ac070ad7723, data reload: false
query1	978	374	379	374
query2	6550	2118	2096	2096
query3	6933	209	224	209
query4	33998	23597	23341	23341
query5	4294	449	431	431
query6	263	166	159	159
query7	4608	316	300	300
query8	281	240	232	232
query9	9384	2658	2650	2650
query10	477	256	253	253
query11	18219	15178	15249	15178
query12	152	102	100	100
query13	1644	416	389	389
query14	9312	7270	6765	6765
query15	249	179	178	178
query16	8055	459	464	459
query17	1645	570	563	563
query18	2065	303	296	296
query19	208	169	155	155
query20	119	107	112	107
query21	209	109	104	104
query22	4197	4186	4215	4186
query23	35202	33801	34087	33801
query24	12262	2766	2825	2766
query25	664	398	402	398
query26	1626	166	165	165
query27	3012	290	297	290
query28	8118	2484	2467	2467
query29	890	437	431	431
query30	327	155	161	155
query31	1031	782	832	782
query32	98	58	60	58
query33	781	270	272	270
query34	1035	493	516	493
query35	861	713	716	713
query36	1088	958	910	910
query37	249	71	74	71
query38	3962	3843	3865	3843
query39	1471	1405	1446	1405
query40	290	99	110	99
query41	54	52	50	50
query42	102	102	98	98
query43	523	496	491	491
query44	1323	781	794	781
query45	190	174	171	171
query46	1117	715	690	690
query47	1875	1817	1814	1814
query48	453	363	359	359
query49	1300	399	396	396
query50	804	409	414	409
query51	7149	7118	7160	7118
query52	113	90	90	90
query53	253	182	181	181
query54	1321	447	449	447
query55	83	77	77	77
query56	264	240	246	240
query57	1239	1120	1111	1111
query58	244	230	219	219
query59	3008	2798	2768	2768
query60	279	257	282	257
query61	97	94	95	94
query62	873	645	660	645
query63	206	183	186	183
query64	5130	628	596	596
query65	3247	3197	3165	3165
query66	1401	316	303	303
query67	15996	15450	15565	15450
query68	4973	557	531	531
query69	428	255	253	253
query70	1196	1128	1145	1128
query71	438	273	258	258
query72	6205	3847	3890	3847
query73	746	333	332	332
query74	10207	8986	8990	8986
query75	3586	2828	2594	2594
query76	2943	968	1000	968
query77	436	264	258	258
query78	10713	9713	9374	9374
query79	9249	595	586	586
query80	2076	414	402	402
query81	580	242	240	240
query82	1237	116	116	116
query83	273	134	136	134
query84	287	79	79	79
query85	1903	281	269	269
query86	486	296	302	296
query87	4471	4263	4200	4200
query88	5561	2351	2357	2351
query89	548	289	288	288
query90	2221	179	177	177
query91	166	134	142	134
query92	66	47	47	47
query93	7575	545	528	528
query94	991	291	292	291
query95	348	252	248	248
query96	626	273	279	273
query97	3398	3138	3134	3134
query98	217	191	190	190
query99	2086	1299	1277	1277
Total cold run time: 321687 ms
Total hot run time: 189634 ms

[eldenmoon]

run buildall

[doris-robot]

TPC-H: Total hot run time: 40381 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit a9d1381e4ebe68f84e9039389ab211da51fe17d0, data reload: false
------ Round 1 ----------------------------------
q1	17725	7501	7336	7336
q2	2066	168	148	148
q3	10730	1104	1179	1104
q4	10563	738	769	738
q5	7756	2765	2804	2765
q6	234	147	142	142
q7	952	614	604	604
q8	9339	1943	2002	1943
q9	6523	6408	6416	6408
q10	6941	2287	2293	2287
q11	461	259	259	259
q12	398	216	209	209
q13	17805	3001	2971	2971
q14	231	215	221	215
q15	554	512	524	512
q16	662	609	593	593
q17	970	522	519	519
q18	7361	6552	6648	6552
q19	3363	1013	979	979
q20	476	197	195	195
q21	3923	3103	2969	2969
q22	1079	1000	933	933
Total cold run time: 110112 ms
Total hot run time: 40381 ms
----- Round 2, with runtime_filter_mode=off -----
q1	7827	7209	7197	7197
q2	325	226	232	226
q3	3028	2880	2958	2880
q4	2054	1787	1738	1738
q5	5705	5689	5724	5689
q6	226	147	144	144
q7	2158	1786	1743	1743
q8	3393	3512	3403	3403
q9	8999	8855	8859	8855
q10	3530	3510	3516	3510
q11	589	514	512	512
q12	822	612	609	609
q13	16491	3211	3155	3155
q14	295	262	281	262
q15	578	533	532	532
q16	719	671	667	667
q17	1824	1606	1602	1602
q18	8187	7809	7544	7544
q19	6568	1634	1645	1634
q20	2077	1830	1790	1790
q21	5422	5280	5164	5164
q22	1134	1031	1012	1012
Total cold run time: 81951 ms
Total hot run time: 59868 ms

[doris-robot]

TPC-DS: Total hot run time: 192586 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit a9d1381e4ebe68f84e9039389ab211da51fe17d0, data reload: false
query1	1242	918	937	918
query2	6249	2078	2022	2022
query3	10756	3808	3613	3613
query4	67807	27684	23376	23376
query5	5636	437	434	434
query6	463	165	162	162
query7	6217	320	309	309
query8	343	228	228	228
query9	9301	2664	2631	2631
query10	493	259	252	252
query11	18143	15132	15790	15132
query12	173	110	107	107
query13	1632	429	413	413
query14	11531	7244	6553	6553
query15	217	182	188	182
query16	7387	489	440	440
query17	1061	579	560	560
query18	1914	307	308	307
query19	189	148	151	148
query20	112	106	107	106
query21	207	100	99	99
query22	4377	4254	4046	4046
query23	34049	33513	33712	33513
query24	5707	2778	2780	2778
query25	516	398	418	398
query26	689	162	164	162
query27	1721	300	299	299
query28	4277	2525	2486	2486
query29	672	437	432	432
query30	233	159	156	156
query31	970	793	817	793
query32	71	56	58	56
query33	465	267	275	267
query34	888	482	515	482
query35	796	693	710	693
query36	1057	941	940	940
query37	114	72	74	72
query38	3911	3864	3911	3864
query39	1487	1415	1420	1415
query40	195	99	97	97
query41	51	52	48	48
query42	113	97	96	96
query43	513	494	483	483
query44	1146	791	796	791
query45	184	168	166	166
query46	1116	725	730	725
query47	1888	1770	1814	1770
query48	447	369	363	363
query49	736	393	402	393
query50	800	395	405	395
query51	7238	7051	6914	6914
query52	98	96	90	90
query53	259	183	188	183
query54	562	460	461	460
query55	79	77	75	75
query56	252	243	242	242
query57	1198	1083	1085	1083
query58	202	215	205	205
query59	3060	2825	2834	2825
query60	256	238	243	238
query61	99	96	111	96
query62	785	650	670	650
query63	209	185	178	178
query64	1763	605	612	605
query65	3265	3194	3142	3142
query66	725	306	302	302
query67	15688	15204	15205	15204
query68	4582	551	541	541
query69	429	249	251	249
query70	1173	1059	1108	1059
query71	435	260	251	251
query72	6519	3908	3931	3908
query73	752	334	333	333
query74	10076	8885	8918	8885
query75	3337	2610	2605	2605
query76	2577	961	929	929
query77	480	262	259	259
query78	10752	9674	9596	9596
query79	8275	597	594	594
query80	1767	428	435	428
query81	568	240	244	240
query82	1283	115	110	110
query83	252	136	140	136
query84	283	70	74	70
query85	1817	289	274	274
query86	459	285	306	285
query87	4460	4236	4287	4236
query88	5372	2353	2365	2353
query89	560	290	311	290
query90	2024	183	184	183
query91	174	135	136	135
query92	59	45	50	45
query93	6558	541	534	534
query94	868	286	285	285
query95	341	250	244	244
query96	621	277	271	271
query97	3332	3137	3117	3117
query98	218	197	201	197
query99	1593	1281	1307	1281
Total cold run time: 337996 ms
Total hot run time: 192586 ms