1949年1月22日，之前一直在淮海戰(zhàn)役總前委和中原野戰(zhàn)軍司令部工作的陳毅，趕到臺兒莊附近的賈汪參加華東野戰(zhàn)軍整編會議，根據(jù)西柏坡《關于統(tǒng)一全軍組織及部隊番號的規(guī)定》，野戰(zhàn)軍在休整期間進行了大規(guī)模的部隊整編。其中比較重要的兩點，第一是要正式組建四個兵團部，第二是要合編在淮海戰(zhàn)役不同階段舉行起義的隊伍。

在賈汪會議上，首先由粟裕傳達了軍委關于編制的規(guī)定：中央要求在全國范圍內(nèi)首先統(tǒng)一編制，統(tǒng)一番號，野戰(zhàn)軍各縱隊一律改為軍，軍下為師，三三制，一直到團，團以上全國統(tǒng)一番號。華東野戰(zhàn)軍改稱第三野戰(zhàn)軍，編成四個兵團，除編制番號統(tǒng)一外，內(nèi)務、裝備和紀律都要統(tǒng)一，一切按制度條例辦事，一切要求高度的集中，提高正規(guī)化程度。

而在淮海戰(zhàn)役期間，先后有蔣軍第三綏靖區(qū)的兩個軍23000余人起義、廖運周第85軍第110師5000余人的起義，其中第三綏區(qū)起義部隊的何基灃所部（第59軍）與江淮軍區(qū)部隊進行了合編，組建了第八兵團的第34軍，以何基灃為軍長、趙啟民為政委；而張克俠所部（第77軍）與渤?？v隊合編為第九兵團的第33軍，以張克俠為軍長、韓念龍為政委。

至于在雙堆集起義的廖運周第110師，卻并沒有編入三野戰(zhàn)斗序列，而是調(diào)至河南鹿邑五臺廟地區(qū)（今屬鄲城縣）進行學習和整訓，轉(zhuǎn)隸中原軍區(qū)和中原野戰(zhàn)軍指揮，因為殲擊黃維兵團是以中野為主的。 1949年2月，中原野戰(zhàn)軍第4縱隊（陳賡的老部隊）分編為第二野戰(zhàn)軍的第13軍和14軍，正在漯河整訓的第110師部隊，奉命與4縱一部共同組成14軍第42師，廖運周將軍任師長。

這三支部隊的合編工作比較順利，基本沒有出現(xiàn)什么風波，麻煩出在濟南戰(zhàn)役期間起義的吳化文部隊身上。該部起義時的番號是“整編第96軍”，理論上是兵團級的編制，實際卻只有一個整編84師（整155旅、整161旅）、另轄一個軍部直屬獨立旅，也就20000來人。也就是說，吳化文部隊的編制雖然很大，其實兵力很少，因為一般的整編軍至少要轄兩個整編師。

1948年9月25日，吳化文領銜，率整編155旅旅長楊友柏、整編161旅旅長趙廣興、整編96軍獨立旅旅長何志斌等人聯(lián)名發(fā)出起義通電，隨后起義部隊被改編為華東野戰(zhàn)軍第35軍，三個整編旅分別編為第103、第104、第105師。這支部隊淮海戰(zhàn)役初期一直留在后方整訓，直到戰(zhàn)役第三階段，才被調(diào)至宿縣地區(qū)擔負戰(zhàn)役預備隊的任務，也沒有實際參戰(zhàn)。

吳化文的部隊是西北軍、土匪和雜牌武裝擴充而來的大雜燴，人員成分非常復雜，因此在整訓期間出現(xiàn)了大批逃亡現(xiàn)象，調(diào)到宿縣時僅余10000人左右?；春?zhàn)役結(jié)束后，該軍在徐州以東的曹八集繼續(xù)進行整訓，野戰(zhàn)軍總部的意見，是該部跟魯中南縱隊合并組建隸屬于第七兵團的“新35軍”，不料這個決定遭到魯縱干部戰(zhàn)士的強烈反對，因為對魯縱指戰(zhàn)員來說，吳化文絕對是宿敵。

日本投降以后，原汪偽第三方面軍總司令吳化文搖身一變，被老蔣委任為整編第84師師長，在山東兗州、大汶口、泰安一帶配合蔣軍嫡系作戰(zhàn)，活動范圍大致就在魯中、魯南地區(qū)。一方面，是這支部隊雖然戰(zhàn)斗力不怎么樣，禍害老百姓很是在行，所以民憤較大；另一方面，在老蔣消耗雜牌的指導思想下，整84師很不受待見，王耀武曾經(jīng)奉命除掉吳化文，所以吳化文對老蔣也不那么死心塌地。

在這種情況下，我魯南軍區(qū)一度對吳化文進行過策反，時間在1946年7月到10月間，魯南軍區(qū)政委傅秋濤將軍親自過問了此事，雙方也曾草簽過協(xié)議。然而吳化文始終有所觀望，當他發(fā)現(xiàn)蔣軍在華東地區(qū)仍占軍事優(yōu)勢時，遲遲不肯將起義付諸實施，后來干脆斷了聯(lián)系。此后，整84師多次配合邱清泉等部隊作戰(zhàn)，引起華野和魯南軍區(qū)部隊官兵的極大憤慨。

而現(xiàn)在要進行合編的魯中南縱隊，正是原魯中軍區(qū)、魯南軍區(qū)部隊共同組建的，一聽說要跟吳化文部隊合并組建新的35軍，當時就炸了，干部戰(zhàn)士紛紛提出反對意見，認為野司這是“包辦婚姻”、“強迫婚姻”，確實之前的仇恨和怨氣太大了。當時不僅是魯縱的廣大戰(zhàn)士們反對，就連中高級指揮員們也想不通，問題一直反映到三野司令部，直接影響了部隊整編的大局。

這也是陳老總特地趕回華野的原因之一，在部隊整編工作中涉及到的人事安排、調(diào)整和起義部隊合編，是非常棘手的事情，此時陳毅在華野軍中的威望就起到了重要作用。陳毅親自趕到魯中南縱隊做工作，反復說明：“渤海、江淮和魯中南三個縱隊不編，充實起義部隊，這樣對起義部隊的進步是有幫助的，向他們說清楚我們沒有把他們當雜牌看待，也沒有當客人看待，而當自家人一樣”。

陳毅的講話基本說服了魯中南縱隊的高級干部們，但是基層指戰(zhàn)員情緒仍然很大，于是組織召開第35軍全軍干部會議，吳化文特地登臺檢討自己在歷史上的罪惡，說得是痛哭流涕，總算過了關。然后各級干部們再回去做部隊戰(zhàn)士們的思想工作，矛盾才慢慢緩和下來，所以在華野整編為第三野戰(zhàn)軍的過程中，第35軍的合編最為困難。

經(jīng)過整編后的第三野戰(zhàn)軍下轄四個兵團、16個軍、兩個縱隊（兩廣縱隊和特縱）共581000余人，其中吳化文原35軍部隊縮編為三個團。而在新的35軍中，三個師每師各有原吳部一個團，另外兩個團為魯中南縱隊的部隊整編而來。大體上是：新35軍的第308團由原35軍103師縮編、第310團由原35軍105師縮編、第313團由原35軍的第104師縮編。

需要說明的是，第35軍的軍部和軍直部隊，也是由魯中南縱隊的司令部機關及直屬部隊改編的，所以在新的35軍中，魯縱干部戰(zhàn)士的比例超過了三分之二。新的35軍仍由吳化文擔任軍長，政委由原一縱副司令員何克希調(diào)任，該軍合編的編制細節(jié)為：

（1）、第103師是魯中南縱隊47師師部、原第103師師部機關合并組成。

307團——魯中南縱隊47師139團

308團——原103師所轄3個團縮編組成

309團——魯中南縱隊47師140團。

（2）、第104師是魯中南縱隊46師師部和原第104師師部機關合并組成。

310團——原105師3個團各一部整編組成。

311團——魯中南縱隊46師136團。

312團——魯中南縱隊46師138團。

（3）、第105師師部是以原105師師部為基礎，并抽調(diào)原35軍軍部和第103師、104師師部部分人員組成。

313團——原105師3個團各一部與軍直特務營縮編組成。

314團——魯中南縱隊46師137團。

315團——魯中南縱隊47師141團。