1944年4月17日夜，日軍在開封渡過黃河，19日攻占鄭州，5月1日攻占許昌，25日攻陷洛陽。1944年6月1日，第十軍軍長方先覺帶著蔣介石死守衡陽十天至兩個星期之命，率主力從衡山抵達(dá)衡陽城。

第十軍下轄4個師，分別是：3師、預(yù)備10師、109師和暫編54師（僅一個營），再加上配備的炮兵部隊，總計1.8萬余人。而日軍則集結(jié)14個師團(tuán)，共計10余萬人，于6月16日開始圍攻長沙，18日，長沙淪陷。

日軍計劃，在趁中國軍隊沒有完成防守之時，乘勝追擊，迅速攻克衡陽。于是日軍68、116師團(tuán)及38師團(tuán)218聯(lián)隊主力部隊，僅攜帶一個星期的口糧，便向衡陽方向前進(jìn)。因為中國軍隊準(zhǔn)備倉促，再加上衡陽本身地域狹小，所以在日軍看來，衡陽唾手可得。

6月22日，日軍的飛機(jī)開始轟炸衡陽。敵68師團(tuán)強(qiáng)渡衡陽以東的耒水，從衡陽城南向北進(jìn)攻，116師團(tuán)則從西向東進(jìn)攻。方先覺知道僅靠1.8萬余人的兵力難以抵御數(shù)倍日軍的進(jìn)攻，因此他抱著死守衡陽破釜沉舟的決心，主動放棄衡陽城外的外圍陣地，將守衛(wèi)圈縮小到城南丘陵陣地江西會館、五桂嶺、張家山、楓樹山、虎形巢一線和城西陣地汽車站、天馬山、西禪寺、瓦子坪、清山街一線。

由于日軍是從北方的長沙抵達(dá)衡陽，因此方先覺預(yù)判日軍不會直接從北面進(jìn)攻衡陽，而是渡耒水從南、西方向進(jìn)攻。事實證明，方先覺的這一判斷是完全準(zhǔn)確的。

在南部丘陵陣地，方先覺將五桂嶺、張家山等面敵高山挖去半壁，形成直立90度、深3~5米的溝壑，然后在溝壑下面放置有釘滿鐵釘?shù)拈T板，往里注滿水。在壁頂設(shè)碉堡，各碉堡之間形成交叉火力網(wǎng)，封鎖山谷。在碉堡之前設(shè)有手榴彈投擲壕，在此，戰(zhàn)士可以將手榴彈投向溝底的敵人。另外在陣地的前方還埋放有地雷障礙物，阻止日軍前進(jìn)。這種戰(zhàn)壕就是著名的“方先覺壕”。

當(dāng)時，日軍在這種戰(zhàn)壕面前根本無法前進(jìn)，于是他們采用疊羅漢、搭人梯的方法，但常常還沒有攀爬到半壁，便被中國守軍給打了下去。后來，日軍干脆以自己同伴的尸體當(dāng)階梯向上沖。

由于日軍急于攻下衡陽，因此他們先是用飛機(jī)轟炸，接著用炮火和瓦斯毒氣襲擊，等到中國守軍陷入疲憊癱瘓之際，再組織步兵輪番沖擊陣地。中國守軍雖然在火炮數(shù)量上不及日軍，但“方先覺壕”配合士兵的手榴彈，還是發(fā)揮出了超常的威力。幾天下來，第十軍傷亡4千余人，日軍的傷亡則達(dá)到1.6萬人左右。6月28日，中國軍隊的迫擊炮擊中了正在前線陣地指揮作戰(zhàn)的日軍68師團(tuán)長佐久間為人中將及參謀長等軍官，這讓日軍大驚失色，見久攻不下，日軍只好于7月2日下令停止了第一輪攻擊。

7月11日，日軍又發(fā)起了第二次猛攻。這一次，日軍吸取了教訓(xùn)，他們每向前推進(jìn)一步，就會修筑臨時掩體。在等到空軍和炮兵的支援到達(dá)后，在更加猛烈地向衡陽城發(fā)動進(jìn)攻。在日軍猛烈的炮火下，衡陽城變成了一片焦土。駐守城南張家山、五桂嶺陣地的預(yù)10師傷亡達(dá)百分之九十以上，五桂嶺爭奪戰(zhàn)，半天的時間里晉升了5個營長，但全部陣亡，由此可見戰(zhàn)斗之激烈。

在戰(zhàn)前蔣介石曾與方先覺有過約定，在戰(zhàn)斗支撐不住時，便發(fā)送電報，以求得援軍支援。但是從12日起，方先覺他們每晚都會向蔣介石發(fā)送電報，但援軍一事卻渺無音訊。此時，第十軍將士的心理承受已到極限，每天日軍飛機(jī)轟炸時，都會附帶大量傳單，傳單上面寫著：“能征善戰(zhàn)的第十軍將士，任務(wù)已達(dá)成，這是湖南人固有的頑固性格?？上銈兠\不好，援軍不能前進(jìn)，諸君命在旦夕！”

按照蔣介石的守城期限，第十軍不僅順利完成既定任務(wù)，而且達(dá)到了一個月。此時衡陽城內(nèi)的糧食已被日軍的炮火燒成焦糊，池塘內(nèi)的魚蝦、浮萍也早已捕撈一空。更讓人心酸的是，衡陽城內(nèi)傷兵遍地，野戰(zhàn)醫(yī)院在敵人的炮火轟炸下只能東躲西藏，無數(shù)傷兵無藥醫(yī)治，每天都有不少傷兵因不堪忍受痛苦而自殺。

8月4日，日軍出動5個師團(tuán)、100多門大炮對衡陽城發(fā)起了最后的進(jìn)攻。在密集炮火的轟擊下，之前發(fā)揮了重要作用的“方先覺壕”被夷為平地，戰(zhàn)士們只好把陣亡戰(zhàn)友的遺體壘起來作為掩體，繼續(xù)與日軍作戰(zhàn)。

8月6日，日軍58師團(tuán)從衡陽北面攻城，并于當(dāng)天黑夜攻克了衡陽城，中國守軍被迫轉(zhuǎn)入了巷戰(zhàn)。青山街陣地連續(xù)被日軍突破3次。8月7日中午，方先覺召集師長開會，他們向重慶發(fā)出了最后的電文：“敵人今晨已由北城突入之后，即在城內(nèi)展開巷戰(zhàn)。我官兵傷亡殆盡，再無兵可資堵?lián)?，職等誓以一死報黨國，勉盡軍人天職，此電恐為最后一電，來生再見！”事實上，衡陽會戰(zhàn)是以第十軍陣地上有人打出白旗而結(jié)束的。由于衡陽城內(nèi)有7000多名傷兵，因此第十軍內(nèi)曾有師長提議：以軍、師長的性命、榮譽來換取傷兵的性命，準(zhǔn)備和談、停止抵抗。

持續(xù)了47天的衡陽會戰(zhàn)，最終竟以這樣悲壯的方式落下了帷幕。

在衡陽會戰(zhàn)中，第十軍傷亡1.6萬余人，日軍發(fā)面則傷亡將近2.6萬余人?？梢哉f自衡陽會戰(zhàn)后，日本在中國再無什么勝仗，從此走向失敗。