井岡山會師后，邊界的武裝力量發生了很大變化。但是，“三個師九個團，加上婦女和娃娃，近萬人。這個階段，我們的糧食又成了大問題。”嚴峻的形勢，使毛澤東也感到心憂。他在1928年5月2日于永新城寫給中央的報告中，幾乎有點慍怒地寫道：“豈有此理的湘南縣委和縣政府帶了一大批農軍一起跑來，現在有一萬人在這里。”“一萬人的群眾拖泥帶水紀律太糟”，“吃飯大難”。

    鑒于這種形勢，十分需要疏散、遣返部分湘南農軍、群眾回原地堅持斗爭。這是因為一來“糧食困難，不利于主力部隊作戰，陳毅同志領導的第十二師大部分是梭鏢武裝起來的湘南群眾，5000多人，只有少數槍支和土槍，同強敵作戰力量有限。同時，湘南根據地基本上沒有留下什么革命武裝，赤衛隊差不多都跟著上了山，地主土豪劣紳卷土重來屠殺百姓隨時都有可能。而想要戰爭持久，就必須設法安置這幾千人的梭鏢和徒手人員。”

    于是，紅四軍軍委研究決定，湘南農軍除留少數能在二十八團、三十一團服務的和二十九團作為主力留下來外，第三十、三十三、三十四、三十五、三十六團一律返回原籍，隨農軍上山的群眾也遣返原籍。

    命令宣布時，這些團的部分人員已在永新。此時，正是四軍第一次占領永新城，在永新進行短距離分兵之際。據李奇中回憶：“1928年5月間，湘南地方武裝回湘南是在永新鄉下決定的。三十六團還在拿山打了一仗，頗為得手。5月底，三十、三十三、三十四、三十五、三十六這幾團從江西的寧岡，經酃縣的水口向湘南轉移，到達資興縣邊界的彭公廟，便決定兵分數路，各自回去。”

    由于湘南暴動后向井岡山根據地轉移的過程中，湘南農軍和黨政基本上都跟上來了，因之，部隊走后，“湘南工作一敗如洗。”《杜修經給中共湖南省委的報告》，1928年6月。此次遣返的農軍在彭公廟等地分手，各自回到原籍后，有的堅持了斗爭，有的在當地很難立足，不少堅定分子慘遭殺害。但革命的火種是撲不滅的。郴縣、宜章、耒陽、安仁、資興、永興等地黨組織，迅即會合了從井岡山遣返回鄉的武裝力量，重新開始了湘南的革命斗爭。

    5月底的遣返湘南農軍告一段落后，6月上旬，工農革命第四軍的稱謂，根據中共中央的統一規定，改為“中國工農紅軍第四軍”（簡稱紅四軍）。

    中共中央在1928年5月25日《中央通告第51號——軍事工作大綱》中規定：“為保障暴動的勝利與擴大暴動，建立紅軍已為目前的要求，不一定要等到一省或一國暴動成功，只要建立割據區域，便應當開始建立紅軍的工作。在割據區域所建立的軍隊，可正式定名為紅軍，取消以前的工農革命軍名義。”同年6月4日，《中央給前敵委員會的信》中指示：“關于你們的軍隊，你們可以正式改為紅軍。”

    于是，同年6月16日，毛澤東在他起草的《湘贛邊特委致省委轉中央的信》中，就明確提出要“改造軍隊變成真正的紅軍”。

    從此，工農革命軍就改為“紅軍第四軍”了。“紅軍”的稱謂，開始傳遍井岡山。