湖南省衡山县(今衡东县)人,1902年11月26日出生于衡山县寒水乡南湾村一个乡绅家庭。在家乡高小毕业。1919年秋,离开家乡到长沙,就读 于柳直苟等创的协均中学,接受进步思想,参加了长沙各界反对军阀和帝国主义的斗争。1923年夏赴北京补习功课,1924年夏考入私立青岛大学工科预科, 积极组织学生参加反爱国运动。1926年秋回乡,参加了当地的农民运动。1927年4月赴武昌中山大学理学院就读,加入共青团,不久转为共产党员。

1927年7月,被湖北省委派往通城参加鄂南暴动,率通城农民自卫军参加湘赣边界秋收起义,跟随毛泽东上了井冈山。1927年9月,秋收起义部 队在江西永新三湾改编,任连党代表。1929年参加古田会议,并被选为红四军前委委员,任红四军二纵队政委。1930年任红四军政委、军委书记,率部参加 围歼敌第十八师,活捉师长张辉瓒。1932年任红一军团政治部主任。率部参加了中央革命根据地的第一至第四次反“围剿”作战。1934年1月,被选为中华 苏维埃中央执行委员会候补委员。同年9月任红八军团政治部主任,10月随中央红军长征。1935年9月任红一军团政治部副主任。1936年6月,入红军大 学学习,任一科政委。1937年任红军后方政治部主任、红一军团政治部主任。

抗日战争爆发后,任八路军一一五师政训处主任,率部奔赴抗日前线。行前,写信告诉二哥：“处此国难当前”,“虽战死沙场,毫无顾虑”。1938 年3月主持一一五师的全面工作,任师政委,与代师长陈光率部挺进山东,与八路军山东纵队并肩作战,先后在鲁西、鲁南、鲁中、滨海地区发动群众,建立抗日民 主政权,扩大抗日根据地。1939年果断处理了“湖西肃托”事件,扭转了湖西地区的危局,大批蒙冤受屈的干部和指战员得到解救。1941年11月,指挥反 击5万日伪军对沂蒙山区大“扫荡”。1942年11月,根据反“扫荡”经验,提出“敌进我进”的“翻边战术”,多次粉碎了敌人的进攻。1943年3月,任 山东军区司令员兼政委,并任一一五师政委兼代师长、山东分局书记,担负起山东党、政、军的领导重任,在对敌斗争、实行减租减息、开展大生产运动、进行整 风、发动战役攻势、扩大根据地和武装力量等方面,都取得了很大成绩。到1945年,胶东、渤海、鲁中、滨海各根据地连成一片。毛泽东高兴地说：“换上一个 罗荣桓,山东全局的棋就下活了。”1945年4,在党的七大上当选为中央委员。

抗日战争胜利后,奉命组织山东部队和地方干部开赴东北,任东北民主联军副政委,为建立巩固的东北根据地作出了贡献。1946年夏,赴莫斯科做了 左侧肾切除手术。1948年8月,任东北野战军(不久改为第四野战军)政委兼东北军区第一副政委,参与指挥了闻名中外的辽沈战役和平津战役。1949年6 月,任华中局第二书记兼华中军区政委。