湖南省浏阳县（今浏阳市）人，1908年4月11日出生在浏阳县北盛乡马战村的一个农民家庭。因家境贫寒，几度辍学。13岁到长沙，先拉人力车，后当铁路扳道工，开始接触党的组织。1924年后，任粤汉铁路工会长岳段分工会执行委员、新河车站工人纠察队队长。1926年10月，首次见到毛泽东并受到教育。1927年1月加入中国共产主义青年团，同年5月转为中国共产党党员。参加了工人运动。1927年大革命失败后，参加了长沙工人暴动，做党的地下交通和兵运工作。后任中共湘鄂赣边区特区区委书记，游击支队队长、政委，湘东独立一师政治部主任、政委，红八军代理政委，湘赣军区代理司令员，红六军团政委，英勇作战，灵活指挥，为创建湘赣苏区进行了艰苦卓绝的斗争，是湘赣苏区的创始人之一。他反对极“左”路线，拥护毛泽东的正确主张，曾刀下救人解放了张平化等领导干部。在任弼时的领导下，他和萧克率红六军团与红二军团会合，建立了湘鄂川黔苏区。参加了长征。红二、四方面军会师后，坚决抵制张国焘分裂红军、另立中央的阴谋活动。

抗日战争爆发后，任八路军一二○师三五九旅旅长兼政委、延安地委书记兼卫戍司令员，负责保卫党中央。1937年9月，率部奔赴晋绥、晋西北抗日前线，连克宁武等7座县城，为创建晋绥抗日根据地作出了贡献。在抗日战争极端困难的年月，响应毛泽东的号召，带领三五九旅全体指战员在南泥湾屯田开荒，成为“自己动手，丰衣足食”的榜样，毛泽东为他亲笔题词“有创造精神”，三五九旅被西北局誉为“发展经济的前锋”。1944年11月任八路军南下支队司令员，率部挺进华南，往返作战，历尽艰险，途经八省，历时两年，行程两万余里，被毛泽东誉为第二次长征。

解放战争时期，任第一野战军第二纵队司令员兼政委。1947年初，奉命西渡黄河，保卫延安，在青化砭、羊马河、蟠龙镇的战斗中三战三捷，歼敌上万人。率部解放青海后，奉命进军新疆，为解放大西北作出了重大贡献。在20多年的征战生涯中，7次负伤，为中华民族的解放，新中国的创建，立下了不朽的功勋。

中华人民共和国成立后，任中共中央新疆分局书记、新疆军区代司令员兼政委。根据党中央的指示，屯垦戍边，恢复和发展民族地区的经济、文化等各项事业，为加强新疆各族人民的团结，维护祖国统一，巩固西北边疆，建立了功业。1953年，调任中国人民解放军铁道兵司令员兼政委，以最快的速度新建了黎湛、鹰厦两条铁路，对巩固国防、发展经济起了重要作用。1955年，任中国人民解放军副总参谋长，国防委员会委员，被授予中国人民解放军上将军衔。1956年任农垦部部长，同年9月在中共第八次全国代表大会上当选为中央委员。倾心农垦事业，不顾严寒酷暑，几次大病初愈就奔波在边陲的大漠荒原，在黑龙江、新疆过了6个春节，组织广大军垦战士艰苦创业，建立了西北、东北、华南、海南、云南等几大垦区，为发展中国的农垦事业和稳定边疆作出了突出贡献。