原名陈庶康，湖南省湘乡县（今湘乡市）人，1903年2月27日出生于湘乡县二都柳树铺一户殷实人家。自幼受军人出身的祖父熏陶，立下“富国强兵” 志向。1916年入湘军当兵4年。1921年起，在长沙铁路局工作、自学，后入毛泽东创办的湖南自修大学。1922年12月加入中国共产党。1924年考 入广东陆军讲武学校，后又考入黄埔军校第一期，毕业后留校任第二、三、四期毕业生连长。参加了平定广州商团叛乱、两次东征战役，以其特有的机智勇敢出色完 成了任务。1925年10月在第二次东征讨伐陈炯明的战斗中，曾救过蒋介石的命。1926年7月，中共中央派他去苏联红军政治保卫训练班学习三个多月，回 国后任国民革命军第八军特务营营长。1927年8月参加了南昌起义，负责政治保卫工作。在起义部队南进途中身负重伤，被安排去上海疗伤。伤愈后，留在中共 中央特科主持情报工作。他深入龙潭虎穴与敌警探特务周旋了4年，为保卫党中央的安全作出了重要贡献。1931年被派往鄂豫皖苏区，先后任团长、红四军第十 二师师长、红四方面军参谋长，率部参加黄安、商（城）潢（川）、涂家埠、潢光四大战役，粉碎了敌人对根据地的第三次“围剿”。

1932年在第四次反“围剿”作战中再次负重伤，又转至上海治疗，不幸被捕。蒋介石亲自劝降，他不为所动，后经党组织和宋庆龄营救出狱。 1933年进入中央苏区，先后任彭杨步兵学校校长、红军干部团团长，参加了长征，负责警卫中央机关安全。1935年5月率部抢渡皎平渡，使中央红军主力顺 利渡过金沙江，取得战略转移中具有决定意义的胜利。到达陕北后，任红一军团第一师师长，率部参加了直罗镇、东征、西征和山城堡等战役。

抗日战争爆发后，任八路军一二九师三八六旅旅长，率部奔赴山西战场抗击日军，参与创建晋冀豫抗日根据地。他巧妙地利用日军侵入中国初期骄横麻痹 的弱点，采取夜袭、伏击、麻雀战等战术手段有效地打击敌人。特别善于组织伏击战，曾率部取得七亘村、黄崖底、广阳、神头岭、响堂铺、香城固等伏击战的重大 胜利，给日军以重创，成为令敌人闻之丧胆的抗日名将。1938年3月，指挥潞城、黎城之间的神头岭伏击战，歼敌1500余人，刘伯承赞扬说：这是一次成功 的“吸敌打援”战例，日军统帅部把它看成是八路军的“典型游击战”。1939年2月在威县组织的香城固战斗，歼敌2000余人，并以灵活机动的行动摆脱了 敌人的重兵追击，创造了平原反“扫荡”作战的光辉范例，受到蒋介石、卫立煌通电嘉奖。1940年1月，率部赴太岳抗日根据地，成立太岳军区和太岳纵队，任 司令员。指挥部队转战同蒲、白晋两线，采取“釜底抽薪”、“敌进我进”的战法，粉碎了日军多次残酷“扫荡”，巩固了太岳根据地。1942年10月至 1945年4月，指挥沁源军民进行了长达30个月的围困战，使日军的所谓“山岳剿共实验区”遭到彻底失败，创造了人民战争的范例。延安《解放日报》发表社 论，赞扬沁源围困战的胜利是“敌后抗战中的模范典型之一”。