新中国成立后,他继续从事军队政治领导工作。在主持全军政治工作期间,把全部精力倾注于人民解放军的革命化、现代化、正规化建设,组织全军进行 深入的政治思想工作,保证大规模整编任务的完成和各项正规化制度的建立。在《建军新阶段中政治工作的若干问题》、《关于训练中执行群众路线的初步总结》等 文章中,根据新的历史时期部队中的问题和产生的新矛盾,及时提出解决措施。他把全军普及文化教育作为部队建设的一个战略性措施,要求工农出身的军官达到高 中以上文化程度,组织部署全军兴起轰轰烈烈的学习文化热潮。在中共八大上,他以《建军新阶段中政治工作的若干问题》为题作了重要发言,总结了军队政治工作 成就,指出了存在的问题,提出了在新的历史时期加强军队政治工作的意见和措施。他倡导学习外国先进经验和人民军队的优良传统相结合,提出“一专多能、一兵 多用”的建议,领导制订了干部理论教育计划、院校政治理论教育大纲、普及中高级文化教育的十年规划等文件,促进了人民军队的革命化、现代化、正规化建设。

1960年10月,在中央军委扩大会议上,他受到林彪陷害,被加上“反对毛泽东思想”、“在总政结成反党宗派集团”等莫须有的罪名,遭到错误批 判,受到撤职、降级处分。1965年任福建省副省长。“文化大革命”中,又受林彪、江青反革命集团迫害,被关押8年之久。1975年任中央军委顾问。 1980年中共中央对他受的政治诬陷予以平反。

1955年被授予大将军衔。他是中共七届中央候补委员、八届中央委员,第一、二届国防委员会委员,第一届、第五届全国人民代表大会常务委员会委 员。1988年11月6日在北京逝世,终年82岁。党和人民给予他很高评价,称他是“久经考验的忠诚的共产主义战士,党和军队的优秀领导人,杰出的无产阶 级革命家、军事家,我军卓越的政治工作领导人”。