中华人民共和国成立后，奉中央军委之命筹建中国人民解放军装甲兵，任装甲兵司令员。当时，仅三、四野战军各有一个坦克大队，坦克都是从国民党部队缴获的，在此基础上组建装甲兵是十分困难的。他首先抓了两个关键问题：一是按统一编制整编部队，将原有坦克部队整编为3个战车师，新组建3个坦克团；二是抓干部培养，在天津组建了第一所坦克学校，又陆续组建了3个编练基地和4所坦克修理厂。抗美援朝时，他亲自组织坦克部队赴朝鲜参战，并对部队的战场集结、作战使用及技术保障等作了充分考虑和周密的部署。1951年4月，还亲赴朝鲜战场实地考察。他经常深入部队调查研究，对装甲兵的组建、使用、训练、技术保障及装备建设等，提出了许多指导性很强的意见，指导各大军区都成立了装甲兵领导机关，还组建了4所坦克学校。1957年，为适应装甲兵发展的需要，组建了装甲兵学院和装甲兵工程学院，为装甲兵部队培养中高级指挥干部和技术人才，并亲自兼任装甲兵学院院长。在兵种建设上，提出“没有技术就没有装甲兵”的口号，强调政治工作与技术工作相结合，军事训练与实践需要相结合，注意研究国外先进的军事科学技术，重视干部政治与业务素质的培养和提高。他注重理论修养和经验总结，撰写《当前装甲兵部队建设中的几个问题》、《在集训会议上的报告》、《当前政治工作的中心任务》、《关于装甲兵分队战术现场会议向军委的报告》等文稿，致力于推进装甲兵的现代化建设。1985年出版了《许光达论装甲兵建设》一书。

他是中共第八届中央委员，1955年授予大将军衔，1959年9月任国防部副部长。

他无私奉献、淡泊名利的高风亮节感人至深。1955年人民解放军授衔时，他听说自己已列为大将之一，就几次写报告要求降格授衔。毛泽东看到他几番让衔的报告后激动地说:“这是一面镜子，共产党人自身革命的镜子！”

“文化大革命”中遭到诬陷和迫害，他光明磊落，旗帜鲜明地与林彪、江青反革命集团进行了毫不妥协的斗争。百般折磨摧残了他的身体。1969年6月3日含冤去世，终年61岁。1977年6月21日，中共中央军委为他举行了骨灰安放仪式，平反昭雪，恢复名誉。