这首歌曲的前身为《八路军进行曲》，1939年诞生于延安。1939年夏，词作家公木和作曲家郑律成完成了一部大型声乐套曲——《八路军大合唱》。是年冬天，这部套曲在延安杨家岭中央大礼堂由作曲家本人指挥首演，并于次年夏天在《八路军军政杂志》上发表。这部套曲由8首单曲构成，合着一个“八”字，集中表现了八路军的英雄形象和战斗精神。《八路军进行曲》正是其中的一首。
解放战争时期，《八路军进行曲》被重新填词，更名《人民解放军进行曲》。1965年，《人民解放军进行曲》更名为《中国人民解放军进行曲》。从此，这首歌曲正式成为中国人民解放军的重要标识之一。