胡炜1920年出生于河南新蔡的一个富农家庭，家中有150亩地，先后在新蔡、开封就读。 1937年日寇发动全面侵华，胡炜投身于豫南桐柏山区抗日游击队，因表现突出，次年被吸纳入党，成为一名“三八式”干部。 1949年全军大整编时，29岁的胡炜担任三野第21军61师师长，是三野最年轻的师长。抗美援朝战争时，他以21军参谋长的身份协助指挥了金城战役，一路立下赫赫战功。 1955年，胡炜被授予大校军衔，61年晋升为少将。开国将帅是指55年至65年这十年间，被授予将帅军衔的解放军高级将领的统称，所以胡炜也属于开国少将。