1904年11月28日出生于陕西米脂县东区吕家崄杜家湾。祖辈是当地封建地主。父亲杜良奎，是清末举人，在西安长安大学堂执教时，参加了同盟会，曾数度回米脂，鼓动县里的民团赶走了清政府官吏，并参加了反对袁世凯称帝的斗争。
杜聿明从小就喜爱玩弄枪支，十二岁时，在表哥李鼎铭办的成家坌小学读书。在学习上得到了这位严师的指点。祖父母及当家的伯父杜良辅相继去世后，杜良奎一直在外教书，素来不问家务，杜聿明只好承担管家的重担。由于聪颖过人，很快掌握了一套经营家务、保全家业的本领。
杜十六岁时， 其父由榆林返家，见其因操家务，学业基本荒废，大为失望，决定将家务交侄儿杜聿成管理，杜便随父到当时陕北二十三县里唯一的一所中学榆林中学榆中20级丁班继续读书。校长杜斌丞是杜聿明的堂哥，教师有陕西著名的共产党人魏野畴、李子洲和教育家王森然、朱横秋等。同班有后来成为共产党人的谢子长、霍世杰和以后成为现代文学家的刘蕴华(柳青)等。 [1]
1923年，杜聿明在榆林中学毕业。同年8月，与比他大两岁的曹秀清结了婚。1924年初春，不满20岁的杜聿明与榆林同乡阎揆要、马师恭等人先后来到北京。杜聿明原想报考北京大学，但在京停留期间，他目睹北洋军阀贻误政事、膺窃国柄的黑暗。 [1] 在《新青年》杂志上，看到了黄埔军校招生的广告，由于革命思潮的影响和杜斌丞的熏陶，经过慎重考虑，毅然选择投考黄埔军校。