两兄弟自幼晨夕聚处,感情深笃,胤禛奉命教胤祥算学,日事讨论。每逢塞外扈从,也形影相依。兄弟相聚,宴集唱和,弟有所作,每就正于兄;兄扈从塞外,弟也间或有句相赠。胤禛长胤祥8岁。这种密切的手足之情,伴随他们终生,经受了严峻的考验,而胤祥人生的得与失,喜与悲,荣与损,起与落,又无不以此种关系来贯穿。
在清朝皇室中,皇子皇女幼殇的比例很高,康熙帝玄烨的子女也不例外。他的55个子女内,长大成人的只有28人。55位子女的平均寿命,只有2695岁。胤祥的两个胞妹虽长大成人,也都寿命不永。
他的大妹妹(皇十三女)20岁受封为和硕温宪公主,远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津,三年后因难产死去,时年23岁。他的小妹妹(皇十五女)18岁时受封和硕敦恪公主,下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济,一年后去世,年仅19岁。这样,两个与胤祥血缘最近的亲人就过早离世了。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化,儒家经典,以及书法绘画。他的师傅法海,是康熙帝玄烨的舅舅佟国纲的第二子,换句话说,法海是玄烨的表弟,也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士,授为翰林院庶吉士,又奉命在南书房行走,成为玄烨身边的文学词臣。
康熙三十七年(1698),玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯(雍正继位后改为允)。胤祯是胤禛胞弟,胤祥与胤祯一同就学,同样反映了他与胤禛的特殊关系。这时,胤祥13岁,胤祯11岁。他们在法海门下一学就是10年,两兄弟后来才学俱佳,与法海执教有很大关系。
胤祥幼时很得父皇宠爱。13岁时,胤祥第一次离开京城,随父皇玄烨前往谒陵。此后,玄烨经常带他四出巡幸。玄烨一生先后六次南巡,在诸皇子中,随行次数最多的,就是胤祥。玄烨第三、四、五、六次南巡,他都参与其间。他还随同玄烨巡幸过京畿、陕西西安、山西五台山,或往塞外避暑围猎。这说明,他在青少年时代,曾深得父皇的宠爱。
玄烨有那么多皇子,众皇子对他犹如群星拱月,为什么却对胤祥偏爱?第一,他自幼温文尔雅,在父亲面前显得很乖巧。《钦定八旗通志》记载:胤祥“幼偕诸王侍圣祖于宫廷。尝随行,以稚弱未能前视,圣祖过,寻履迹伏地嗅之,其孺慕诚切如此”。