在康熙的皇子裡面，三阿哥胤祉一向以溫文爾雅、文質彬彬的形象而聞名。不過，令大阿哥胤禔沒有想到的是，給他最後一擊的，竟然是這個平時一貫低調的三阿哥胤祉——胤禔可從來就沒把他當競爭對手啊。
胤祉生於康熙十六年（1677年），年齡比大阿哥胤禔小五歲，比太子胤礽小三歲。和胤禔的母親一樣，胤祉的母親、榮妃馬佳氏很早就進了宮，但地位也不高。不過，馬佳氏的生育能力很強，從康熙六年到康熙十六年，總共為康熙生了六個子女（五子一女），但很可惜的是，馬佳氏的六個子女中，只有三阿哥胤祉和二公主活了下來，其他四子都夭亡了，其中包括康熙的第一位皇子承瑞（其他三個分別為賽音察渾、長華和長生）。
馬佳氏的家庭背景非常一般，但從生育的頻繁程度來看，馬佳氏在康熙年輕時應該頗為受寵——否則不可能在十年中生育六次，要知道，有的嬪妃可能終年都見不到皇帝一面，更別說受孕了，估計她在年輕時的容貌和脾性都應該不錯，所以才能得到康熙的格外眷顧。
胤祉是馬佳氏最小的兒子，但因為前面的哥哥們大都夭亡，所以胤祉排下來做了三阿哥，在皇子裡面算是年長的。小時候，胤祉一度被康熙放到內大臣綽爾濟家撫養，不知道是因為其母馬佳氏不善於撫養孩子還是康熙怕這個兒子會像他前面的哥哥一樣不幸夭折。
從各種材料來看，胤祉從小就是個好學生。無論是文學、書法，或是騎射，在眾多的皇子裡面，胤祉的表現都很突出。論文學，胤祉被康熙派去編纂《古今圖書整合》，可見他有相當的學術功底；論書法，胤祉寫的字相當漂亮，一直得到康熙的稱讚；論騎射，康熙三十一年（1692年）陪同康熙出塞圍獵時，胤祉曾經和一向善於騎射的康熙比試，兩人不分上下。
但是，會讀書未必能做官，學業優秀也未必就能做皇帝，這其中的關鍵，還取決於個人的性格。胤祉這個人，看起來沒有什麼野心，對政治也沒多大的興趣。儘管如此，作為年長皇子裡面的一員，康熙還是時不時會讓他去鍛鍊一下。康熙三十二年（1693年），康熙派他和四阿哥胤禛去山東曲阜孔廟致祭，當時胤祉只有十七歲，而四阿哥胤禛只有十六歲。
對於那些年長的皇子們來說，康熙三十五年（1696年）是非常重要的一年。這一年，康熙御駕親征噶爾丹，除太子胤礽坐鎮京師外，其他的年長皇子全部隨同出征，二十歲的胤祉也親率鑲紅旗大營出戰（當然，是象徵性的）。在擊敗噶爾丹勢力後，胤祉和大阿哥胤禔在康熙三十七年（1698年）同時被封為郡王。
但就在第二年，胤祉做了一件傻事，以至於受到康熙的嚴厲處罰。原來，在康熙三十八年（1699年），十三阿哥胤祥的母親——被康熙甚為寵愛的敏妃章佳氏不幸病故。按當時的喪制，母妃去世的話，皇子們在一百天內不得剃髮，但胤祉不知何故，違制剃髮。康熙得知後十分生氣，將胤祉身邊管理服制的人加以嚴懲，胤祉也受到由郡王降至貝勒的處罰。
雖然胤祉受到處罰，但並沒有失去康熙的信任。康熙四十二年（1703年），索額圖因為結黨「潛謀大事」而被圈禁，後來康熙聽說有人為索額圖「通風報信，往來行走」，甚至想把他救出的傳聞，於是便密諭胤祉和八阿哥胤禩去圈禁地，以查明到底怎麼回事。
胤祉和胤禩受命後，決定在深夜突查。當天晚上三更時分，兩兄弟帶著人馬前往宗人府，進去後便把看守索額圖的兵丁全部綁了，以防走漏訊息。在兩位皇子的嚴厲質問下，可憐的索額圖一把鼻涕一把眼淚地哀求：「奴才尚有何言可供？憑奴才的罪過，就是皇上殺了我，那也是罪有應得。只是奴才現在老了，求皇上能夠開恩，饒了我這條老命吧！」
經仔細搜查與審問後，胤祉和胤禩並沒有發現傳聞中的「通風報信」和「圖謀越獄」之事，之後將此事上報康熙，並建議在索額圖的頸、手、足處加上九根鎖鏈，嚴加看守。康熙得報後很滿意，對他們的審問結果和建議也表示贊同。
同年十月，胤祉又和太子胤礽、十三阿哥胤祥隨同康熙西巡，途經直隸、河南、山西、陝西四省。康熙把皇子們帶上的目的，是為了讓他們更多的瞭解當地的風土人情、官風民情等實際情況，特別是胤祉，估計康熙也覺得這孩子有點書呆子氣，帶他出去看看外面的世界也是好事。
康熙四十七年（1708年）廢太子事件發生後，整個皇宮就像炸了鍋一樣，皇子們或摩拳擦掌、落井下石，或等待觀望、躍躍欲試，不一而足，加上康熙當時生病，一些阿哥甚至和大臣們勾結起來，整個事態變得極為紛繁複雜。
因為大阿哥胤禔向康熙進言說由他來將廢太子胤礽處死，惹得病中的康熙暴跳如雷，幾位年長的阿哥也都被圈禁起來，當時除胤礽和胤禔被圈禁外，三阿哥胤祉、四阿哥胤禛、五阿哥胤祺、八阿哥胤禩和十三阿哥胤祥都一度遭到同等待遇。究其原因，無外乎有兩個，第一種可能是康熙懷疑這些年長的皇子可能會作亂，有趁局勢混亂髮動政變的可能；第二種可能是康熙為保護這些皇子們免受上述事情的意外傷害而將他們暫時拘禁。
拘禁期間，胤祉向康熙告發胤禔使用「魘勝」巫術謀害太子胤礽，此舉徹底結束了胤禔的政治生命。康熙病重時，因為大阿哥胤禔和老二胤礽都被圈禁，胤祉成了家中長子，而老皇帝又不肯就醫用藥，胤祉便和四阿哥胤禛、五阿哥胤祺和七阿哥胤祐，還有胤祉的同母姐姐二公主，一起痛哭陳請，為康熙冒死擇醫並精心照顧病中的父親。這一點，總算讓康熙感到一點安慰。雖然自己的老大和老二大逆不道、不仁不孝，但自己的女兒和胤祉這幾個孩子還算孝順，沒有像他們的兩個兄長一樣。
第二年，也就是康熙四十八年（1709年），康熙決定復立胤礽為太子，三阿哥胤祉、四阿哥胤禛和五阿哥胤祺則同時被封為親王。康熙還頗動感情地說：「自去年九月，不幸事出多端，朕深懷愧憤，以致心神損耗，形容憔悴。其他人不過尋常虛語，別無良法。惟貝勒胤祉、胤禛特至朕前痛哭陳請：‘皇父聖容如此清減，不令醫人診視，進用藥餌，徒自面前耽延，萬國何所依賴！臣等雖不知醫理，願冒死擇醫，令其日加調治。’」
在康熙五十一年（1712年）太子胤礽再度被廢后，康熙對胤祉更加信任，父子關係也相當不錯，康熙每年都會去胤祉的私家花園參觀一次到兩次，和胤祉的家人喝喝小酒，聊聊家常，共敘天倫之樂。當時能請得動老爺子的，除胤祉外，也只有四阿哥胤禛了。
搞政治的人未必比搞學術的人更聰明，但學術搞得好的人大多不能去搞政治，胤祉即為一例。胤祉雖然文化素質高，且文武雙全，但康熙似乎並不看好他在政治上的前途。在康熙的眼裡，胤祉雖然聰明，但似乎缺乏一種政治家的魄力，而這也許是胤祉的性格至柔所決定的。
正所謂「術業有專攻」，胤祉在政治方面缺乏悟性，但他在學術方面的確幹得不錯。康熙五十二年（1713年），胤祉奉命在熱河避暑山莊設立纂修館，負責修書。經過一年多的努力，胤祉等人將康熙親撰的《律呂》編製成《御製律呂正義》，這是一本音樂方面的叢書，後來在乾隆年間得到補充，保留了中國古代很多音樂方面的原始材料。
編完《御製律呂正義》後，胤祉等人又受命編纂了《曆象考成》和《數理精蘊》，這兩本分別是曆法和數學方面的著作。康熙在天文曆法和數學方面頗有造詣，《曆象考成》這本書也是康熙親撰的初稿，《數理精蘊》在編纂過程中也經過了康熙的指導。這兩本書和前面的《御製律呂正義》，都是中國古代科技史上重要的文獻。為修好《曆象考成》這部新曆法，胤祉還特意派人到廣東、雲南、四川、浙江等地去實地測量日影，以取得第一手的資料。在康熙的這些兒子裡面，也只有胤祉繼承了康熙在學術方面的興趣和能力。
胤祉最大的成就並不是這三本書，而是編纂《古今圖書整合》。《古今圖書整合》是繼明朝《永樂大典》之後的大型叢書，由胤祉領導翰林陳夢雷等人完成。早在康熙三十七年（1698年），陳夢雷在胤祉府上任侍讀學士時，他發現胤祉家裡有很多藏書，由此產生了一個念頭，想把這些書分門別類，編成一套叢書，既可方便查詢，提高利用率，也免得一些珍貴的書籍流失。
胤祉本是愛書之人，他聽後拍手叫好，全力支援。在胤祉的幫助下，陳夢雷便開始按經史子集等名目編寫目錄和凡例，由於書的數量眾多，陳夢雷編輯了十幾年，才算弄出點眉目來。後來，胤祉將此事稟告康熙，康熙聽後也非常支援，並委派胤祉和陳夢雷兩人負責設立蒙養齋館，並招收了八十名學者來編纂一個更大規模的叢書，這就是後來的《古今圖書整合》。
為鼓勵他們做好這項工作，康熙還特意賜給陳夢雷一副對聯：「松高枝葉茂，鶴老羽毛新。」當時進館的，還有桐城學派的創始人方苞等著名學者，館中人才濟濟，頗有文治氣象。到康熙五十九年（1724年），編纂工作基本完成，但即將要刊印時，不巧遇到康熙去世，事情發生了變故，這是後話。
當然，也有人認為胤祉其實也是覬覦大位的，只不過不像他的那些兄弟們咄咄逼人罷了，當時有個「孟光祖事件」就是證明。孟光祖是胤祉府上的人，康熙末年也就是胤祉最受康熙青睞時，他曾打著胤祉的名號到地方各省（如陝西、四川、江西、廣西等地）活動。按當時的制度，皇子及其屬人離開京師的話，需要批准登記，而孟光祖在地方上行走的話，應當具有勘合（相當於介紹信），地方官府才能給予接待。但是，孟光祖居然沒有任何證明檔案，在各省間依舊是通行無阻，這要是沒有地方官員的配合，恐怕是做不到的。
孟光祖在各省活動時，還經常以胤祉的名義給地方督撫大員饋贈禮品，譬如他曾給當時的四川巡撫年羹堯送過禮物，年羹堯則回贈了馬匹、銀兩等；去江西時，江西巡撫佟國勷也曾經回贈過銀兩、綢緞。按規定，阿哥們和地方上的饋贈往來，地方官員應當上奏朝廷備案，但當時這些地方官並不想得罪胤祉，所以孟光祖活動了數年之久，後來才被發覺。康熙得知此事後，派人將孟光祖捉拿正法，佟國勷被革職，年羹堯也受到革職留任的處罰。
但是，康熙也只是將孟光祖處死了事，並沒有再去追究孟光祖到底在下面都幹了什麼。不僅如此，康熙還特意對供職於蒙養齋館的魏廷珍說，你「每日和三阿哥在一起修書，若有此事，即當以身命保之」。康熙的意思是，萬一有人問起孟光祖的事情，就讓魏廷珍以修書的事情為由，幫胤祉頂一頂，不要把胤祉牽連進去。很顯然，晚年的康熙並不希望政治鬥爭牽連太大，特別是牽扯到胤祉身上。
由於「孟光祖事件」沒有進一步追查，所以胤祉到底有沒有派人去下面爭取地方大員的支援，這事尚難定論。不過，孟光祖作為胤祉府上的屬人，在下面活動了好幾年，胤祉說自己一點都不知道，恐怕也是說不過去的。
總體而言，三阿哥胤祉並沒有很明顯地表現出要爭奪儲位的跡象，也許他心裡也清楚康熙對自己的定位，因而一直是以學者的形象出現。但是，在康熙的最後十年中，胤祉始終受到信任，這也是不爭的事實。事實上，即使胤祉一直想明哲保身，不參與儲位的爭奪，但他作為大阿哥和太子胤礽被廢后最年長的皇子，加上他的才華和與康熙的親密關係，各種流言蜚語仍舊充斥坊間，一些人也認為胤祉很可能是「儲位之爭」中的最大「黑馬」。
正因為如此，雍正（四阿哥胤禛）即位後，也曾指責胤祉在胤礽被廢后，「以儲君自命」，「希冀儲位」，這或許與之前的流言有關。但凡搞政治的人，總是把那些具有實力的人當作自己的對手，從來不管別人心裡想什麼，此所謂「楚人無罪，懷璧其罪」，胤祉無意，雍正有心，想逃哪那麼容易？