第一任杜致禮，1944年，在國立西南聯合大學附屬中學，楊振寧是杜的數學老師!
杜2003年10月因病過世。他們有兩個兒子與一個女兒。1951年長子楊光諾出生，後來成為了一位電腦工程師，他曾跟愛因斯坦合照過一張照片。1958年次子楊光宇出生，他成為了一位化學家，1961年女兒楊又禮出生，她成為了一個醫生。三個子女全部定居美國。
第二任翁帆，廣東外語外貿大學翻譯系碩士班學生，二人2004年底結婚時鬧得全世界沸沸揚揚--時年楊82歲，翁28歲!
楊振寧和前妻杜致禮是標準的師生戀，杜致禮是楊振寧1940年代在西南聯大教書時的學生。不過據楊振寧講，杜致禮在當時他教的30個學生中，並不是特別出色的，他甚至沒有太在意這個學生，更談不上產生愛意。突變發生在1949年的一次重逢之後。那是在美國一家中國餐館的聚會上，師生兩人相遇了。離西南聯大一別已經好幾年，杜致禮那清新的氣息給了楊振寧極大的好感，“套用香港話説，我們很快就"拍拖"了。1950年8月我們就結婚了。”從相戀到結婚，時間快得讓人眼花繚亂。
杜致禮為楊振寧生了3個孩子，一個女兒，兩個兒子，“她陪伴了我53年，直到2003年她75歲的時候因一種很難治療的疾病去世。”不過，杜致禮卻見過丈夫的第二任妻子翁帆，並對翁帆表示滿意。
愛情來了無處可逃
2003年底，在廣東外語外貿大學讀研究生的翁帆來到香港遊玩。自1998年從汕頭大學英語系畢業後，她先後在汕頭和深圳的貿易公司工作過，在經歷與一名香港職員為期兩年的失敗婚姻後，於2002年重返校園讀研究生。在香港期間，翁帆想起楊振寧曾經告訴她：他和太太一般在香港中大度暑假。於是，她動了聯繫楊振寧的念頭。原來，早在1995年暑假，汕頭大學召開首屆世界華人物理學大會，翁帆被學校選中，負責接待楊振寧、杜致禮夫婦。清純可愛的她當時深得科學家夫婦的喜愛。此後多年，她和楊振寧夫婦偶有書信往來。2003年秋杜致禮在美國去世，遠在廣州的翁帆並不知道。
楊振寧和翁帆是怎麼認識的
2004年2月的一天，翁帆接到楊振寧打來的電話，邀請她到中文大學見面。見面前，翁帆還真有些激動與緊張：分別多年了，見到已經82歲的楊振寧教授，我是否應該上前攙扶他呢?
讓翁帆吃驚的是，面前的楊振寧教授精神矍鑠，説話、思維和行動都很快，跟八九年前幾乎沒什麼區別。翁帆緊張的心情一下子放鬆了。這次見面，大家都很開心。因為翁帆沒有像理科學生對學術泰斗那樣拘謹，所以談話顯得輕鬆隨意。
這次見面以後，楊振寧對翁帆難以忘懷，他孤獨的心被這個率真的姑娘温暖了。接下來的日子，一有空閒，楊振寧就會忍不住撥打翁帆的電話。翁帆漸漸習慣了在課餘時間接聽楊振寧的電話，這成了她生活的一個重要組成部分，有時不能如期接到楊振寧的電話，她會有一種失落感。
有一天，翁帆正在廣州和好友逛街，楊振寧的電話又打來了，翁帆就對着電話説：“我正和上次跟你提過的那個朋友逛街呢。”被晾在一邊的好友看出了苗頭，打趣翁帆説：“楊教授是不是喜歡上你了?以他的身份和地位，如果不是喜歡上你，不會這麼頻繁地給你打電話。”翁帆羞得滿臉通紅。鳳凰花開的香港5月，楊振寧邀請翁帆一起去石澳遊玩。那天下着雨，石澳村通向海邊有一段很陡的路。為安全着想，兩人很自然地拉起手，走完那段路之後又馬上鬆開。那時翁帆才發現，原來自己很喜歡楊振寧拉她的手。
2004年7月，翁帆和好友在網上找了兩名志同道合的“驢友”，一起到內蒙古旅行。在茫茫的草原，翁帆接到已到北京的楊振寧的電話。楊振寧進一步邀請她去清華大學他的“歸根居”做客。每年，他有部分時間呆在清華，部分時間呆在香港。
幾天後，翁帆打車來到清華園，楊振寧已經吩咐保姆為翁帆準備好可口的飯菜。翁帆發現，多年的旅美生活，沒有讓楊振寧的生活方式西化，他十分傳統。喜歡吃淮揚菜、喝紅茶。兩人交流多了，感覺彼此非常默契。
在北京短暫停留後，翁帆又去了山西旅行。那段時間，她常常心神不寧，面前老出現楊振寧的笑容。她意識到自己真的陷入愛情之中了，心裏忽然很慌亂：這怎麼可能呢?可靜下心來想想，她認為楊振寧除了年紀大一點外，具備男人所有的魅力。她無路可逃，唯有向愛情投降。但她的內心仍舊很擔心，畢竟兩人相差54歲。
回到廣州，翁帆整顆心都已留在楊振寧那裏。心裏裝着甜美的愛情。她常常有寫英文詩的衝動，寫完後就把詩通過電子郵件發給楊振寧。楊振寧總是把詩歌修改了又傳回來。後來，翁帆把幾首自己喜歡的詩貼在網上。香港中文大學的幾位翻譯系博士看後評價説：翁帆在英文詩歌的韻律和美感方面，的確很有天賦。
在相思中受煎熬的兩個人，好不容易等到2004年“十一”黃金週。楊振寧和翁帆商議好，一起去距離廣州不太遠、人又不太多的北海旅行。楊振寧知道翁帆喜歡拍照，特地送給她一台松下數碼相機。藍天白雲大海間，留下這對忘年情侶的足跡。翁帆穿着最喜歡的Mickey休閒裝，與楊振寧一起騎雙人自行車，在椰林小道中快樂地穿行。
勇敢結婚轟動全球
從北海回到北京幾天後，楊振寧就通過電話向翁帆求婚。翁帆在廣州接到求婚電話。撒嬌説：“哪有向人求婚不送玫瑰的?”楊振寧連忙笑着許諾：“下次見面一定補給你。”2004年11月，翁帆特地回了趟潮州老家。翁帆的家境很好，翁帆的父親翁雲光向來最寵愛翁帆，那天，翁帆輕輕地向父母講了自己與楊振寧的事情。翁雲光夫婦着實大吃一驚。翁帆只得慢慢地解釋、説服。開明的父母最終同意了女兒的選擇。
