1957年，35岁的杨振宁与61岁的父亲杨武之、6岁的长子杨光诺。杨振宁的相貌更多遗传母亲，而聪明才智更多遗传父亲。 杨武之为子取名“振宁”，寄托“振兴中华，安宁天下”之志。杨振宁曾问：“若我成不了大器，这名字岂不浪费？”杨武之笑答：“你若不成器，我便写本《败儿传》，让你遗臭万年！”父子相视大笑。 父亲杨武之常在家中用橘子皮、火柴棍摆出几何图形，教年幼的杨振宁数理概念。一次，杨振宁偷偷吃掉“教具”橘子，杨武之发现后未责备，反而笑言：“吃得好，几何学进肚子了，将来必成大家！”这种趣味启蒙让杨振宁从小对数学产生兴趣，他曾调侃：“父亲若用苹果，我或许去研究牛顿了。” 杨振宁读中学时，杨武之常出数学题考他。某次杨振宁解完题后，故意将答案写成文言文：“父命解题，儿已破之，请赐新题。”杨武之批注：“孺子可教，然文理不通，罚抄《论语》三章。”杨武之曾赠杨振宁清代数学家李善兰的《代微积拾级》，扉页题字“望子超越西学”，激励其融合中西学术。 少年杨振宁沉迷物理实验，常熬夜读书。杨武之担心其健康，某夜突袭检查，杨振宁闻声翻窗躲藏，骑自行车绕清华园“逃窜”，杨武之提灯笼追赶，边跑边喊：“今日追不上你，明日也要追到爱因斯坦那里说理！” 晚年，杨振宁笑称：“父亲若真写信给爱因斯坦，我或许能早二十年得诺奖。”
