1949年1月宋子文辞去广东省政府主席一职后，再也没有担任过国民党政府的任何职务。6月，宋子文抵达美国，他与驻美大使顾维钧谈话时表示，作为一个平民，他不愿拜会美国的官员。
1958年12月，宋子文前往香港住了20来天。香港报章曾登载了关于他将重新承荷政治使命的种种说法。但宋子文在香港记者招待会上称：来港就是为了看朋友、度圣诞节，没有政治使命。他说：“我已是望七之人了，和政治生活已隔开得太久了，不准备再搞了。”对于所提种种敏感问题，他一概闪避，不作正面答复。记者们感慨：宋子文，“显得苍老而瘦削，发已半白”，给人们一种对一切都毫无兴趣、与世无争的印象。
1963年2月，宋子文接受蒋介石、宋美龄的邀请，前往台湾住了十来天。期间，他探望了多年不见的朋友故旧。
这是宋子文退出政坛定居美国之后，第一次也是最后一次访问台湾。虽然1965年5月宋子文被聘为“中华民国”各界纪念国父百年诞辰筹备委员会名誉委员，但他没有参加当年11月在台湾举行的相关活动。
退出政坛，宋子文大部分时间和精力都花在第二代、第三代身上了。大女儿宋琼颐出生于1928年，夫君冯彦达（1921—2004），是上海永安公司创办人郭彪的外孙，其父冯执正是宋子文青年时代的朋友，曾任驻德国汉堡领事、驻荷兰阿姆斯特丹领事；抗战时期先后出任中国驻印度加尔各答总领事、驻美国旧金山总领事，1945年8月底起任驻墨西哥大使。二女儿宋曼颐，丈夫是新加坡华裔余经鹏。三女儿瑞颐嫁给了菲律宾杨姓华侨。宋子文夫妇对三个女儿自幼便关爱有加，待到女儿一个个长大成家，三个女婿也都英俊硕健，事业有成，大家庭一派祥和之气，亲情融融。三个女儿共生育了九个外孙（女），这使得宋子文夫妇晚年生活充满了生气和乐趣。对他们来说，节假日和生日就意味着与女儿和孙辈们的相聚。宋子文喜欢与外孙辈一起做游戏、捉迷藏，遇上吹生日蜡烛，宋子文总要拉上外孙们“帮忙”。
随着年事渐高，宋子文舔犊之情更浓。特别是大女儿琼颐的二儿子冯英祥，从小便与外公外婆生活在一起，是宋子文看着、带着逐渐长大的。后来冯英祥回到父母身边，宋子文便时常牵挂。有时夫妇二人离开纽约外出度假时，宋子文总是会写信给冯英祥。如1964年8月6日，宋子文在写给冯英祥的一份较长的英文信函中说：“最亲爱的麦克：我非常遗憾，我睡着了没有接到你从机场打来的电话。我从你妈妈发来的电报中得知，你们大家都很好，品尝着芒果。但你不要吃得太多，不然要得病的。我们非常想念你们大家。希望你早点回来，回来时发份电报到第五大街1133号。”这封信的落款是“GoGo宋子文”。因为孩提时的冯英祥在叫宋子文时，总是把“公公”念成“GoGo”，以后宋子文在与冯英祥的通信中，常常落款“GoGo”。
1949年之后，宋氏三姐妹、三兄弟中，除了宋庆龄之外都离开了中国大陆。随着年岁渐高，不可遏阻的乡思不时会向他们袭来。1962年10月11日，宋美龄自台湾写信给宋子文，内附在台学者张其昀关于徐光启研究的演讲稿，并且亲笔摘录了关于徐光启生平以及上海徐家汇的内容。宋美龄还以英文写道：明朝最后一个皇帝崇祯，他吊死在故宫。清朝自1644年开始，亡于1911年。徐家汇的名称一直没有改变，但纪念我们先祖的庙已经改为商场。我们先祖建立的天文台仍在。
收到宋美龄的信后，宋子文于10月31日回信，内称：非常感谢您11日的来函，内附张其昀纪念我们先祖徐光启诞辰400年的演讲稿。我已经把附件分送给每个女儿，让她们和她们的孩子知道，她们的先祖是何等的优秀，不同凡响。此外，宋子文还不忘把宋美龄的来函及他的回信的打印底稿给宋子安看。对先祖徐光启的崇敬，表明海外宋氏各家没有忘记自己是炎黄子孙。