美国内战以后，不少工业家都积累了巨大的财富，并且希望献出这笔财富，在自己的名下创立教育机构。华盛顿·杜克的杜克大学、埃兹拉·康奈尔的康奈尔大学、约翰·霍普金斯的霍普金斯大学、利兰·斯坦福的斯坦福大学、约翰·戴维森·洛克菲勒的芝加哥大学以及康内留斯·范德比尔特的范德堡大学等高等学院，都表现了安德鲁·卡内基在《财富的福音》中所表达的思想。
1、慈善家的“教育盛宴”
1900年，苏格兰裔的美国工业家、慈善家安德鲁·卡内基在匹兹堡创办了卡内基技术学校（Carnegie Technical Schools），并写下大学今天的校训“我的心就在工作里”。卡内基希望学校能够为匹兹堡工人阶级家庭的儿女提供职业培训，这些工人往往都在他的钢铁厂工作。卡内基受到了纽约布鲁克林工业家查尔斯·普瑞特的启发，因此办校的许多方面都参照了普瑞特艺术学院。亨利·霍恩博斯特尔以他的布杂建筑风格在1904年赢得了校园建筑的设计权，之后又成立了卡内基梅隆建筑学院。
1912年，学校更名为卡内基理工学院（Carnegie Institute of Technology， 简称CIT），并开始授予四年文凭。当时，CIT共由四所学院组成：美术与应用艺术学院、学徒及职工学院、科学与技术学院以及玛格丽特·莫里森·卡内基女子学院。
安德鲁·W·梅隆和理查德·B·梅隆兄弟二人为纪念父亲托马斯·梅隆，于1913年建立了梅隆工业研究学院。学院成立之初，是为政府及工业承包研究项目的研究机构，并且是匹兹堡大学的其中一个部门。1965年，在保罗·梅隆的协助下，卡内基理工学院与梅隆工业研究学院合并，成为今天的卡内基梅隆大学。属下的女子学院亦在1973年关闭，其所有学术课程都并入了别的学院当中。
2、影视“宠儿”
在合并之后，梅隆研究学院继续承包工业研究工作。研究学院于2001年关闭，其课程与项目都并入大学的其他部门，或成为独立机构。第一次到第二次世界大战之间，校园并没有太大的变化。1938年曾有建议收购沿着福布斯大道的一块土地作学校开发之用，但计划并没有成行。从1952年工业管理研究院的动工，直到1971年韦恩楼（Wean Hall）的落成，卡内基理工学院终于转变为卡内基梅隆大学。随着在人工智能、商科、机器人技术和艺术等领域声誉的提升，大学大力建设新的设施。同时，学生人数亦同时增加，因此学校开始建立各种体育设施及图书馆。原本位于从申利公园旁的校园，今天已扩展至福布斯大道。
CMU的匹兹堡校园是不少电影的拍摄场地。由校友乔治·安德鲁·罗梅罗导演的《鬼作秀》（1982年）在玛格丽特·莫里森·卡内基（Margaret Morrison CarnegieHall）内以及附近拍摄。2000年电影《神奇小子》中的不少校园镜头也是在CMU拍摄的。其他在CMU拍摄的电影包括《天蛾人的预言》、《怒犯天条》、《罗伦佐的油》、《蝙蝠侠：黑暗骑士崛起》和《闪舞》等。电影《聪明人》、《异魔》以及动漫《夏日大作战》中都有大量提及CMU。《辛普森一家》、《单身毒妈》等电视剧和《地心浩劫》、《天地大冲撞》等科幻电影也有提及CMU。
除了位于匹兹堡的主校园以外，卡内基梅隆大学在卡塔尔还有一座分校，该校提供计算机科学、商业管理、生物学、计算生物学及信息系统的本科课程。CMU在硅谷的中心加州山景城还有提供研究生课程的分校园，该校授予软件工程和软件管理的硕士文凭。泰珀商学院在纽约曼哈顿市中心有一座卫星校园，海因茨学院在澳洲阿德莱德也有一座校园。海因茨学院、社会与决策科学系及工程与公共政策系在华盛顿设有中心，为加州大学华盛顿中心的一部分，提供文凭课程和与政府事务相关的教育研究计划。CMU在纽约布鲁克林的史丹诺摄影棚开设综合媒体计划，并在加州洛杉矶设有卡内基梅隆洛杉矶中心。所有就读娱乐业管理硕士课程的二年级学生，都须要转到洛杉矶就读该中心的课程。卡内基梅隆信息联网学院在希腊雅典、日本神户、葡萄牙阿威罗和葡萄牙里斯本都有研究生课程。国际软件研究学院（ISRI）在葡萄牙科英布拉开设研究生课程。娱乐科技中心在葡萄牙、日本和新加坡都有提供研究生课程。人机交互学院在葡萄牙和马德拉大学联合开设了硕士课程。工程学院在卢旺达吉佳利授予信息科技硕士学位。
3、卡梅栅栏
在卡内基理工学院的早期，只有一条桥连接玛格丽特·莫里森女子学院和卡内基理工学院。这曾是学生们见面的地点。1916年大学把这座桥拆卸之后，在此处换上了一排木栏，作为同学们新的会面之处。然而，这并未得到学生们的欢迎。在校方即将拆除木栏的当晚，一个兄弟会行了一场恶作剧：他们为木栏涂上了一层油漆，以宣传兄弟会的一场派对。从此，为栅栏涂漆就成了卡内基梅隆大学的一项传统。栅栏位于校园中心称为“The Cut”的一片草坪上。
要为栅栏涂漆，学生必须24小时守护栅栏。只要有两人镇守栅栏，其他人就不能把栅栏“夺走”。守着栅栏的同学就可以在当晚的零点至清晨六点之间涂漆，但只能用刷子，而不能用喷漆或者油漆滚筒，否则就会当做破坏而被罚款。原先的油漆不可剥下，因此油漆会层层叠加。最早的木栏在累积了超过一英尺的油漆之后，终于在1990年代不堪重量而塌下。校方迅速换上了相同的水泥栅栏。这一栅栏在吉尼斯世界纪录上是“世界上被涂漆次数最多的物件”。