斯基德摩尔学院的前身为Lucy Skidmore Scribner女士于1903年建立的青年女子工业俱乐部（Young Women‘s Industrial Club）。该俱乐部为成员提供打字，薄记，缝纫，制衣，体育，音乐以及舞蹈等课程。由于俱乐部的极大成功，纽约州立大学委员于1911年更名俱乐部为斯基德摩尔文科学院（Skidmore School of Arts）。尽管一开始只被允许提供基础教育课程，学院在接下来的十年内逐步发展成能授予学士学位的教育机构。在1922年，学院获得纽约州大学委员会的同意而更名为斯基德摩尔学院，成为一所四年制本科文理学院。

学院于1930年至1957年开始不断在萨拉托加温泉市扩张。由于时任校长Moore的不懈努力学院增加了生物，戏剧，演讲，历史，哲学，心理学和罗曼语族的学术项目。1963年起学院的新校区开始建立。1968年夏，学院的大部分主要建筑（Starbuck Center, Kimball, McClellan, Penfield, and Wilmarth halls, the Filene Music Building, the Lucy Scribner Library, the Dana Science Center and Bolton Hall）完工。学院学生在1970年参加了反越战的罢课。1971年学院开始招收男性学生。

学院在上世纪八十年代逐步增加助学金的发放，且开始增加校园多样性。时至今日学院已经发展为一所国家级的高质量文理学院。2019福布斯美国大学排行榜中，斯基德莫尔学院位列全美本科第101名。