香港中文大學創校於一九六三年，中國文化研究一直是其重要辦學使命。首任校長李卓敏曾立下成立大學博物館的願景，為大眾打造研習中國文化遺產的平台。這一想法得到已故慈善家北山堂利榮森博士的大力支持。利榮森博士和李卓敏校長一同招攬畢業於英國牛津大學、時任大會堂博物美術館（後名香港藝術館）館長的屈志仁教授擔任香港中文大學中國文化研究所文物館首任館長一職。著名建築師司徒慧博士和貝聿銘先生則受利博士之委託，設計文物館建築。一九七一年秋，佇立於校園中心，毗鄰大學行政樓和大學圖書館的文物館隆重開幕。

文物館最初的收藏方向分為兩方面：一為可作教學用途的樣本，例如碎片和殘件；二為具備特殊研究價值的藝術品。拓本屬於數百年來一直獲學者關注，市場價格又相對低廉的藝術門類。《西嶽華山廟碑》（順德本）便是最早入藏文物館的藝術品之一，同時也是本館歷來的重要收藏（1973.0678）。一九七三年，即此碑購入同年，收藏家簡又文先生有意轉讓其名下藏品。簡氏是歷史學家，民國時期曾任職國民黨政府。憑着興趣、交遊和學養，他系統地收藏了逾千件明清廣東書畫以及嶺南畫派創始人的代表作，其中包括過百件高劍父的作品（1973.0611及1973.0831）。為保藏品完整，簡氏願以極優的價格轉讓予文物館。本館首任館長屈教授深明這批藏品的重要性，特與利公發起募捐，最終得以悉數購藏，本館藏品的基礎就此形成。時至今日，這批舊藏珍貴的藝術、史料價值仍有待繼續發掘。這批藏品也促成了本館書畫裝裱室的設立。

早年館藏規模尚小時，文物館集中從世界各地的博物館購買藝術品的幻光片、照片、書籍與圖錄，以作教學用途。如果說文物館在二十世紀七十年代尚處於為館藏建立堅實基礎的起步階段，那接下來的二十年則可視為本館取得廣泛認可和關注的發展期。中國「文革」時期的社會環境與改革開放政策，促使國內博物館紛紛與海外文博單位合作。早在一九八一至一九八四年間，文物館已聯同廣東省博物館及廣州美術館，數度舉辦書畫與出土文物展覽，一九八四年向北京故宮借展一百件清代揚州畫家作品，成為首家與北京故宮博物院合作的香港博物館。自八十年代以來，文物館與內地博物館之間的合作一直有增無減。

為推動公眾參與本館事務，並且爭取更多社區人士的支持，利榮森博士於一九八一年成立文物館館友會。館友會成員不但擔任文物館義工和導賞員，還多次籌集巨額善款，用以支持本館舉辦教育活動和添置藏品，並向大學藝術系學子提供資助與獎學金。有賴館友會的鼎力支持，本館才能擁有春秋晚期青銅大鑑、北周石刻四面造像碑、元青花蓮池圖大盤及清乾隆款彩壽慶人物六曲漆屏風等重要藏品（1993.0354、 1991.0141、 1985.0121及 2001.0660）。

本地收藏家也同樣眷顧文物館，其中利榮森博士貢獻尤巨。他帶頭構建文物館藏品，不單捐出其私人（北山堂）藏品，又另外向本館提供購藏資金。文物館近半數的藏品皆由利公捐出，其中倪瓚行書詩札、石濤《花果冊頁》和鄭板橋《竹石圖軸》屬於本館的重要收藏（1996.0121、1996.0068及1973.0676）。這些藝術品不僅豐富了館藏數量，亦大大提升了本館藏品的整體水平。本館的古代印章與宜興紫砂藏品尤為充實，甚至可媲美國家級及世界級博物館所藏（1990.0065及1983.0034）。除利公以外，文物館的捐贈者不少都是熱心的收藏家。他們來自不同專業，在與自己收藏相關的研究領域亦屬翹楚。從他們的藏品中亦可了解古代藝術、科技、製作工藝、書畫家生平以及文化交流等信息。通過與博學好古的收藏家開展合作，文物館的本地藏品展覽也因此多為專題形式，得以多元發展。深入研究的多元化主題，同時也意味着部分展覽及其圖錄成為所涉領域的重要參考數據，甚至被奉為圭臬。而文物館有別於其他博物館之處，亦正在於這些富有開拓性的合作研究和展覽項目。在推行這些計劃的過程中，有賴各位捐贈者的鼎力支持，本館方能擁有極富藝術與歷史價值的藏品：明黃花梨木椅、康熙青花萬壽字大尊、吳歷《鳳阿山房圖》、雍正粉彩福壽雙全圖盤和乾隆唐英款墨彩雲龍紋筆筒（1990.0027、1999.0611、1999.0113、1988.0103及1987.0026）都只屬本館所藏精品中的一小部分。

香港中文大學文物館能成為中國最佳大學博物館之一，聲譽歷久不衰首應歸功於屈志仁、高美慶、林業強以及蘇芳淑教授這四位前任館長的出色領導。歷任館長連同以北山堂基金為首的贊助人與社區夥伴，攜手建立起逾一萬六千件豐富館藏。本館一直以來以藏品為基礎開展教學，策劃多元化展覽，出版學術性雙語圖錄，開展各種研究項目，定期舉行研討會，更於近年籌辦博物館專業培訓工作坊，在短短四十年內，在博物館界及學術界產生一定影響。鑒於本地大眾對文化藝術的興趣日益濃厚，世界各地博物館亦發展迅猛，文物館意識到需要與時俱進，在繼續貫徹，推廣藝術教育使命的同時，亦將傾力啟發創造，寓教於樂，積極融入日新月異的博物館發展新潮流。文物館正致力於不斷提升自身學術研究水平，深入挖掘，持續豐富館藏資源。