1908年臺灣總督府民政部殖產局附屬博物館成立，最初隸屬總督府殖產局，乃因十九世紀末至二十世紀初，全球帝國主義國家設置博物館是以展示殖民地資源為主要目的。博物館做為慶祝本島交通動脈縱貫鐵路南北全線通車儀式活動之一，展出臺灣各項產業縮影，讓來賓對臺灣的概況一目瞭然，由森丑之助負責展覽會和博物館籌劃。
博物館開館時，使用近藤十郎設計的臺灣總督府彩票局，位於今博愛路博愛大樓北側。臺灣總督府原有發行彩票，後因引起輿論反對而取消，廳舍遂由殖產局移入成為陳列展示場所。當時由彩票局局長轉任殖產局局長的宮尾舜治說：「我認為這座博物館是一所自然科學的博物館，將所有關於臺灣的動植物、礦物全蒐集起來並好好利用它們達到博物館的目的。其次是把昔日消失的歷史文物陳列出來，以此為基礎，對以後的世界學術有所貢獻。如有外國人來臺北考察，無可藉以知其產物之博物館，且無可因而識其歷史變遷之陳列所，那麼他們必以輕忽侮慢之眼看我臺北市。」1908年開館時的陳列品分為地質鑛物、植物、動物、人類器物、歷史及教育資料、農業材料、林業資料、水產物、鑛業資料、工藝品、貿易資料、其他等共十二類，大致分屬自然史、工藝產業和歷史文物三個範疇，成為本館的基礎館藏。彩票局爾後博物館遷出曾做為總督府圖書館，戰爭時遭空襲炸毀。
1906年兒玉源太郎總督和後藤新平民政長官離任，官方籌畫大興土木紀念兩人治臺功績，當時《臺灣日日新報》報導：「彼所謂紀功碑，凱旋門猶此例也。是等之建設物，凡以示戰勝之偉勳，于千秋之下，使後世之人有所觀感而興起焉。其實際也，其在法國有拿破侖者，雄長一世，執歐洲之霸權，因建凱旋門于巴里。縻歲月三十年，費金錢不知其幾百千萬。結構之壯，雕鏤之美，世界無比。……然日俄一役，（兒玉）前督實膺帷幄之任，而卒荷凱旋之光榮。本島有此光榮之（兒玉）總督，不可無有以紀念之也。且前督之趨重國事也于臺灣統治，胥賴（後藤）長官之承宣措理。則此光榮，長官實與焉，亦不可無以為紀念也。」 另有報導云：「兒玉前督後藤民政長官，治臺之功震聞中外，固不煩贅也。其統治也，自法律制度以至財政、拓殖、道路、交通、衛生、教育等，治具畢張。匪氛絕跡，瘴癘之氣收。而島民共安堵樂業，享福利被德澤，駸駸乎進文明之美域焉。」
雖是由總督府啟動紀念前總督和民政長官的建設，但也認為不宜使用公款，因此舖陳由臺灣本島仕紳發起捐款的輿論形勢。「雖由天皇陛下重念新領土之結果，歷代前後之總督長官與有功焉，然未始非由兒玉前督及後藤民政長官之勤勞九年，經營一切，咸得其宜之力也。」因此「島民感激不措，欲傳其炳燿之盛德大業，永遠以垂不朽，將為一大紀念之舉，計畫久矣。」此次趁後藤返日接任滿鐵總裁，「全島紳民參集臺北，乘此好機以該計畫審議。屢經會合中，不論內地人本島人，滿場一致，以建設一大紀念建造物可決確定。」而且「島民間推林本源家及辜顯榮諸氏為副委員長」這兩人「一則資產累千萬，一則百數十萬。皆擁有此巨資，亦願慨當以慷，力任仔肩，獨籌建設，以繼洛（指洛克菲勒）喀（指卡內基）之盛軌。」 1913年資金尚未募齊，紀念館已選擇新公園，並於1915年完成，4月18日舉行落成式，1915年5月《臺灣時報》提到當時的情形：「到會者，蹌蹌濟濟，官紳約六百餘名。」代表臺灣本島人的辜顯榮也以祝辭歌頌兒玉、後藤之功績。
紀念館工程費27萬圓，總建坪510坪（約1688平方公尺），由總督府技師野村一郎、技手荒木榮一設計，高石組高石忠慥承攬建築營造、原田金次郎承攬電燈工程，技師近藤十郎、吉良宗一擔任監造，採用歐洲博物館常見之新古典主義風格，兼具仿希臘神殿多立克柱式支撐的三角山牆與羅馬建築穹頂，整體建築平面配置座南朝北呈左右對稱「一」字形，日本時代通往臺北車站前廣場，北面道路1922年町名劃設後稱為表町通（今館前路），南面面向新公園（今二二八和平紀念公園），使博物館可收攬園內自然景觀。
中央棟全棟為鋼筋混凝土構造，左右翼為磚及鋼筋混凝土混構，屋頂為木造鋪銅板瓦。地下室地板鋪設混凝土與瀝青覆水泥粉刷為防白蟻防水、室內裝修材包括：左右翼樓一、二層為鋼筋混凝土樓板上鋪設木地板，木地板上鋪亞麻油毯，陽臺鋪設日本製地磚。中央棟一樓廣間鋪設美濃國赤坂（今岐阜縣南部）產黑大理石及水戶產白寒水石，中央為大理石馬賽克拼貼，玄關、通道等鋪設德國產地磚；二樓迴廊為臺灣產白大理石及黑板岩，休憩室為木地板上鋪亞麻油毯。壁面腰板、踢腳採用美濃赤坂產更紗大理石，扶手格子為黃銅，休憩室踢腳板、腰企口板使用櫸木。外部裝修基礎石及正面、背面中央樓梯使用安山岩，腰板以上為洗石子。
1專為儀式性紀念目的而設計的大廳，環繞著挑高的32根複合式柱（Composite Order），每根高32尺，直徑2尺7寸。採光穹頂下的鑲嵌玻璃天花離地板54尺，圖案包含兒玉家及後藤家紋「軍配団扇に五枚笹」（指揮扇與五竹葉）與「下がり藤」（藤花），也可見於柱身壁燈座兩側浮雕，由新海竹太郎製作的兒玉、後藤兩座銅像則矗立於兩側壁龕。展示空間被分配在一樓二樓左右兩翼延伸的長廳，落成時館員就已經「覺得狹窄，為此連地下室的準備室也充當陳列室」。
戰後隸屬於臺灣省行政長官公署，改制為臺灣省博物館；再隸屬於臺灣省政府，更名為臺灣省立博物館，因展示空間不足，取消南側可欣賞公園景致的陽臺，外推為可作為展覽使用的室內廊道空間。1991年至1996年，臺博館由省住都局建築處主辦修復工程，漢寶德主持的漢光建築師事務所承接調查研究及設計監造、慶仁營造承作，將日本時代木桁架屋頂拆除改為鋼構屋頂，增加第三樓層三百多坪。
2002年發生三三一大地震，由李乾朗擔任緊急應變小組召集人，辦理震害評估與補強規畫及修復工程設計。2003年起進行整修改建，包括館前廣場景觀設計拆除廣場外金屬欄杆，重整內部設備管線，拆除二、三樓間局部樓板，改造入口、服務臺、洗手間及視聽室，2005年納入文建會首都核心區博物館計畫。