1908年に台湾総督府民政部殖産局付属博物館が成立しました。最初は総督府殖産局に属したのは、19世紀末から20世紀初までの間に、世界の帝国主義国家が博物館を植民地資源の展示に使うからです。博物館の成立は南北縦貫線全線開通を祝う一連の儀式の一環として、来館者が台湾の状況を一目で分かるように、台湾の各産業の縮図を展示しました。展覧会と博物館の準備作業は森丑之助が担当しました。
博物館が成立した最初は現在博愛路博愛ビルの北側にある近藤十郎が設計した元台湾総督府彩票局の建物を使っていました。台湾総督府は彩票局により彩票を発行していたが、世論の反対で取り消されました。それで彩票局の館舎は殖産局に使用され、陳列所になりました。その時彩票局局長から殖産局局長に転任して来た宮尾舜治は、「この博物館は自然科学の博物館だと思います。台湾の動植物、鉱物にかかわるものをすべて採集し、よく利用して博物館の目的を達するのです。その次は、昔消えた歴史文物を陳列します。これに基づいて、将来の世界の学術発展には貢献があればいいと思います。外国人が台北に調査に来たら、ここの産物を紹介する博物館や歴史の変遷を学ぶ陳列所がないと、彼らはわが台北を軽視しかねない」と話しました。1908年成立した最初の陳列品は地質鉱物、植物、動物、器物、歴史及び教育材料、農業材料、林業資料、水産物、鉱業資料、工芸品、貿易資料とその他、合わせて12類に分けられます。これらの項目は大体自然史、工芸産業、歴史文物、三つの分野に分けられ、本館の基本的な収蔵品となっています。その後、博物館は元彩票局の館舎から出て、建物は一旦総督府図書館となったが、戦争の空襲で壊されました。
1906年児玉源太郎総督と後藤新平民政長官が離任した頃に、二人の統治の功績を記念する計画は進められていました。当時の《臺灣日日新報》には、次のような記事があります。「この紀功碑とは凱旋門のようなもので、戦争の勝利を表彰し、後世に伝えるのである。フランスのナポレオンは欧州の覇権を握り、パリで凱旋門を造った。三十年間、何百、何千万がかかり、世界中比べられるものがないほど、彫刻が美しく、壮大な建物を建てた」。「日露戦争において(児玉)前総督は勝利に貢献し、本島は(児玉)総督の栄光を記念しないわけがない」。また、「台湾統治において、総督の命令に従い政策を実行する(後藤)長官の功績も記念しないわけがない」。他には、「児玉前総督と後藤民政長官の台湾統治の功績は海外まで伝わる。台湾は彼らの統治で、法律制度、財政、拓殖、道路、交通、衛生、教育等々が整備され、社会が安定して島民の生活水準が向上し、近代文明社会になった」、という記事もあります。
前総督と民政長官を記念する建物でありながら、総督府の予算を使うのは遠慮されるため、台湾の郷紳に募金活動を行わせることになりました。「天皇陛下が新しい領土を重視する結果だ。歴代の総督と長官の功績は無視できないが、児玉前総督と後藤民政長官が9年間精励に経営し、台湾社会を治むのだ。」故に、「島民は感激し、この偉大な盛業を記念し、後世に伝える計画を進めている。」後藤が日本に帰り、満鉄の総裁に任命される際に、「全島の郷紳が台北に集まり、この計画を目指し意見を交わし、最後は記念館を建てることに合意した。」そして、「林本源家と辜顯榮諸氏は副委員長に選ばれた。」 この二人は、「一人は千万の資産を持ち、もう一人は百万以上の資産を持つ。二人とも厖大な資金を持ち、記念館の建設に躊躇わず献身し、ロックフェラーとアンドリュー・カーネギーの跡を継ぐ」。記念館の建設資金を募集している間に、建設先は現在のこの所に決められました。1915年4月18日記念館の竣工式が行われました。5月の《臺灣時報》は、「黒山のような人だかりで、官僚や郷紳は凡そ600人余り」と書いています。辜顯榮は台湾本島の代表者として、児玉と後藤の功績に祝辞を贈りました。
記念館は27万元の建設費がかかり、総面積510坪(約1688平方メートル)で、総督府技師の野村一郎、技手の荒木栄一が設計し、高石組高石忠慥が造営工事担当、原田金次郎が電気設備担当、技師の近藤十郎、吉良宗一が工事監理者でした。ヨーロッパの博物館によくみられる新古典主義の様式を採用し、ギリシャ神殿のドリス(Doric)式柱とペディメントとローマドーム式の天井を組み合わせます。建物本体がの平面が「一」の文字になり、正面北側が館前路、南側が228平和公園に面し、館内からは園内の多くの自然な景観が収攬できます。
建物の中央部分は鋼筋コンクリート造で、両側の部分は煉瓦造と鉄筋コンクリート造の混合構造で、銅瓦葺きの木造屋根です。地下室の床材はコンクリートと瀝青で覆い、防水とシロアリ防除のためにセメントで塗装しました。内装については、建物の両側部分の一階と二階の床は鋼筋コンクリートに木材で覆い、それ上に亜麻製の絨毯を敷き、バルコニーの床には日本製のタイルを貼りました。中央一階のロビーの床材は赤坂(今岐阜県南)の黒大理石と水戸の白寒水石で、真中にはモザイクタイルがあります。玄関と廊下に使用するタイルはドイツ製です。二階の回廊は台湾産の白い大理石と黒い粘板岩を使用し、腰板は美濃赤坂の更紗大理石で、手すり柱は黄銅です。休憩室の床は木材に亜麻製の絨毯を敷き、腰板は欅を使用しました。建物の基礎石、正面玄関と裏口の階段は安山岩を使い、腰板以上には洗い石をあしらいました。
中央ロビーは記念儀式のためのデザインで、周囲は高さ32フィート、直径2フィート7インチ、32本の混合様式(Composite Order)の柱に囲まれ、ローマドーム式の天井には高さ54フィートのステンドガラスが設けられ、そこにある児玉家と後藤家の家紋を組み合わせた図案が一階の主要階段の柱の土台にも装飾として彫刻されました。ロビーの両側にある床の間には新海竹太郎が作った児玉源太郎と後藤新平二人の銅像が置かれていました。中央ロビーから両側に伸びる空間は展示室に使われ、開館した頃に館員は、「狭いから、地下にある予備室も陳列室に使った」と話しました。
戦後初期の博物館は台湾省行政長官公署の所属となり、「台湾省博物館」に改名しました。その後は台湾省政府の所属となり、また「台湾省立博物館」に改名されました。展示室の空間が足りないため、公園の景色が見える南側のバルコニーを改造し、展示用の室内空間に変えられました。
1991年―1996の間に、省住都局建築處は改修工事を行い、調査研究と設計監理を漢寶德の漢光建築士事務所に委託、営造工事を慶仁營造に委託しました。日本時代にウッドトラス工法(Wood Truss)で作った屋根は壊され、鋼構造の屋根に変えられ、面積300坪余りの三階が建てられました。2002年東北大震災が起きた後、李乾朗が担当者として緊急対応チームを招集し、耐震診断と改修工事を行いました。翌年から工事が始まり、二階と三階の一部のフロアーを取り壊し、入口、受付カウンター、お手洗い、視聴室を改造しました。2005年に行政院文化建設委員會の首都核心区博物館計画に取り入れました。