明治４２年（１９０９年）に函館公園内の木造の「協同館」を借り受けて私立函館図書館が開設され，大正４年（１９１５年）には相馬哲平の寄付により不燃質書庫の建設に着手する。東京の設計事務所葛西辰野事務所に依頼し、辰野金吾が設計した。函館山側の採光窓（５０箇所）は鋼製サッシュでワイヤ硝子を入れ，市街地側は無窓である。出入り口は防火戸として書庫機能に徹した５階建ての建物で大正５年に完成した。

屋根は切妻の洋瓦葺きである協同館とは渡り廊下で連結されていた。１階の定礎銘版に「行啓記念函館圖書館文庫相馬哲平寄附大正四年十月三一日定礎」とある。
構造形式　書庫棟初期の鉄筋コンクリート造である。１階には大正４年に打設したコンクリートの立方体ピースが保存されている。
書庫棟　内部意匠各階の階高は低く，木製の書棚が密に配置されている
外部に面する出入り口の建具はスチール枠に漆喰が塗り込められている。
大正１５年（１９２６年）には，私立函館図書館の市への移管と，３階建ての鉄筋コンクリート造の本館建設が函館市会で議決され，工事に着手する。昭和２年（１９２７年）１１月に本館棟が完成し，翌年７月に「市立函館図書館」として開館した。設計は小南武一。小熊幸一郎など財界人も寄付をしました。
先に建設されていた書庫棟とは，それぞれ２階と１階，４階と２階で渡り廊下により連結されている。閲覧室（本館２階）に繋がる書庫入口
○昭和９年（１９３４年）函館大火（24,186戸焼失，死者2,166人，行方不明662人）が発生する。この際に木造の協同館は焼失するが，本館棟と書庫棟は焼失を免れた。
○昭和１５年には，本館棟の屋上に木造の書庫が増築されている。創建当時は陸屋根であったが，この時点で現在の屋根の形となり洋瓦葺きとした。○昭和３８年（１９６３年）に鉄筋コンクリート造地下１階，地上２階を本館棟の閲覧室側に増築した。
建物正面の外観は左右対称であり，玄関ポーチへは左右の階段を用いる。ポーチの円柱，玄関上部の３連アーチ窓，壁面のスズランの意匠，洋瓦屋根と狛犬，などが特徴的である。

内部意匠　本館棟・増築棟１階の風除室・玄関の床はタイル仕上げで，出入り口の欄間には帆船やブーケをモチーフにしたステンドグラスがはめ込まれている。廊下・階段の床は人造石研ぎ出し，腰壁は木製の鏡板張りで統一されている。階段の手すりは木製，手すり子は鋼製であり，手すりの親柱に彫刻が施されている。

移動書架室の大梁の両端はアールとなっている。
２階の開架貸出室は梁間が大きく，梁はアーチ形状となっている。天井もこの形状に合わせた木造下地で，漆喰で仕上げられている。漆喰の繰型が配置されている。
３階の書庫は陸屋根の上に木造で増設されたもので，陸屋根時代の塔屋，床の屋根面，パラペット等が残存している。構造部材である屋根を支えている小屋組材と書棚が一体となっている