象山神社の由緒は、大正二年象山殉難五十年祭を契機に、元大審院長横田秀雄博士の主唱で、神社建立の計画が進められ、 地元をはじめ県下全市町村及び信濃教育会・全学校・全国関係者の協力によって、昭和六年創立許可され、 昭和十三年十一月三日県社として創建されました。
象山神社本殿（ぞうざんじんじゃほんでん）は昭和十三年に建立された総桧材桃山式流造の雄大な社殿である。三間社(さんけんやしろ)流造(ながれづくり)、二軒繁(しげ)垂木(だるき)、銅板葺である。伝統様式に則った本殿建築で、装飾の少ない古風な意匠としている。登録有形文化財(建造物)
安政元年（１８５４年）象山は吉田松陰の渡航事件に連座し、９年間国元蟄居を命ぜられ、 松代藩御安町にある江戸詰家老望月主水の下屋敷に住まうことになった。 その屋敷を聚遠楼と称していたが、 その一角にあった別棟を書斎として客間に当てていたのが高義亭である。 幕末、多くの明治維新の志士たちが 訪れるとしばしばこの二階の七畳半の間で対談し、国家の時勢を論じた由緒深い建物である。 昭和５３年（１９７８年）現在の象山神社に移した。長野市指定文化財である。
象山神社の境内に建つ煙雨亭は、象山が元治元年、凶刃に倒れるまでの２ヶ月間を過ごした煙雨楼の遺構で、 煙雨楼の茶室を移築したもの。移築保存にあたり、煙雨亭と命名された。 煙雨楼は２階家で京都木屋町の鴨川畔にあったという。
象山神社に隣接する佐久間象山生誕之地。象山は２度目の江戸留学となる天保１０年（１８３９年）まで、 この地で過ごした。父国善が卜伝流剣術の達人で道場を開いていたため、比較的裕福な幼少時代を過ごしたらしい。 しかし、元治元年（１８６４年）、佐久間象山が京都において凶刃に倒れると佐久間家は断絶となり、 ほどなく屋敷も破壊された。現在は敷地内に井戸が残るのみとなっている。
生誕地の入り口には「心の池」があります。 平成２０年５月１６日国の文化審議会の答申により登録記念物に登録されました。 松代藩の武家の敷地に庭の観賞用や生活用水として造られた水路「泉水路」を引き込んだ一群の庭園の一部で、 昭和初期の神社庭園として評価されました。 神田川で取水された泉水路は山寺常山邸庭園に引き込まれ大木氏庭園へと向かう。 大木氏庭園を経由して象山神社園池へ入り、「心の池」を巡ったあと、野中氏庭園へと続いています。
境内には高義亭、煙雨亭があり、隣りには象山宅跡があります。
