향적사는 북송 시기(978년)에 창건되었으며, 원래 이름은 흥복사이다.북송대 중상부 연간(1008-1016년)에 향적사로 이름을 바꾼다.청 강희 52년(1713년)에 향적사 안에 보탑 두 개를 세웠다.1963년 쌍탑은 항저우시 중점문화재 보호단위로 지정되었고, 1968년 동탑이 파괴되어 서탑만 남아 있고, 2009년 향적사가 재건되었다.

향적사는 대운하 연안의 유명한 사찰로, 구시 항가호지역에 신도들이 운하에서 영은, 천축조산으로 향할 수 있는 필수경지로 항저우  불교계에서 매우 높은 지위를 가지고 있다.현재 저장성 문화재 보호 기관으로 활동 중이다.