香山寺，又名圆通寺，位于奉节县白帝镇香山村3组，始建年代不祥。据光绪《奉节县志·寺观》载，“香山寺在县东南三十里麝香山上，寺产香山茶，因名。”
寺院遗址在麝香山巅，座北向南，依山而建。其址水绿山清，鸟鸣谷应，烟起霞蒸，造设多奇。素有西岩石鼓、朔岭凝芽、茶坞春烟、神峰晚照、宝珠凝碧、曲溪流香、洞口藏仞、天池映月等美景。
昔人羡其势之高朗，慕其境之清幽，因于此建寺构台阁，庄严妙丽，神致欲生。以之禋祀，则其神肃；以之眺览，则其景幽；以之遨游会集，则其情畅。是迨天之所造，地之所设，以供人之所取者。
古刹位居古夔四大丛林之首，相传极盛时有殿宇九重，颇极庄严。昔日殿宇壮丽，像绘森严，规模轩豁，木石瓦甓，丹垩涂暨，金碧相照，如翚飞矢直，俨然鹫岭祗圆也。常有士人登览其间，既瞻佛像之庄严，并挹山水之幽秀。宋黄庭坚于建中靖国元年（）二月游历山寺，归来赋诗曰：“山水乔木，僧房高下，景物清绝，为夔路第一。”
该寺首创无考，据民国《奉节县志稿》载，“白居易……至夔题咏甚多，尝游览山川，至香山寺挹翠亭有行记，宋黄庭坚亦有诗赞。”可知唐时古寺已是殿宇巍峨，法堂森列，香火繁盛。
宋、元而降，寺宇屡为兵燹所爇，兴废无常。成化巳亥间（），有性空上人循旧址而复新之，宏构堂室，可以栖神灵而光故墟矣。奈何数载之后，中复遭变，旋饬旋圮，振起无人。
清嘉庆间，有僧性道，率众捐缁，构竖岑楼，诸佛法相，次第庄严。《奉节宗教志》载，其址曾前存嘉庆十五年碑，述其兴衰缘由，碑云：“自洪武兵燹后，荒芜年，至成化巳亥，性空上人披荆斩棘，建兴如初。今又历载，中复遭变，仍属颓败，虽尚存頽垣敞庐，且不足以遮风雨，夫扬当极衰，定必重兴。适复有吴僧性道，楚之僧发玉游观至此，睹其美景，慕其崖况，遂合誓愿，共募化，苦志三载而功极告竣。凡佛王、诸天、金刚、罗汉、韦陀、迦兰诸像，堂殿、楼阁、廊庑、寮厨以及榱楹梓槛之具，糜不鲜而美备。则今日之香山寺，不胜昔日之性空乎。毒于嘉庆四年（），被白莲教将庙焚毁馨尽，有住持僧真传祥，复又重建鼎修，诚增先师之志。夫数僧不出于一时，而生于百年之前后，正以见圆通之不朽也。”
同治十三年（），该寺住持僧心悦筹资修葺金身。碑载：“兹有香山寺为夔郡群山之祖，诸庙之宗，常业虽多，稞石无几。年远日久，佛像难睹，玉容亦败，我寺住持僧心悦，奉谕不忍使无人修理，任其倾圮……筹资修葺金身。”
民国年间，古刹已趋衰败，负债累累。年住持僧佛志在加押抵债的报告中写到：“本寺年进水旱稞余旧硕，除招待来宾及往来挂单僧人外，常有住持、僧人、雇工约30余人，每年约食谷旧硕。又香灯、杂缴、副食费在内约谷6旧硕，又兼近年公款繁重，每年收支不敷，向外挪借，年复一年，遂致负债四万余元之钜，每年应付利谷20硕有余。加之本年正殿坍塌，……因陋就简，略加粉饰……需洋10万余元。又计30年来米津谷16硕。综上数端，以本年应进稞谷全数抵偿外，尚有七月伙食无着，约需洋5万余元。全盘计算共不敷洋约20万元左右，刻已外债日近，内缴空虚，拟在本寺各佃加押抵偿。”终于在年度卖产业得法币.5万元偿还债务。
年后，寺宇废弛，佛像被毁，殿宇被乡民借居，僧众亦还俗务农。遗址今建有农业观光园，已难觅旧迹。