瑞鳳山祥雲寺は、天文元年（１５３２年）に、小田原北条氏の重臣で江戸城主であった
遠山隼人正景久公が、吉祥寺の２代目であった大州安充大和尚を招いて開山（創始者）
とし、和田倉門内に創建した禅宗の寺である。
永禄７年（１５６４年）には寺院の堂や塔、伽藍が全て完成し、文殊菩薩・普賢菩薩を
脇士に、釈迦如来を本尊として、国土安穏衆生済度（国が治まり人々が悟りを得ること）を
願う道場としてできあがった。
創建者である遠山隼人正景久公は、永禄７年正月８日、北総鴻台における北条里見の
合戦で、父丹波守直景公と共に戦死し、瑞鳳院殿月渓正円大居士としてこの寺に
葬られた。
景久公の妻である北条氏は北条氏上総介の娘であり、景久公に先立ち永禄３年２月９日
に永眠し、浄光院殿花蔭宗順大禅定尼としてこの寺に葬られた。
この二人の号を取り、この寺を瑞鳳山浄光院と名付けた。

天正１８年（１５９０年）徳川家康が江戸に入城し、城郭を拡張修繕するにあたって、
この寺は神田台に移動を命ぜられ、翌年本郷村で朱印地５石を寄進された。
この後神田台は駿河衆の御用屋敷となったので、慶長３年（１５９８年）には小日向郷
金杉村への移転命令を受け、寺領も小日向村に替えられた。この寺を開いた遠山氏は
没落したが、信州松本城主戸田丹波守康長公・遠州堀江城主大澤左衛門佐基胤公
両者の後援を受けて運営されていた。
寛永１３年（１６３６年）金杉の土地もまた、武家用地となったしまったので、戸崎台へ
移転することになった。戸崎台は現在の文京区白山２丁目で館林候の白山御殿と
地続きで、水戸候の後楽園に近く、拝領地５７７０坪・町屋１９２９坪の境内地には池や
築山を配し、築山の辺りの老松は、将軍が鶴場にお成りの際、その蔭に憩われたと
いう。このため、この銘木の手入れは幕府からの資金により行われた。
また、稲荷社の傍らにあった大日如来石座像は、目を病んだ人の参詣が絶えることなく、
客殿に安置されている聖徳太子像は、沢山の信者を得て、大祭日には非常に賑わった
と言われている。
このように当時は江戸名所の一つとなり、「江戸名所図絵」をはじめ多くの名所記に
記載されている。