兩人離開濟南騎馬南下，馬不停蹄走了十多天，就平安的到達了武漢，兩人棄馬登舟從水路向衡山出發。船行了一日，便入了洞庭湖，這洞庭湖號稱“八百里洞庭”，是天下第二大湖，南接湘水、資水、沅水和澧水四大水系，北吞長江，水連天，天連水，碧波浩淼，氣象萬千，山川秀美，范仲淹在岳陽樓記裡描述它“銜遠山，吞長江，浩浩蕩蕩，橫無際涯，朝暉夕陽，氣象萬千”。這洞庭湖旁有著名的岳陽樓，是東漢末年吳國的名將魯肅所建檢閱水軍之樓，宋朝時期嶽州的知州藤子京在民間籌集資金重修，使岳陽樓名揚天下，素有“洞庭天下水，岳陽天下秀”之譽。船進入洞庭湖之時正是早晨，只見一輪紅日破雲霧而出，整個湖面金光閃閃，遠處漁帆點點，沙鷗翔疾，湖邊平疇綠野，遠處的君山形如螺髻，亭亭玉立，若隱若現於水霧之中。
船行了一日，便到了長沙城裡，第二日又朔江而上，行了一日便到了衡山腳下。那陰陽秀才見楊聰已經安全到達了衡山，便乘船返回繳令了。這衡山是我國五嶽名山之一，古稱“南嶽”，又稱“壽嶽”，我們常說的“壽比南山”即由此來。衡山山勢雄奇秀美，景色優美，盤旋數百里，大小山峰共７２座，還有１０洞、３８泉、９潭、１５巖，素有“五嶽獨秀”之美稱，古人曾描繪五嶽的風姿爲“恆山如行，泰山如坐，華山如立，嵩山如臥，衡山如飛”，古人嘆其“欲見不見輕煙裡”、“山矗天止，雲起峰流”，這衡山以祝融峰、天柱峰、芙蓉峰、紫蓋峰和石稟峰五座峰最著名。
祝融峰也是民間傳說中的火神爺爺，也稱南方大帝，這火神爺爺是黃帝身邊有才幹的大臣，主管南方事務，相傳他死後葬在此峰上，因此取名祝融峰。衡山有四絕名揚天下，即祝融峰之高，方廣寺之深，藏經殿之秀，水簾洞之奇，還有福嚴寺、南臺寺等著名寺廟。衡山派乃是佛教禪宗南宗的祖源，武學也來自嵩山少林寺，以“般若掌”最著名，這般若掌拍出之時無聲無息，飄然詭異，看似毫無力道，實際厲害無比，中掌之人五臟六腑皆碎，骨骼斷裂，經脈俱斷，屬於陰柔一派的武功，最適合女子修煉。
衡山原是道教的勝地，傳說南北朝時期有一個叫彗思的和尚，他來到衡山參拜嶽神，爲佛教謀求立足之地，嶽神沒有答應他的要求，兩人就以下棋爲賭，嶽神說如果他輸了，就給彗思一塊地建寺院。下棋的結果是那彗思和尚贏了，嶽神只好把天柱峰下的一塊土地給彗思，建了福嚴寺。彗思和尚又向嶽神要修路的地方，開始時嶽神也不答應，後來彗思和尚說，我把自己的袈裟扔出去，只要袈裟廕庇的地方，就做爲出入的一線之地。嶽神心想：你這袈裟有多大？於是便答應了他的要求，沒想到彗思和尚精通法術，他念動咒語把袈裟拋上了天空，頓時那袈裟變成了一片浮雲，烏天黑地的，把整個南嶽的前山和後山都遮蔽了。嶽神一看頓時慌了神，說：“你把山奪了去，那我住哪裡呢？”彗思和尚指着嶽神下棋坐的石鼓說：“石鼓所落之處，即尊神喬遷新居的寶地。”說着手指一點，那石鼓便滾下了山，停落在山下的空地上，從此嶽神便搬到了今天的嶽神大廟的地方，接受民間的朝拜。
衡山派創立之初，均是男僧，沒有女子，後來因戰亂不斷，便逐漸有女子出家爲尼，後來女尼漸漸佔了大半。南宋時期，有一個叫靈緣的女尼，與一個叫靈空的僧人暗中有了私情，兩人的私情被發現後，大大影響了衡山派的聲譽，當時的主持靜惠師太嚴厲地處治了兩人，爲了防止此類的醜事以後再發生，於是決定把所有的男僧人遷到了嵩山少林寺，衡山派只留下女尼，從此，衡山派便成了青一色的女尼靜修之地了。