兩人離開濟南騎馬南下，馬不停蹄走了十多天，就平安的到達了武漢，兩人棄馬登舟從水路向衡山出發。船行了一日，便入了洞庭湖，這洞庭湖號稱“八百里洞庭”，是天下第二大湖，南接湘水、資水、沅水和澧水四大水系，北吞長江，水連天，天連水，碧波浩淼，氣象萬千，山川秀美，范仲淹在《岳陽樓記》裡描述它“銜遠山，吞長江，浩浩蕩蕩，橫無際涯，朝暉夕陽，氣象萬千”。這洞庭湖旁有著名的岳陽樓，是東漢末年吳國的名將魯肅所建檢閱水軍之樓，宋朝時期嶽州的知州藤子京在民間籌集資金重修，使岳陽樓名揚天下，素有“洞庭天下水，岳陽天下秀”之譽。船進入洞庭湖之時正是早晨，只見一輪紅日破雲霧而出，整個湖面金光閃閃，遠處漁帆點點，沙鷗翔疾，湖邊平疇綠野，遠處的君山形如螺髻，亭亭玉立，若隱若現於水霧之中。
船行了一日，便到了長沙城裡，第二日又朔江而上，行了一日便到了衡山腳下。那陰陽秀才見楊聰已經安全到達了衡山，便乘船返回繳令了。這衡山是我國五嶽名山之一，古稱“南嶽”，又稱“壽嶽”，我們常說的“壽比南山”即由此來。衡山山勢雄奇秀美，景色優美，盤旋數百里，大小山峰共72座，還有0洞、38泉、9潭、5巖，素有“五嶽獨秀”之美稱，古人曾描繪五嶽的風姿爲“恆山如行，泰山如坐，華山如立，嵩山如臥，衡山如飛”，古人嘆其“欲見不見輕煙裡”、“山矗天止，雲起峰流”，這衡山以祝融峰、天柱峰、芙蓉峰、紫蓋峰和石稟峰五座峰最著名。
祝融峰也是民間傳說中的火神爺爺，也稱南方大帝，這火神爺爺是黃帝身邊有才幹的大臣，主管南方事務，相傳他死後葬在此峰上，因此取名祝融峰。衡山有四絕名揚天下，即祝融峰之高，方廣寺之深，藏經殿之秀，水簾洞之奇，還有福嚴寺、南臺寺等著名寺廟。衡山派乃是佛教禪宗南宗的祖源，武學也來自嵩山少林寺，以“般若掌”最著名，這般若掌拍出之時無聲無息，飄然詭異，看似毫無力道，實際厲害無比，中掌之人五臟六腑皆碎，骨骼斷裂，經脈俱斷，屬於陰柔一派的武功，最適合女子修煉。
衡山原是道教的勝地，傳說南北朝時期有一個叫彗思的和尚，他來到衡山參拜嶽神，爲佛教謀求立足之地，嶽神沒有答應他的要求，兩人就以下棋爲賭，嶽神說如果他輸了，就給彗思一塊地建寺院。下棋的結果是那彗思和尚贏了，嶽神只好把天柱峰下的一塊土地給彗思，建了福嚴寺。彗思和尚又向嶽神要修路的地方，開始時嶽神也不答應，後來彗思和尚說，我把自己的袈裟扔出去，只要袈裟廕庇的地方，就做爲出入的一線之地。嶽神心想：你這袈裟有多大？於是便答應了他的要求，沒想到彗思和尚精通法術，他念動咒語把袈裟拋上了天空，頓時那袈裟變成了一片浮雲，烏天黑地的，把整個南嶽的前山和後山都遮蔽了。嶽神一看頓時慌了神，說：“你把山奪了去，那我住哪裡呢？”彗思和尚指着嶽神下棋坐的石鼓說：“石鼓所落之處，即尊神喬遷新居的寶地。”說着手指一點，那石鼓便滾下了山，停落在山下的空地上，從此嶽神便搬到了今天的嶽神大廟的地方，接受民間的朝拜。
衡山派創立之初，均是男僧，沒有女子，後來因戰亂不斷，便逐漸有女子出家爲尼，後來女尼漸漸佔了大半。南宋時期，有一個叫靈緣的女尼，與一個叫靈空的僧人暗中有了私情，兩人的私情被發現後，大大影響了衡山派的聲譽，當時的主持靜惠師太嚴厲地處治了兩人，爲了防止此類的醜事以後再發生，於是決定把所有的男僧人遷到了嵩山少林寺，衡山派只留下女尼，從此，衡山派便成了青一色的女尼靜修之地了。
這嶽神大廟坐落在衡山腳下，是上衡山的門戶，規模宏大，氣勢雄偉，共有九進，有正殿、寢宮、御書樓、盤龍亭等建築羣，正殿有七八丈高，莊嚴肅穆，殿內有七十二根石柱，象徵着衡山七十二峰。楊聰來到嶽神大廟之時，只見大殿內金碧輝煌，供奉着一座嶽神神像，神態莊嚴雄偉，寬容仁慈，殿內香菸嫋嫋，朝拜的人絡繹不絕，幾個身着灰白僧袍的女尼正在做法事。楊聰上了香，便對旁邊的一個女尼合什爲禮道：“師太早安，再下有一百兩紋銀要捐給貴剎做香資，同時有一事要求見貴剎的主持，煩勞師太通報一聲。”
那女尼聽了道：“阿彌陀佛！施主請稍候。”說着轉身入了大殿後，過了一會兒，那女尼出來了，朝楊聰合什爲禮道：“這位施主，主持有請。”那女尼便引楊聰入了大殿後的一個靜室裡，只見一箇中年女尼正坐在蒲團上打坐，只見那女尼大約四十歲年紀，臉如紅棗，眉宇英姿，神態安詳，雖然雙目緊閉，卻透露出一股威嚴。那女尼左手拿着佛珠，右手正敲着木魚，那女尼俯身低聲道：“主持，那位施主來了。”那女尼仍閉着雙目，敲打着木魚道：“這位施主，你要見貧尼，不知有何事情啊？”
楊聰恭敬地道：“晚輩對寶剎慕名已久，特來上香，這區區一百兩紋銀，是再下的一點心意，望師太在佛前多替再下燒一點香。”說着奉上了一張西蜀錢莊的銀票，那女尼這才睜開了眼，那雙眼睛猶如兩道閃電，她接過那張銀票對楊聰道：“施主一片向佛之心，嶽神會保佑施主歲歲平安、多福多壽的。”楊聰又道：“敢問師太法號？”那女尼單掌合什道：“貧尼慧圓。”楊聰道：“晚輩還有一事要求見貴派的掌門慧清師太，還請慧圓師太代晚輩通報一聲，這是信物。”說着他拿出吳長老給的那支綠笛子遞了過去，這綠笛子是丐幫總舵的綠竹令。那慧圓師太見了那根綠笛子，道：“你既是丐幫弟子，明天我就派人帶你上山去見掌門吧！你先下去休息。”說着她朝那剛纔帶楊聰進來的女尼道：“惠悟，帶這位施主去香房休息。”楊聰便辭了慧圓師太退了出來。
當晚，楊聰便在南嶽大殿住了下來，大約過了戍時，楊聰正打算躺下休息，他突然聽見有夜行人經過的聲音，雖然那人踏在屋頂上的聲音很小，像夜鳥飛過一樣，但楊聰此時內力已經達到了登峰造極的境界，他還是聽得清清楚楚，楊聰從那聲音中知道此人輕功了得。他悄悄地打開窗戶躍上屋頂，只見一個瘦小的灰影在對面的禪房頂上一閃便不見了。楊聰頓時生了好奇之心，他尾追那灰影到對面的禪房，卻沒看見那人的蹤影，楊聰正感到納悶，突然聽見大殿裡傳來刀劍相碰的聲音，楊聰暗叫道：不好！那人與衡山派的人打起來了。
他便連忙向大殿奔去，心想：自己身在衡山派做客，可不能袖手旁觀。他提氣奔到大殿之上，只見大殿內燈火通明，幾個女尼正在練劍，帶頭的人正是今天帶他去見慧圓師太的那個女尼，楊聰鬆了一口氣。楊聰看了一會兒，只見那幾個女尼的劍法飄飄，劍氣森森，閃着白光，楊聰見沒發生什麼事，便悄悄地離開回房間了，要知道偷看別派武功是武林中的大忌，雖然自己不是有意偷看的，但如果被發現卻是很難解釋清楚的。楊聰回到房間，心想：剛纔那夜行人怕是衡山派的人巡夜吧，便安心地睡下了。
他剛睡得朦朦朧朧的，突然聽見有人敲門，楊聰連忙起來打開門，見是那個剛纔帶人練劍的叫惠悟的女尼。那女尼提着燈籠，見楊聰開了門，單掌行禮道：“阿彌陀佛！深夜打擾施主，多有得罪，請施主見諒。”楊聰被她嘈醒了，心中有些氣惱，心想：這女禿驢三更半夜的不知道有什麼事？便問道：“師太有何事？”那惠悟道：“主持請施主去一趟，有要事相商。”楊聰聽了連忙隨那女尼向慧圓師太的禪房走去，心想：這慧圓師太三更半夜找我，不知道有什麼事？難道是剛纔自己去了一趟大殿被她發現了？