一連數日，黃蓉只是教他讀書，始終絕口不提武功。這一日讀罷了書，楊過獨自到山上閒走，想起歐陽鋒現下不知身在何處，思念甚殷，不禁倒轉身子，學著他的樣子旋轉起來。轉了一陣，依照歐陽鋒所授口訣逆行經脈，只覺愈轉愈是順遂，一個翻身躍起，咕的一聲叫喊，雙掌拍出，登覺遍體舒泰，快美無比，立時出了一身大汗。他可不知只這一番練功，內力已有進展。歐陽鋒的武功別創一格，實是厲害之極的上乘功夫，楊過悟性奇高，雖然那日於匆匆之際所學甚少，但如此練去，內力也有所進益。
自此之後，他每日跟黃蓉誦讀經書，早晨晚間有空，自行到僻靜山邊練功。他倒不是想從此練成一身驚人武藝，只是每練一次，全身總是說不出的舒適，到後來已是不練不快。
他暗自修練，郭靖與黃蓉毫不知曉。黃蓉教他讀書，不到三個月，已將一部「論語」教完。楊過記誦極速，對書中經義卻往往不以為然，不住提出疑難。其實黃蓉教他讀書，也已早感煩厭，只是常自想到：「此人聰明才智似不在我下，如果他為人和他爹爹一般，再學了武功，將來為禍不小，不如讓他學文，習了聖賢之說，於己於人都有好處。」當下耐著性子教讀，「論語」教完，跟著再教「孟子」。
幾個月過去，黃蓉始終不提武功，楊過也就不問。自那日與郭芙、武氏兄弟打架之後，再不跟他們三人在一起玩耍，獨個兒越來越感孤寂，心知郭靖雖收他為徒，武功是決計不肯傳授的了。自己本就不是武氏兄弟的對手，待郭靖教得他們一年半載，再有爭鬥，非死在他們手裡不可，心中打定了主意，一有機會，立即設法離島。
這日下午，楊過跟黃蓉讀了幾段「孟子」，辭出書房，在海邊閒步，望著大海中白浪滔滔，心想不知何日方能脫此困境，眼見海面上白鷗來去，好生欣羨它們的來去自在。正自神往，忽聽桃樹林外傳來呼呼風響。他好奇心起，悄悄繞到樹後張望，原來郭靖正在林中空地上教武氏兄弟拳腳，教的是一招擒拿手「托梁換柱」。郭靖口中指點，手腳比劃，命武氏兄弟跟著照學。楊過只看了一遍，早就領會到這一招的精義所在，但武氏兄弟學來學去始終不得要領。郭靖本性魯鈍，深知其中甘苦，毫不厭煩，只是反覆教導。
楊過暗暗嘆氣，心道：「郭伯伯若肯教我，我豈能如他們這般蠢笨。」悶悶不樂，自？ ？ 房中睡了。晚飯後讀了幾遍書，但感百無聊賴，又到海灘旁邊，學著郭靖所授的拳腳，使將開來，只是將一招反覆使得幾遍，便感膩煩，心念一動：「我若去偷學武功，保管比武氏兄弟強得多，那也不用怕他們來害我了。」
一喜之後，跟著又想：「郭伯伯既不肯教，我又何必偷學他的？哼，這時他就是來求我去學，我也不學的了。最多給人打死了，好希罕麽？」想到此處，又是驕傲，又感悽苦，倚岩靜坐，竟在浪濤聲人迷迷糊糊的睡著了。
次日清晨，楊過不去吃早飯，也不去書房讀書，在海中撈了幾隻大蚝，生火燒烤來吃，心想：「不吃你郭家的飯，也餓不死我。」瞧著岸邊的大船和小艇，尋思：「那大船我開不動，小艇卻又劃不遠，怎生逃走才好？」煩惱了半日，無計可施，便在一塊巨岩之後倒轉了身子，練起了歐陽鋒所授的內功來。
正練到血行加速、全身舒暢之際，突然間身後有人大聲呼喝，楊過一驚之下，登時摔倒，手足麻痹，再也爬不起來，原來是郭芙與武氏兄弟三人適於此時到來。這巨岩之後本來十分僻靜，向無人至，但桃花島上道路樹木的布置皆按五行生剋之變，郭芙與武氏兄弟不敢到處亂走，來來去去只在島上道路熟識處玩耍，以致見到了他練功的情狀。幸好楊過此時功力甚淺，否則給他們三人這麽齊聲吆喝，經脈錯亂，非當場癱瘓不可。
郭芙拍手笑道：「你在這裡搗甚麽鬼？」楊過扶著岩石，慢慢支撐著站起，向她白了一眼，轉身走開。武修文叫道：「喂，郭師妹問你哪，怎得你這般無禮，也不理睬？」楊過冷冷的道：「你管得著麽？」武敦儒大怒，說道：「咱們自管玩去，別去招惹瘋狗。」楊過道：「是啊，瘋狗見人就咬，人家好端端的在這裡，三條瘋狗卻過來亂吠亂叫。」武敦儒怒道：「你說三條瘋狗？你罵人？」楊過笑道：「我只罵狗，沒罵人。」
武敦儒怒不可遏，撲上去拔拳便打，楊過一閃避開。武修文想起師父曾有告誡，師兄弟不可打架，這事鬧了起來，只怕被師父責備，忙拉位兄長手臂，笑吟吟的對楊過道：「楊大哥，你跟師娘學武藝，我們三個跟師父學。這幾個月下來，也不知是誰長進得快了。咱們來過過招，比劃比劃，你敢不敢？」
楊過心下氣苦，本想說：「我沒你們的運氣，師娘可沒教過我武功。」但一聽到他說「 你敢不敢」四字，語氣中充滿了輕蔑之意，那句泄氣的話登時忍住了不說，只哼了一聲，冷冷的斜睨著他。武修文道：「咱們師兄弟比試武功，不論誰輸誰贏，都不可去跟師父、師娘說，就是打破了頭，也說是自己摔的。誰打輸向大人投訴，誰就是狗雜種、王八蛋。楊大哥，你敢不敢？」
他這「你敢不敢」四字第二次剛出口，眼前一黑，左眼上已重重著了楊過一拳，武修文一個踉蹌，險些摔倒。武敦儒怒道：「你這般打冷拳，好不要臉。」施展郭靖所教的拳法，向楊過腰間打去。楊過不識閃避，登時中拳，眼見武敦儒又是飛腳踢來，腦海中靈光一閃，想起昨天郭靖傳授武氏兄弟的招數，當即右腳微蹲，左手在武敦儒踢來的右腳小腿上一托。這正是「鬧市俠隱」全金髮所擅擒拿手法中的一招「托梁換柱」，雖非極精深的武功，臨敵之時卻也頗切實用。昨日郭靖反覆叫兩兄弟試習，武氏兄弟本已學會，但當真使將出來，卻遠不及楊過偷看片刻的靈活機巧。武敦儒被他這麽一托，登時遠遠摔了出去。
武修文眼上中拳，本已大怒，但見兄長又遭摔跌，當即撲將上來，左拳虛幌，楊過向左避讓，卻不知這是拳術中甚是淺近的招數，先虛後實，武修文跟著右拳實擊，砰的一聲，楊過右邊顴骨上重重中了一拳。武敦儒爬起身來，上前夾擊，他兩兄弟武功本有根柢，楊過先前就已抵敵不過，再加上郭靖這幾個月來的教導，他如何再是敵手？廝打片刻，頭臉腰背已連中七八下拳腳。楊過心下發了狠：「就是給你們打死，我也不逃。」發拳直上直下的亂舞亂打，全然不成章法。
武修文見他咬牙切齒的拚命，心下倒是怯了，反正已大占上風，不願再斗，叫道：「你已經輸啦，我們饒了你，不用再打了。」楊過叫道：「誰要你饒？」衝上去劈面猛擊。武修文伸左臂格開，右手抓住他胸口衣襟向前急拉，便在此時，武敦儒雙拳同時向楊過後腰直擊下去。楊過站立不穩，向前摔倒。武敦儒雙手按住他頭，問道：「你服了沒有？」楊過怒道：「誰服你這瘋狗？」武敦儒大怒，將他臉孔向沙地上直按下去，叫道：「你不服，就悶死了你。」
楊過眼睛口鼻中全是沙粒，登時無法呼吸，又過片刻，全身如欲爆裂。武敦儒雙手用力按住他頭，武修文騎在他頭頸之中，楊過始終掙扎不脫，窒悶難當之際，這些日子來所練歐陽鋒傳授的內力突然崩涌，只覺丹田中一股熱氣激升而上，不知如何，全身驀然間精力充沛，他猛躍而起，眼睛也不及睜開，雙掌便推了出去。
