他相貌俊俏，性格也頗風流自喜，雖對小龍女一往情深，從無他念，但許多少女見了他往往不由自主的為之鍾情傾到，如程英、陸無雙、公孫綠萼等人或暗暗傾心，或坦率示意。此刻他手撫床邊，想起自己已成殘廢，若再遇到這些多情少女，在她們眼中，自己勢必成為可笑可憐之人，武功雖強，也不過是個驚世駭俗的怪物而已。思潮起伏，追念平生諸事，情不自禁的低聲說道：「只有姑姑，只有姑姑一人，別說我少了一臂，便是四肢齊折，她對我的心意也必毫無變異。」
正想到此處，忽聽東面隱隱傳來兩人言語爭執之聲，聽聲音正是郭靖和黃蓉。楊過好奇心起，想聽兩人爭些甚麽，尋聲悄步，走到郭靖夫婦居室的窗外。
只聽黃蓉大聲說道：「這兩人明明是抱了襄兒前去絕情谷，想換解毒藥物，你口口聲聲還說楊過是好人？這孩子生下不到一個時辰，便落入了他們手中，這時還有命麽？」說到這裡，語聲嗚咽，啜泣起來。
郭靖說道：「過兒決不是這樣的人。再說，他累次救我救你，咱們便拿襄兒換他一命，那也是心甘情願。」黃蓉泣道：「你情願，我可不情願……」
這時室中突然發出一陣嬰兒啼哭，聲音甚是洪亮。楊過大奇：「難道那小女孩已從李莫愁手中搶回來了？怎麽她又說『這時還有命麽』？」屏住呼吸，湊眼到窗縫中張望，只見黃蓉手中果然抱著一個嬰兒。那嬰兒剛好臉向窗口，楊過瞧得明白，但見他方面大耳，皮色粗黑，臉上生滿了細毛。那女嬰郭襄他曾在懷中抱過良久，記得是白嫩嬌小，眉目清秀，和這壯健肥碩的嬰兒大不相同。黃蓉背向窗口，低聲哄著嬰兒，說道：「好好一對雙胞胎，你快去給我找他姊姊回來。」楊過恍然大悟，才知黃蓉一胎生下了兩個孩兒，先誕生的是女嬰郭襄，其後又生一個男嬰。當生這男嬰之時，女嬰已給小龍女抱走。
郭靖在室中踱來踱去，說道：「蓉兒，你平素極識大體，何以一牽涉到兒女之事，便這般瞧不破？眼下軍務緊急，我怎能為了一個小女兒而離開襄陽？」黃蓉道：「我說我自己去找，你又不放我去。難道便讓咱們的孩兒這樣白白送命麽？」郭靖道：「你身子還沒復原，怎能去得？」黃蓉怒道：「做爹的不要女兒，做娘的苦命，那有甚麽法子？」
楊過在桃花島上和他們相聚多年，見他們夫婦相敬相愛，從來沒吵過半句，這時卻見二人面紅耳赤，言語各不相下，顯然已為此事爭執過多次。黃蓉又哭又說，郭靖繃緊了臉，在室中來回走個不停。
過了一會。郭靖說道：「這女孩兒就算找了回來，你待她仍如對待芙兒一般，嬌縱得她無法無天，這樣的女兒有不如無！」黃蓉大聲道：「芙兒有甚麽不好了？她心疼妹子，出手重些，也是情理之常。倘若是我啊，楊過若不把女兒還我，我還他的左臂也砍了下來。」
郭靖大聲喝道：「蓉兒，你說甚麽？」舉手往桌上重重一擊，砰的一聲，木屑紛飛，一長堅實的紅木桌子登時給他打塌了半邊。那嬰兒本來不住啼哭，給他這麽一喝一擊，竟然嚇得不敢再哭。
便在此時，楊過突見西首窗下有個人影一幌，接著矮了身子，悄悄退開。楊過心想：「 原來除我之外，還有人在窗外偷聽，卻是誰了？」當下躡足在那人之後，只見那人身形婀娜，正是郭芙。楊過心頭火起：「好啊！我正要找你！」突然身後一暗，房中燈火熄滅，聽黃蓉氣忿忿的道：「你出去罷，別嚇驚了孩兒！」
楊過知道郭靖就要出來，在他眼前可不易躲得過，當即鑽到假山之後，快步繞到郭芙房外，一躍竄高，上了她房外那株木筆花樹，躲在枝葉之間。
過不多時，果見郭芙回到房中。只聽得一個女子聲音說道：「已打過二更啦，姑娘請安睡罷！」郭芙哼了一聲，道：「我睡得著時自然會睡！你出去。」那女子應道：「是。」只見一名丫鬟開門出來，帶上房門，自行去了。
過了半晌，只聽得郭芙幽幽的一聲長嘆，楊過心道：「你還嘆甚麽氣？你斷我一臂，我便也斷你一臂，只不過好男不與女斗，此刻我下來傷你，雖然易如反掌，卻不是大丈夫行逕。」略一沉吟，已有計較：「好，讓我大聲叫嚷，將郭伯伯叫來。我先將他打敗，再處置他女兒。男兒漢光明磊落，再也無人能笑話我一句。」但轉念又想：「郭伯伯武功卓絕，我真能勝得了他麽？只怕未必！那麽此仇就此不報了？」念及斷臂之恨，胸間熱血潮湧，將心一橫，正要從木筆花樹上跳下，忽聽得腳步聲響，一人大踏步過來。
只見他腳步沉凝，身形端穩，正是郭靖。他走到女兒房外，伸指在門上輕輕一彈，說道：「芙兒，你睡了麽？」郭芙站了起來，道：「爹，是你麽？」聲音微帶顫抖。楊過心中一驚：「莫非郭伯伯知我來此，特來保護女兒？好！我便先和你動手！打你不過，死在你手下便了。」
郭靖「嗯」了一聲。郭芙將門打開，抬頭向父親望了一眼，隨即低下了頭。
