学校又要开学了，拜伦却一点也没有回去上课的意思，也丝毫不在意母亲的再三恳求。汉森先生禁不住朱利校长的一再询问，只好写信给凯瑟琳，结果却得到一封这样的回信：
我已经努力地劝了他六个星期，但他还是不愿意回学校。我知道他并没有什么不对劲的地方，只是因为单恋玛丽小姐。他已经在她家附近待了三个星期，一直没来看我。
凯瑟琳在信里说她觉得自己儿子的状态有些不正常，可是即便如此，这位溺爱孩子的母亲还是顺从了拜伦的意思，让他在纽斯台德待了下来。也许她是记起了她当年对拜伦父亲的迷恋，那是一种不求回报、不问得失的迷恋。
没有多久，拜伦开始明白了玛丽小姐的意思。有一天晚上，拜伦意外听到玛丽小姐对她的女仆说：“什么？我会喜欢那个跛脚的小孩？！”羞愤交加下，拜伦冲出了玛丽小姐的家。这件事之后，拜伦下定决心要马上离开这个伤心地。这时，租下纽斯台德庄园的葛雷先生邀请拜伦一起去打猎，于是拜伦留在了纽斯台德。他依然无法忘记玛丽小姐，他后来告诉朋友说：“她是我年轻时梦幻中美的化身！”
拜伦每天晚上都和葛雷先生一起出去打猎，他们围捕雉鸡，捣毁它们的窝巢，玩得不亦乐乎。但是，在拜伦16岁生日的时候，发生了一件不愉快的事，这使得拜伦的情绪非常恶劣，而且离开了葛雷先生，发誓今后再也不和他来往。虽然他不愿意说清楚到底是怎么一回事，但他的言辞间曾暗示：葛雷先生有冒犯他的意图。