在桓公的呵护下，桓因逐渐成长了起来。桓公教他读书，认字，教他为人之道，供他上荆州最好的学堂，为他找最好的先生。桓因也没有让桓公失望，不但天资聪颖，更是勤奋有加，小小年纪便能说会道，诗书满腹。而且，桓因从来不因此而感到骄傲，而是与桓公一样，对人始终客客气气，谦卑有加。

桓因的种种表现简直让桓公喜出望外，感叹天不负桓家。桓公也是因此而心情大好，病也逐渐痊愈如初。

一日，桓因在窗前念书，见书中说到神仙异兽之事，他甚是好奇，便拿着书跑到桓公跟前问到：“爹爹，书上说这世上有仙人，是真的么？”

“当然是有的，仙人法力高强，能飞天遁地，斩妖除魔，可厉害着呢！”桓公笑呵呵的答到。

“那因儿也想成仙。”

“哦？修仙可是很难很难的。”

“因儿不怕困难。”

“好，来日等爹爹出门行商，去帮我因儿探探仙路，哈哈！”

桓公是一个事业心极重的人，病好了自然不肯赖在家里，虽然他对桓因牵挂非常，但是家业不可不顾。经商最忌就是疏于走动。桓公养病在家多年，外面的关系若不再走动走动，怕是会给人家抢了去。而且，桓公也希望给桓因接掌桓家做出更好的铺垫。于是，桓公在桓因四岁时又开始出行跑商。

桓公在家的日子，桓因是幸福的。但是桓公走后，家里由朱氏掌管，却不那么好过。虽然桓公走前千叮咛万嘱咐一定要好好照顾桓因，但是桓公的离开还是成为了这些所谓的家人对桓因欺辱的机会。

“扫把星”这三个字又被抬了出来，只要桓公一离开，这三个字是始终围绕在桓因耳边的。朱、王、刘三位长辈的冷嘲热讽、恶言相向自不多说，莫名其妙的家法也不少见。哥哥姐姐们更是私下拳脚相加，把桓因当成了生活中发泄的对象。只有一人除外，那便是桓因最小的姐姐桓玖玖。虽然刘氏已经多次告诫玖玖离桓因远些，但是玖玖还是会私下偷偷跟桓因一起玩。如果他们欺负桓因欺负的狠了，玖玖还是会气不过帮着桓因说话，这也让玖玖好几次都跟着桓因一起受了不小的委屈。

桓因从来没因为受到欺负而哭过，他只是默默的承受着，然后等他们发泄完了，走了，自己才默默的站起来，自己去府上的药房找来金疮药疗伤，然后继续自己没做完的功课。

桓因从来没把这些告诉过桓公，他不想爹爹因此而生气。他知道爹爹因为生气得过大病，那是他没见过面的母亲为爹爹治好的病。他常常想，要是自己会仙术，就不会被欺负了吧。

就这样，又过去了四年。一日玖玖推开桓因的房门，对着正在窗前念书的桓因说到：“弟弟，爹爹回来了，快随我去迎接。”此时桓因已经八岁，不仅俊俏帅气，眉宇间那股英气更是越发逼人。

“恭迎老爷！”

“恭迎爹爹！”

桓公笑呵呵的从马车上下来，大步走到门前，越过众人，一把抱起桓因，笑到：“因儿，想爹爹没？”

“爹爹在外打拼，因儿不能帮手，不敢再引爹爹牵挂。”

“真乖，走，回去让爹爹看看，我因儿又长进了多少。”

虽然这样的一幕每次都在桓公回来时发生，但是众人对桓因的嫉妒之情还是无法磨灭。这让众人对桓公由最开始的尊敬也慢慢的变得怨恨起来。

一日，桓公召集家人在正厅议事。众人都到场后，桓公正色说到：“我年事已高，恐怕为桓家奔波不了几年了。所以今天召集大家来，是想告诉大家，我准备立因儿为我桓家少主，重点培养成我桓家下一代掌舵之人，同时也从今天起辅助大夫人打理家中的大小事务。”

“老爷，因儿尚小，恐怕担不起此重任。”桓公话还没说完，朱氏连忙打断到。

“爹，因弟还是孩子，你居然叫一个孩子管我们？”桓宇跟着急到。

“因儿是孩子？你都二十三了，成天在外给我桓家惹祸，败坏家门名声。因儿比你强上太多！”

“老爷，还请三思啊。”除了玖玖默不作声以外，其他一众都说到。

“别以为我不知道你们趁我不在时对因儿做了些什么。你们以为我老了就瞎了吗？一个个年纪都不小了，整天欺负一个八岁的孩子，传出去我的脸都不知道往哪放！就这么定了！谁也不准给我说个不字！”