父亲的三姨太又来寻母亲的麻烦了，母亲除了破口大骂，却也没有任何办法，作为父亲的二姨太，她当初是带着丰厚嫁妆嫁进来的，如果没有那些嫁妆，凭她一个斗大的字儿不识一个，出身于商人家庭的姑娘能嫁的进这座传承了四百多年的翰林世家庭院？那在过去是想也不敢想的。但自从嫁进来，就没过过一天好日子，别看这大院儿吓唬人，里面的女人可一点也不斯文，甚至不讲理。她母亲又是个沉不住气的，在娘家的时候就是个直脾气，能斗得过这些咬文嚼字的才怪！再加上那几个女人能说会道，黑的能说成白的，丈夫也不向着她，自然听信了她们的鬼话，就更加厌恶她了。
这不，父亲才刚进后院，就看到他的二姨太目露凶光，口出恶言，双手叉腰，把女性那点儿矜持美败的一干二净。于是父亲扭头就回了书房。
母亲吃了这个哑巴亏，自然不服气，于是将纤云从角落里拽出来，一顿暴打，她愚蠢的母亲认为纤云也是林家的孩子，林家对不起她，她打这孩子，也算间接报复林家人了。但是小小的纤云在这无辜受害，难免心里难过。但她也能理解母亲，她甚至在厌恶她母亲的同时又非常同情她。
天气越来越凉了，下过了几场雨，单衣已经不能维持身体暖和了，于是天气好的时候，母亲就拿出了棉花和布料，亲自给她做厚衣裳穿。这时候的李香如又表现出一个母亲所独具的温柔。
林父偶尔也会抽空到后院里来看他这个与众不同的女儿，纤云的聪慧在那个时候已经逐渐体现出来了，家里的经史子集她学得总是很快，林父倍感欣慰。在他众多的子女中，纤云是独一份儿的，其实不仅仅是她的聪慧，还有她的相貌，与过世了的林家祖母十分相似。因着这个由头，李香如也跟着沾了一些光，就在当年冬天的时候，失宠已久的她又怀上了第二个孩子。
年后，纤云破例被父亲带到了前院，由正房夫人王夫人代为扶养。这位王夫人年轻的时候也是姿容一绝，才华横溢，林父费了很多心思，才从众多竞争对手那里获取了她的芳心，因此一直对她宠爱有加，还有对正房夫人的尊重。纤云乖巧地学着各种礼仪，她不再是后院那个角落里的弃儿，现在的她身份已然不同。丫鬟们嘴里的称呼也从“野丫头”变成了“大小姐”。
王夫人对纤云说不上有多热络，但也不至于冷淡，因为她生了四个儿子，对这唯一的姑娘还是有些兴致的，没事儿的时候也会亲自教她一些文化知识。纤云毕恭毕敬，分毫不敢出错。有时候她也会想念母亲，但是不敢在王夫人面前显露出来，让她觉得自己不识抬举。所以很多时候，她会独自跑到门口，去看后院的大门。此时她的母亲已经生下了一个小男孩，也就是她的弟弟，但是日子仍然没能好起来。
林父几乎已经不去后院了，后院里没有他的任何牵挂。一代富商之女就此被几乎抛弃。