相传，在元仁宗延祜年间(公元1314~1320年)，天水郡的赵源外出求学来到钱塘，客居在西湖北岸的葛岭上，他住处的旁边,就是南宋奸相，贾似道的旧宅。
赵源从小就失去了父母,长大后还没有娶上妻子,孤身一人,生活很无聊。有一天傍晚,他到门外散步,看见一个女子从东边走过来。这位女子身上穿着绿色的衣服,头上挽着两个发髻,年龄大约十五六岁,虽然不是浓妆艳抹,但容貌出众。赵源久久地盯着她,舍不得把目光移开。
第二天,赵源出门的时候又看见了她。就这样,连续好几天,一到傍晚,赵源出门总能碰见她。有一天,赵源上前逗她说:“你家住在什么地方?为什么每天晚上都到这里来?”女子笑着对他施了一礼，回答道:“我家是你的邻居，你不认识罢了。”
赵源试探着调笑她说，“既然都是邻居，况且我也未曾见过你，我的屋舍倒也算宽敞，要不然搬到我这里面吧，我们之间也好相互有个照应，姑娘你看这样如何呢？”,令赵源没想到的是，女子居然很高兴地答应了。于是,赵源就留她住宿,两个人非常亲昵。从此后,天一亮,女子就离去,到了夜里,就主动来了。这样过了一个多月，两人爱恋得如胶似漆。赵源问她姓什么,家住哪里,女子说:“你只要能得到一个美丽的妇人就行了,何必非要知道那么多呢?”赵源再三地问她,她就说:“我总是穿一身绿衣裳，你只要叫我绿衣人就行了。”始终不肯告诉她的住址在哪里。赵源想，她大概是大户人家的婢妾，夜里出来幽会，可能害怕事情暴露，传扬出去,所以不肯实说。他估计自己的判断不会有差错,所以对这个女子的宠爱和思念更加厉害了。
一天夜里,赵源喝醉了酒,指点着女子的衣服开玩笑说:“《诗经》上说:‘绿兮衣兮,绿衣黄掌。''你就是穿这种绿衣裳的人呀。”这句话出自《诗经·邶风·绿衣》，历来认为是春秋时代卫国卫庆公的夫人庆姜怨恨卫庆公宠爱婢妾的作品。这句诗是说,绿是贱色,却做成了上衣,黄为正色,却做成了下衣,这是尊卑颠倒,贱妾得宠的反常现象。穿绿衣服的人,指得宠的婢妾。那位女子听赵源这样比喻，脸上出惭愧的颜色,一连几晚上脸上都没再来了。
第二赵源醒了以后，发觉自己说了不该说的话，便扇了自己一下，那么爱我的人我怎么能说如此伤人的话语呢，还将人家比做贱婢天，赵源懊恼不已，要是她晚上来了一定要好好道歉，赵源想到
好不容易等到她再来的时候，赵源诚恳的说着为什么生气了，我一定多加注意，女子叹了口气才说:“我本来想同你一起相亲相爱，白头到老，可是你却把我当作婢妾看待，这实在叫人难为情。所以,我一连几天也不敢到身边来侍候你。然而,你既然已经知道了我的身份,现在我也就不再隐瞒,就对你细说了吧。我与你本来是旧相识,如果不是最深厚的感情把我们联系在一起,是不会达到今大这种地步的。”
赵源到底是好奇心战胜了自我于是依旧问到是怎么一回事,女子伤心地说:“你这不是太叫我为难了吗?我实际上并不是这个世界上的人,但也并不会伤害你。只不过是前生命里注定的,我们过去的缘份还没有结束罢了。"
赵源震惊了，看着眼前掩面抽泣的女子，心揪了一下，他走上前去将她抱进了怀里，都说温软入怀，可是当赵源抱着她的时候居然能感觉到一点凉意，奇怪的是体段依旧柔软，这也证实了她所说的话，对赵源的震撼还是不小的
待到怀中女子不再抽泣以后，拉着她坐到石凳上说道“你现在可以给我详细的讲讲了吗？”女子点点头
女子说:“我是南宋宰相贾似道家的侍女,本来是临安一个守本分人家的女儿,从小善于下棋。我15岁那年,被召去做贾似道的棋童。每当贾似道上朝回府,到葛岭的半闭堂坐着休息,必定要召唤我陪着他下棋。他对我十分宠爱。当时,你是他家的仆人,职责是为主人煎茶,常常因为提壶送茶,能够进到后堂里面。
你当时正年轻,相貌俊秀,我见了以后心里非常爱慕，曾经用一个绣花钱包，乘人不注意的时候递给你。你也用一个镶着玳瑁的脂粉盒回赠给我。我们互相之间虽有意,但是里里外外监督得都很严密,始终不能找到一个方便的时机,相聚在一起。后来,我们的关系被同伴发觉了，告到贾似道那里,贾似道逼我俩一起去西湖断桥下自杀。你现在已经转世成人了,而我还在鬼的名册上,这不是命运不让我们永远在一起吗?”女子说完了,又低声抽泣起来。
赵源听了这番话也非常感动,过了好长时间,他才说:“如果真的是这样，那么我和你就是两辈子的姻缘了,我们应当更加亲密,来补偿过去的心愿。”
从此以后,赵源便把她留在自己屋里,女子不再走了。
赵源向来不善于下棋,女子就教他下,把下棋的各种奥秘全都传授给他了。凡是那些平常以下棋出名的人,都下不过赵源了。
女子还经常讲一些贾似道当年的往事,凡是她亲眼见到的事,都能讲得清清楚楚,详详细细。她曾经说:有一天,贾似道闲暇无事,倚着楼窗向外观望，一大群侍妾都在旁边,正好看到有两个年轻人,戴着黑色的头巾,穿着一身白衣服,驾着一只小船从湖里驶过来,刚刚上岸。一个侍妾脱口而出说:“这两个少年真漂亮啊!”
贾似道说:“你愿意嫁给他们吗?叫他们送聘礼来吧。”
那位侍妾笑了笑,没敢说话。过了一会儿,贾似道命令人捧来一个盒子,招呼侍女们都到跟前来,说:“刚才有人为某姬送聘礼来了。”打开盒子一看，原来是那个侍妾的脑袋，这群侍妾全吓得战战兢兢地退了下去,
赵源听了说:“对于贾似道来说这道也不足为奇了，毕竟我们两都是被她害死了，只不过可怜那两个侍女了，因为一句话便命丧黄泉”
从哪以后赵源一直很眷恋这位女子,一天赵源说:“你的灵魂能够长久地在人间存在吗?”
女子说:“当我们之间纠缠的命运丝线被时光抽走时，我也将化作一缕清风流转于天地之间。”
赵源非常难过，又说:“那么……那是在什么时间呢”
女子笑了笑说:“不过只是三年罢了。"
赵源根本不