日子又相安无事了几天。这日黄昏，老汉正在屋后给菜地浇水拔草，哪知忽然“轰”的一声，身后一间茅屋竟在一瞬之间倒塌下去。老汉“啊哟”一声，见是平日里用以存放锄头、镰刀等杂物的屋子，那柄黑色长剑也存放于内。老汉赶紧放下手中的活，跟着听得老妇大叫道：“老头子不好了，你快过来看看，这……这屋子没啦！”
老汉连忙来到塌屋前，见老妇双目含泪，忙安慰道：“不要紧不要紧，天命如此，待我再造一间便是。”老妇泣道：“自从我们得到那宝物之后，这日子从此便不安生了……”老汉回想一番，确如老妇所言，但又想世间之事无奇不有，便道：“这……这兴许只是巧合。”老妇拭了拭眼角，道：“我瞧那定是不祥之物，不如我们不要了它罢？嗯，老头子，你赶紧把它拿到当铺给当了，顺便添些家物，这日子可真没法过啦。”老汉微一迟疑，想到那宝剑此时便在这塌屋内，上前扯开了些茅草、木板，见那宝剑横放在地，忙俯身拾将起来，匆忙出了塌屋。夫妇二人又商量一番，决定明日便将这把剑带到当铺当了。
第二日清晨，老汉便将那宝剑包在一匹灰布里，用过早食之后，便骑着一头小毛驴，孤身一人带着宝剑离开了落云深山。老汉骑着小毛驴甚是悠哉，不久便来到邻近落云山的一处名为龙潭县的小县城上，夫妇二人便是在这小县城长大的。这时只听他哼着《孺子歌》小曲：“沧浪之水清兮，可以濯我缨。沧浪之水浊兮，可以濯我足。”路上行人见他衣衫褴褛，只道是一年老的落魄书生，却又怎知老汉肚无一分墨水？那小曲自也是他小时候在父辈那里学来的，只因其家人为盗贼所害，官府却因他家穷捞不到好处，那做官的又非汉人，便对此事置之不理，之后竟然还要反咬一口，老汉无奈之下，这才带着妻儿去到了荒山野岭隐居渡生。