可現在卻不同了，大夥兒知道他這是得罪了老爺和夫人，夫人的意思就是明擺著不管他了，於是雲飛才過了不到一年的「好日子」，便又陷入了水深火熱中。
下人們先是剋扣他的吃食用例，之後見夫人根本不管，便變本加厲，甚至讓小小的雲飛做活來換吃食。
雲飛還小，小小的腦袋裡都不明白這一切是怎麼發生的，只是他們叫他幹活，他便幹了，他只當之前那大半年的好日子是有期限的，並不覺得有什麼不滿。
雖然比之前大半年吃得差太多了，但是他起碼還能吃飽，比起在村裡時已經很好了。
雲飛就在這樣名義上是少爺、實際上是奴僕的環境下慢慢長大了，他再也沒被帶到雲府去過，再也沒能見到那個奶糰子。
他懂的事越來越多，也能從之前在雲府的見聞和下人們的八卦閒聊中拼湊出自己被帶回府的原因和落得現在這樣境地的原因。
他不過是雲元思為了過繼帶回來的孩子，失去了作用便被當成奴僕使喚，他從未對雲元思有過期待或孺慕，自然也談不上恨他，就當自己沒有這個爹便是了。
一切的轉折發生在雲飛十六歲那年。
雲元思因為喝醉拉了個丫鬟上床，第二天這丫鬟便抬為了姨娘。
雲飛本不在意這些事，雲元思對他來說就是個陌生人，或者說是他幹活給他飯吃的僱主，可他卻無意間聽到了府裡伺候了很多年的嬤嬤唏噓地說起當年的事。
嬤嬤說當年也有個丫鬟被拉上了老爺的床，那丫鬟真真是被強迫的，只是不敢反抗，和今天這個蓄意勾引的可不一樣，可那丫鬟卻沒有今天這位這樣的好命，被趕出了府不說，後來帶著孩子上門竟又被趕出去了。
聽她講故事的小丫鬟好奇地問道：「後來呢？」
嬤嬤嘆道：「過了幾年，管家去把那孩子找了回來，聽說那丫鬟早就死了。」
小丫鬟驚呼一聲，「莫非就是四少爺？」
嬤嬤讓她噤聲，這件事當年四少爺回來時府裡便下了令不讓說，今天也是府裡又發生同樣的事她才有感而發，私下裡跟女兒感慨。
嬤嬤囑咐道：「這件事千萬不能對外說，知道嗎？」
站在牆後的雲飛眼神已經變了，但他沒有發出聲響驚擾這兩人，而是悄無聲息地從另一端繞走了。
雲飛一直都只知道自己的親娘已經死了，小時候他跟著那幾個舅舅過，過得不如畜生的日子他也還記得，卻從來不知道自己的親娘和雲元思之間竟是這樣的情況。
他心亂如麻，之前他在村裡時還小，關於娘親的事並不記得多少，知道自己沒娘也是因為村裡那些小孩經常嘲笑他。
他以為雲元思就算把自己找回來是為了利用，但起碼也是從那幾個舅舅手裡救了他一命，但是現在看來，他的悲劇，他娘親的悲劇，難道不就是雲元思一手造成的嗎？
雲飛努力讓自己冷靜下來，他找機會出了趟府，回了之前的村裡，去找到他記憶裡經常給他飯吃的那位柳嬸子。
柳嬸子和雲娘一起長大，關係極好，後來雲娘被趕回家後她們也常見面，雲娘之前的事她都知道得一清二楚，甚至最後雲娘覺得自己撐不下去時還曾拜託柳嬸子幫忙照看雲飛。
柳嬸子看著已經長得俊秀挺拔的雲飛，把雲孃的事全都告訴了他。
雲飛聽到娘親臨終時為了讓自己活下去還留了那樣的話，眼眶瞬間便紅了。
他也終於知道，娘親的死，雲元思、孫氏、雲孃的幾個哥哥，全都是兇手。
雲飛謝過柳嬸子，平靜地回了雲府，他像往常一樣幹活、吃飯，然後在當天夜裡，收拾好這些年來攢下的銅錢，連夜離開了雲府。
十六歲的雲飛孤身一人離開了蕪州去到