外，寒鴉萬點，流水繞孤村。
銷魂，當此際，香囊暗解，羅帶輕分。
謾贏得青樓，薄倖名存。
此去何時見也，襟袖上，空惹啼痕。
傷情處，？高城望斷，燈火已黃昏。”
隋帝楊廣的兩句名不見經傳的小詩“寒鴉千萬點，流水繞孤村”，被少遊稍加修改，變成“斜陽外，寒鴉萬點，流水繞孤村”，頓時蓬蓽生輝。師兄晁補之極力稱讚這兩句，道：“雖不識字之人，亦知是天生好言語也”。
此詞盛行一時，《鐵圍山叢談》載，秦觀女婿範溫某次赴宴，因默默無聞，坐在角落裡無人理睬。直到有侍兒吟唱少遊的長短句，有人無意中問他：“閣下是什麼來歷呀？”範溫這才緩緩起身，咳嗽一聲，略帶得意地答道：“某正是‘山抹微雲’的女婿！”滿座皆驚，頓時對他刮目相看。
這首詞的開頭“山抹微雲，天連衰草”，也得到蘇軾的讚賞，甚至戲封少遊為“山抹微雲君”。但，一番表揚後，蘇軾又嫌這首詞格律不高，道：“少遊，沒想到幾天不見，你竟學柳七作詞。”柳永因終日流連妓院、與妓女打情罵俏，詞多俚俗，世人都認為他“多遊狎邪”，不屑為伍的。
少遊當然不認可，急得面紅脖子粗，一個勁地辯白：“某雖無學，還不至於如此！”東坡呵呵笑道：“‘銷魂，當此際’，難道不是柳七郎的常用詞語嗎？”少遊張口結舌，無言以對。見他窘迫，蘇軾更起勁了，哈哈大笑，寫了一副對聯來取樂：“山抹微雲秦學士；露花倒影柳屯田。”“山抹微雲”是少遊《滿庭芳》的名句，“露花倒影”則出自柳永的《破陣子》。
可是，少遊因蘇軾而成名，也因蘇軾而倒黴：可謂成也蘇軾，敗也蘇軾！
在“洛”、“蜀”、“朔”黨的爭鬥中，少遊被視為蘇軾的“鐵桿”而頻頻受到政敵的攻擊。他創作的豔情詞，也成為罪狀之一，元祐五年五月，右諫議大夫朱光庭奏言：“新除太常博士秦觀，素號薄徒，惡行非一”，蘇軾被貶杭州，少遊也被貶出京。紹聖元年（1094），蘇軾再次受到排擠，被貶到惠州，少遊也被貶為監處州茶鹽酒稅。
在處州，少遊為了消愁解悶，經常與僧人談禪論道，寫了一首《題法海平闍黎》詩。豈料恰因詩中的“因循移病依香火，寫得彌陀七萬言”的兩句，被政敵們羅織了“謁告寫佛書”的罪名，於紹聖三年（1096），受到“削秩徙郴州”的嚴懲。“削秩”，是刪除所有的官職封號，是對當時士大夫最嚴重的懲罰。
關於秦觀的性格，《宋史 秦觀傳》這樣說：“少豪雋慷慨，溢於文詞，……，強志盛氣，好大而見奇，讀兵家書與己意合”。還有宋人說他十五歲喪父，侍母家居，研習經史兵書，二十四歲作《郭子儀單騎見虜賦》，“事方急則宜有異謀，軍既孤則難拘常法。……所以徹衛四環，去兵兩夾。雖鋒無鏌邪之銳，而勢有泰山之壓。”似乎，秦觀少時豪雋狂放，胸懷“馳騁沙場”之大志，頗似文武雙全的岳飛或者辛棄疾。
對此，我是很懷疑的。因為，從秦觀的詞風上，看不到一絲英武豪邁之氣，呈現的是一個敏感、纖細、脆弱、溫情、憂鬱的書生形象；從他作詞的題材看，絕大多數是男女情愁，極少談論兵書戰事、國計民生之類。而縱觀少遊的人生經歷，他步入仕途後的表現，亦無英雄氣概。他在“黨爭”中屢屢受氣，逐漸變得抑鬱寡歡，再至徹底絕望，對前景完全失去信心，陷入哀傷、悲悽之中而不能自拔。
性情的改變，使得他後期作詞，凸現出淒涼的“身世之感”，憂傷悲苦的情調成為主旋律，詞風也由早先的“閒愁悽婉”而變成“悲楚淒厲”。
在處州任監灑稅官時，少遊曾到城外的溪水邊散心。春花黃鶯的美景不僅沒有帶給他寬慰，反而引發了春光易逝