年之後，劉海粟也曾給又去法國留學的潘玉良寫信，告訴她時代已經變了，希望她回來，但是，當潘玉良得知劉海粟被打成右派後，又決定不回來了，直到客死他鄉。
《畫魂》潘玉良與真實潘玉良的差距（4）
誠然，潘玉良是在1921年出國，回國後曾在上海美專任教，但在幾十年後，這些經歷都和劉海粟有了極為密切的聯絡，或許，這連潘玉良本人都未曾想到。
寫《潘玉良傳》的作家石楠也曾經表示過，在《潘玉良傳》出來之前，劉海粟從來沒有在任何時候、任何地方對任何人和在任何一篇文章裡，提到過他跟潘玉良有什麼交情。反倒是小說出來之後，劉海粟主動去找的她。石楠也明確表示過：“他（指劉海粟）跟潘玉良這段事情是我創造的，因為我寫的是小說，小說是允許創造的。我寫《潘玉良傳》只是創作一部文學作品，從來沒有閃過念頭，要用它去巴結劉海粟！”
潘玉良幾經文學作品、影視作品乃至劉海粟的修飾，真實面目已經模糊不清，好在，她留下了幾幅堪稱精品的《自畫像》，從中我們還可以還原出一個真實的潘玉良。
真實的潘玉良是一個具有男子氣質的女人，做事、說話直來直去，這在旅法畫家的回憶中都能看得出來。60多歲的旅法畫家賀慕群曾經說過：“僑居巴黎後我和潘玉良常有來往，在藝術上和生活上都曾得到她的指導和幫助。潘玉良生活並不富裕，但是生性豪爽，樂於助人。她常留短髮，喜喝酒，不拘細節，說話時聲音很大，氣勢不讓鬚眉，頗有男子氣度。晚年時住在蒙巴拿斯附近的一條小街，她住在頂樓，住房兼畫室，生活清苦，但是勤於作畫，有時候一天到晚在家作畫，一天都不出來。1954年，法國曾拍過一部記錄片《蒙巴拿斯人》，介紹這個地區文化名人，其中就有潘玉良，她是片中唯一的一個東方人。”
潘玉良善於唱京戲，課堂休息的時候同學們叫她唱一段，她就毫不膽怯地大聲唱起來。據說，在法國讀書的時候，潘玉良常常唱戲，以解思鄉之苦，著名作家冼星海曾經給她伴奏過。
著名畫家劉葦即倪貽德夫人，是潘玉良的同班同學，在劉葦的眼中，潘玉良性情豪爽，不拘小節。有一次她們在杭州山上寫生，潘玉良到雷峰塔牆圈裡小便，這時一夥男同學過來了，劉葦喊潘玉良快出來。潘玉良蹲在裡面說：“誰怕他們！他們管得著我撒尿嗎？”後來潘玉良在上海美專任教時，有人出言不遜，性格剛烈的潘玉良當即賞了對方一個耳光。
具有“另類才女”之稱的作家蘇雪林在留法期間，和潘玉良經常來往，她記述了潘玉良的一段往事：她的新作刊出後，送了一本自己的著作給方君璧，沒有給潘玉良送，潘玉良知道了就找她質問：“你是不是把我給忘了？”
從以上事例可以看出，潘玉良是一個性格大方、樸實率真的人。留學法國學成歸來後，潘玉良先後在上海美專和北平國立藝專授課，將大部分時間放在美術教育上。她在授課之餘，勤於繪畫，舉辦過幾次畫展，在30年代的中國畫壇也屬於風雲人物。
1935年，潘玉良的第五次畫展開幕，徐悲鴻特地撰寫了《參觀玉良夫人個展感言》一文，發表在《中央日報》報紙上，在文中，徐悲鴻對潘玉良的畫作給與了很高評價：
玉良夫人遊蹤所至，在西方遠窮歐洲大陸，在中國則泰岱嶽黃山九華……夫窮奇履險，以探詢造物之至美，乃三百年來作畫之士大夫所決不能者也……真藝沒落，吾道式微，乃欲求其人而振之，士大夫無得，而得於巾幗英雄潘玉良夫人……
徐悲鴻盛讚了潘玉良的人物創作：
其少作也，則精到之人物。平日所寫，有城市之生活，於雅逸之靜物，於質於量，均足遠企古人，媲美西彥，不若鄙人之多好無成，對之增愧