2年3月9日，爪哇荷印總督向日軍投降，從此斷絕了郁達夫等人想到爪哇去搭船經印度洋加國的願望。而且，這時保東村一帶風聲漸緊，盛傳日軍即將要來接管這些小島。何去何從？他們商量了好幾天，最後決定把六人分成兩批，找兩個偏僻地方隱蔽。郁達夫和王紀元兩人為一批，到離保東村約十里遠的一個海邊小村彭古嶺；過了幾天，胡愈之等四人則到了巴唐島沿海的一個“木廊”（即森林採伐場）裡。郁達夫和王紀元到了彭古嶺後，在華僑寇文成的幫助下，開了一家小雜貨店作掩護。那裡到處都是未開發的森林地帶，村裡只有數十家人家，是一個隱居的理想地方。郁達夫改名趙德清，充當老闆，王紀元改名汪國材，做他的夥計。他們買好了一些大米收藏著，準備隱蔽下去。可是，不久後，郁達夫和胡愈之等人所在的小島陸續從新加坡逃來約一二百難民。其中有僑領和富商，也有教育界新聞界人士。因此，引起了昭南島（新加坡被日軍佔領後，被改名為“昭南島”）日軍的注意，並於1942年4月間命令李玉榮、王鐵漢前來“邀請”一些僑領回昭南島去，而被“邀”回去的李振殿、劉武丹、周炳炎、顏世芳等4人，都被拘禁在警察署，遭刑審毒打，折磨了40天后才被保釋出來。由此一來，郁達夫和胡愈之等人意識到應儘快離開，否則凶多吉少，並決意到蘇門答臘大陸去。他們6個人仍是分兩批，去蘇門答臘西部的帕乾巴魯。郁達夫和王紀元是第一批，乘坐由陳仲培代僱的船前往，作開路先鋒，約定到達後再通知胡愈之等4人前去。不料，王紀元在中途生病，暫留在一個小市鎮上（兩星期病癒後，才趕去），只好由郁達夫一個人跟著一位商人坐了小船繼續前進。經過三晝夜的航行，郁達夫於4月下旬到達帕乾巴魯。到了帕乾巴魯後，郁達夫拜會了當地的僑長，但受到冷遇，只好立即搭乘公共汽車前往巴爺公務。在前往巴爺公務途中，發生了一件很意外的事情。有一輛日本軍車，突然堵住郁達夫搭乘的公共汽車。接著，從軍車上跳下幾個日本軍官，用日語叫嚷著。公共汽車上的大都是印尼人，以為日軍要他們乘坐他們的汽車，非常恐慌，紛紛離車逃走。但郁達夫聽得懂日本話，知道他們打聽去帕乾巴魯的路程。他就用日本話答覆了日本軍官。日本軍官聽到郁達夫用流利的日語作了明確回答，非常高興，舉手敬禮道謝後，就開車走了。由此一來，全車的印尼人，以為這個穿著藍布的工人服裝的他，競會講日本話，一語打發走了日本軍官，且受日軍尊敬，便斷定他一定是日本間諜。到達巴爺公務後，司機很客氣地將郁達夫送進一家廣東華僑開設的海天旅館，並偷偷對旅館主人說他是日本間諜。當郁達夫在旅客登記薄上寫上“趙廉”的名字以後，便很快在人口只有萬餘人的巴爺公務，盛傳著有一個名叫趙廉的日本間諜，冒充華人，來到巴爺公務調查華人情況。於是，郁達夫一時處境頗為困難。當他去拜訪僑領時被敬而遠之，一般華人更是一見到他便立即躲開。但他卻不知道此中原因，反而以為那裡的華僑缺乏同情心，不肯幫助他。有一天，鬱達失拜訪當地僑長蔡承達，託他代找一個屋子。他來到時，剛好有一個從武吉丁宜（巴爺公務當時還沒有駐紮日軍，只是30餘公里外的武吉丁宜有日本機關和憲兵部隊）來的日本憲兵在那裡交涉事情。蔡承達聽不懂日本話，就要郁達夫做臨時翻譯。於是，武吉丁宜的日本憲兵部，便知道巴爺公務有一個華僑趙廉精通日語。從此之後，郁達夫的處境便愈來愈艱難了。
郁達夫被那位日本憲兵發現精通日語後不久，武吉丁宜憲兵分隊長便親自來到巴爺公務，要帶他去憲兵部充任通譯。因為當時蘇島日軍和憲兵部沒有人懂當地語言，急需郁達夫這樣的人做譯員。面對這突然而來的情況，郁達夫顯得並不慌張，以冷靜的態度表示自己是做生意的，不能把生意事務丟棄。但是那憲兵隊長卻說，這是軍