海岛附近先后逃来一二百名难民，引起了很大的注意，随着一批侨领的被“邀”，这原始森林也不是那么安全了。胡愈之他们与一些难民协商，认为那木廊也不再安全，必须立即撤离，就是陈仲培也认为不如三十六着，走为上着，免得为敌人所发现。一名华侨提议买一条小舢板，向印度洋漂流，可有什么把握呢？他们决定还是向苏门答腊走去，他们决定坐船西行到卜干答鲁上岸，向苏门答腊走去，到达苏西，在那边没有熟人，可以逃避敌人的追踪……
第二天，胡愈之到彭鹤岭，把大家的意见告诉了郁达夫和王纪元。
郁达夫着实犹豫了一番，他仿佛命定没有几天安稳的日子，在此还没有一个月又要迁徙了。在一九四二年的四月间，郁达夫依旧与胡愈之他们先后两批去卜干吝鲁，船是陈仲培雇的，依然是达夫与纪元一批，胡、邵、沈、张一批，准备到巴东去。临行前，郁达夫又写了乱离杂诗的第十首：
飘零琴剑下巴东，
未必蓬山有路通。
乱世桃源非乐土，
炎荒草泽尽英雄。
牵情儿女风前烛，
草檄书生梦里功。
便欲扬帆从此去，
长天渺渺一征鸿。
好一个“乱世桃源非乐土”，“长天渺渺一征鸿”！郁达夫与王纪元还是按照事先的安排先走一步，临行前，他留下了一首诗给陈金绍先生以赠别：
十年久作贾胡游，
残夜蛮荒迭梦秋。
若问樽前惆怅事，
故乡猿鹤动人愁。
郁、王动身，按约定第一批到达巴耶公务去。他们首批从水路由保东上溯沙克河到卜干咨鲁去。而第二批因为有女眷，暂住离卜干咨鲁二十公里未旦地方的木廊住下，等郁达夫他们平安到达后，来信通知再行出发前进。他们此时与王任叔、张楚琨他们完全脱离，因为他们那时还流落在海岛上。郁达夫与胡愈之约定，向巴东港走，在到达卜干吝鲁之后，他们的名字再也不能让外人知道，他们必须改名，郁达夫改成赵廉，胡愈之改成金子仙，每个人都有相应的名字。而且他们都将以商人的面目出现。以防万一。
郁达夫与王纪元首先出发，命运竟是这样的捉弄人。当时郁达夫完全可以在新加坡沦陷前的最后一刻返回祖国，但为了祖国的抗战事业，也为了追逐他的女友，如今他却不得不过着流浪汉的生活。一个文学大师，此时此刻却必须隐姓埋名，逃难在前往苏西的小船中，造物主也真会捉弄人！
不久，郁达夫遇到更加不堪的问题，王纪元在中途病倒了，他不能继续前进，就在一个小集镇上暂时住了下来，过了两个星期才继续前进，而郁达夫为了后面的人，一个人奋勇继续前进。郁达夫是一个人与一个并不相识的商人坐了只小船向前出发的。而王纪元则是一个月之后，写了信与早已到达未旦的胡愈之一群人到达卜干吝鲁，然后再坐公共汽车去巴耶公务——一个相当大的集市去，那时竟已是六月中了。
郁达夫却是在四月里与王纪元分了手。
于是郁达夫一个人继续向西走去，他的胆子也是够大的，他仗着天分，会讲许多外国的语言。除母语外，他掌握了日语、英语、法语、德语，如今又添了马来语、不太纯正的印尼语。当然他还掌握了那些并不比外国话好懂多少的闽南语、粤东话，大胆向前闯去，因为他此时手持着保东朋友给卜干吝鲁与巴耶公务一带侨领的介绍信。
此时的郁达夫，完全改变了自己，抑制自己的欲望，他过着非常俭朴的生活，不酗酒，克制着自己的一切。他已经不敢太相信别人——在他的一生中曾多次轻信别人而招致苦难。
郁达夫手持着友人给他的介绍信，单枪匹马从卜干咨鲁乘坐公共汽车到巴耶公务去。巴耶公务正是他们预先约定的前进目标，按原定计划，他可以找当地侨领帮忙，租一间屋子住下去，设法做些小生意，在那里隐蔽下来，然后写信给胡愈之他们。
巴耶公务是苏门答腊的一个大集镇，那里拥有一万多人口，镇上有华侨一千多人，大部分人操着闽南语与马来语，郁达夫应该是不成问题的。可问题偏偏出在这节骨眼上。到达巴耶公务之后，华侨不仅没有招待他，而且还把他当成日本间谍。
在苏门答腊的中段，横贯大陆，四十年代初已有一条铁路，这就是一条才两百多公里的铁路。巴耶公务处在大陆腹地，却作为铁路的一终点站，与武吉丁宜、巴东联成一线。郁达夫到达卜干咨鲁的时候，苦难已经随着这个流浪者到达巴东。日寇此时已经入侵巴东，而且已经进驻武吉丁宜。而且此时日军已经任意蹂躏着整个苏岛大陆，并且向卜干吝鲁派驻军队。
日军占领荷印与占领中国、新加坡大大的不同。在中国除东三省因奉******的不抵抗政策，让张学良蒙受了六年不抵抗恶名一夜国土尽失外，在其他的地方，都受到中国军民的节节抵抗，殊死拼杀，日本军队在中国大陆充分展示了他们兽性的一面，视杀人为乐事，视强奸中国老少妇女为乐事。即使在新加坡、菲律宾、金马高原，他们也受到英国军队与美国军队的长时间抵抗，沦陷时日本法西斯以杀人泄愤。而印尼人却并不以为日本军人有那么凶恶，他们以为那只是英荷联军与日本军人的区别。只有当他们目睹日本军人进入苏岛，不仅要强奸他们的妻女，还要取他们的性命时，才蓦地一惊，畏之如虎狼。巴东一带的印尼人就有过这样的惨痛教训。
郁达夫正是四月中一个人出发，穿着一身蓝布的工装，一副瘦削病态的身材，哀愁的脸，有些乱蓬蓬的胡子，显示出一副落魄的姿态，有些像高尔基小说中的流浪汉，顽强而不安。他首先是在卜干吝鲁，一个旅店里安排了行李，接着便持了友人的介绍信去拜访了当地的甲必丹（侨长）。那侨长对郁达夫的到来不胜其烦，一副居高临下的样子，使郁达夫非常难受。那侨长是一副官僚式的眼光横眼射人，郁达夫又何曾领教过？郁达夫只有一个人来，而且来的也不是时候。日本“皇军”也正是此时进驻卜干吝鲁，侨长认为郁达夫是他安全的威胁——一个危险的人物。他马上严辞正式地告诉他，赶快离开他家，否则将捕缚他，送交“皇军”
去。这使郁达夫的神经受到沉重打击，他目瞪口呆，竟也有如此的同胞么？
郁达夫发觉了危险，本来现在他就对他人有太多的怀疑，此时他更发觉敌人就紧跟有他的身后。他即忙回到旅馆，他带着一脸的恐惧，要求旅馆的主人代雇汽车一辆，前往巴耶公务去。这时已是薄暮时分，要在深夜经过高山大岭，又有什么办法？旅馆主人以为他有什么商业上的急务，也没有这样紧急的必要，因此未能帮上他的忙。郁达夫愿出更大的代价，旅馆主人还是劝他安住。明天可以早早安排他的车位。这使郁达夫的神经深受压迫，他是个惊弓之鸟，郁达夫觉察到这些华侨的不信任，他不仅怀疑那严厉可恶的侨长，同样怀疑到这个旅馆的老板，保不准他们真的把他送交“日本皇军”。他当然不知道，三月十七日，号称马来之虎的山下奉文部的二十五军，在苏门答腊的武吉丁宜打了一仗，将荷印的四万军人在此一举俘虏。因为三月九日，爪哇荷印当局宣布投降后，苏门答腊的部队并没有放下武器，而继续抵抗。他们也不过是坚持了一个星期，即告全军覆灭，而且日本野兽直下巴东，奸人妻女，杀人性命，整个苏岛早已人心惶惶，侨界最担心的也就是日本人的讹诈。这也就难怪那甲必丹的嘴脸了。四月的卜干咨鲁已是酷热的热带闷热气候，即使是夜间也是如此，郁达夫的心正如这天气，他悄悄地溜出旅馆，踏着如水的月光，迎着苏门答腊内地高温的领先风向街头和小巷信步走去，他烦躁不安，又怕被人跟踪，因之当他看到路边一座当地华侨设立的大伯公庙时，他马上进入那庙宇，里面尚有微弱的灯光，他病笃乱投医，无可慰藉的心只有祈求神明的托庇了。他顶礼膜拜、虔诚求签，想不到乃是一支上上之签，签诗上告诉他，危险是没有的，因此他又悄悄地回到旅馆，那其实已是这高原集镇的翌日凌晨。侨长先生自然只是为了免除麻烦的威胁，并没有真的要“缚送皇军”的“壮举”，旅馆主人也仅仅是一位真正意义上的生意人。
第二天清早，旅馆主人果然为他安排好了车位，他依然是那身工装，上车。他身上带着避难的一笔不是小数目的款子，而且印尼人对华侨华人一向并不友好，常常出现抢掠华人的现象。小日本军人进入印尼前后，这种事便时有发生，郁达夫不得不防身。夏季的卜干吝鲁清晨是爽人心脾的，郁达夫从噩梦中恢复了常态，汽车于是向蜿蜒曲折的高山大岭驶去，只要到达巴耶公务，他就算逃离了危险。
车到中途高原的一个集镇，汽车照例会停下来，加水加油，让旅客休憩与午餐。同车清一色都是印尼人，郁达夫由于语言等诸多不便，一声不吭，在众多的旅客中，他毫不起眼。他似乎只是一个苦力，印尼人都瞧不起他。他们知道他并不黯马来话，而马来话在这里则是通用的语言。
汽车休息完了，依旧起程向巴耶公务出发，开到中途，迎面开来一辆插着太阳旗的日本军车。那军车上的日本军官做了一个手势，命令这辆印尼公共汽车停了下来，一面叽哩咕噜地说着印尼人不懂的日本话。这着实使郁达夫大吃一惊，左右的印尼人都慌得了不得。没有一个印尼人能听懂这日本话，郁达夫是听懂了的，但他并不想兜揽这生意。那日本军官的问话那司机更是不懂，日本话与马来话有天壤之别，加上日本与印尼历史上毫无交往，他们对日本人毫不知情。那司机先是以为日本军人要检查他的驾驶执照，继而以为他们汽油不够，向他索取汽油，后来竞至以为日本军人要征用他的汽车，把那些印尼旅客强轰下来，自己也逃下车去。
郁达夫眼看着印尼人的困惑，他听懂了日本人的问话，这些日本战车上的日本军人大概因为路程不熟悉，问话仅仅是“去卜干吝鲁怎么走？还有多少路程？”这样简单得不能再简单的话，他们反复问的也就是这么一句话。郁达夫这时知道这日本军官并无恶意，于是他就用流利的日本话回答了那位日本军官，为那些印尼人解了围。当地居民懂得日本话的极少，那日本军官骤然在这南荒大陆听到郁达夫一口流利的日本话，非常高兴，也不怀疑，只是通报了自己是驻在武吉丁宜的日本二十五军的宪兵队长，向郁达夫敬了个军礼，车就开走了。
郁达夫会讲日本话，而且那官阶不低的日本军官的那副谦恭敬礼的样子，使同车的印尼人大为吃惊。他们眼看这个苦力装束的中国人居然会讲流利的日本语，而日本人又向他敬礼，那么他一定是个大大的日本间谍了，这些印尼人对郁达夫不但没有因为他为他们解围而感恩，反而是敬若鬼神。当这辆车子那天下午到达巴耶公务，而郁达夫在一个广东人开张的旅馆刚刚居住下来的时候，“巴耶公务来了一个大间谍”的传言已经是路人皆知了。
郁达夫真是走了背运，一波未平一波又起。
郁达夫在旅馆里当然不知道这一点，他在旅馆登记本上填上了“赵廉”二字，他遵守与胡愈之他们分别时的诺言，决心在巴耶公务再也不使用真实姓名郁达夫二字，而用这一假名。他知道这时胡愈之和他的其他难友此时尚未到达卜干咨鲁，他还以为所有从星岛撤出的华人文化人都尚未到达苏西，那一边，他们早已失去联络，他只是单枪匹马，到达巴耶公务，殊不知，在巴耶公务已有他熟悉的朋友如张楚琨，此时早已到达巴东，投奔一个远房亲戚来了。
郁达夫刚刚到达旅馆住了下来，在巴耶公务的华人圈子中早已传递那个令人吃惊的快讯：
“有一个日本大间谍，已经到巴耶公务来了。”
“是怎样一个人物呢？”
“一个四十多岁的人，长瘦个子的。”
“他穿着什么呢？”
“他呀，化了装，长统的蓝裤，工装，灰黄色的上衣，一顶不新不旧的呢帽，——像苦力模样，还有两撇小胡子。”
“他带来什么物事？”
“很简便，二只小皮箱。’一只提包，一个间谍会带许多东西吗？”