除了赵㬎外，赵氏还有一个傀儡小皇帝——福州小政权的赵昰，此时的他栖居在雷州半岛的行宫之内。所谓的行宫，只不过是十数间匆匆搭成的木房子而已，而这也是此地最好的房舍。小政权的“权臣”张世杰的居住只是三间木板房，而跟随而来的陈宜中、陆秀夫等人，只有一间木板房。至于数万跟随而来的官员、士兵和百姓，大多居住在狭窄的草棚之中，有的甚至并无居所。被张世杰接到海上之后，赵昰及福州小政权官员便一直在海上漂泊，在追兵威胁和惊滔骇浪下日日提心掉胆，还因晕船吐得昏头胀脑，好不容易才在两个月前安顿下来。雷州半岛虽然暑热又乏粮缺水，但总胜过海上的日子。
在阿剌罕进攻福州前，张世杰便率船队往广州方向而去。小政权虽然现在是政令不出船队，广南东路诸州县也是听调不听宣，但总可以补充食水，也可以上岸休整。张世杰自忖手下的五千淮西军也颇为精锐，可以寻机夺取广州以安身，然后再以广州为据点，号令周边州县，招兵买马，以图东山再起。那知道他们还没有到广州海域，便听闻李恒已率军进入清远，其骑兵也在番禺和增城出没。张世杰在淮西时曾被李恒打得大败，知道其军勇悍绝非自己能敌，遂在附近一个叫崖山的地方驻留下来，静观事态发展。如果李恒势大，则率军离去；如果李恒退去，自己则进驻广州。
临安政权灭亡前为防蒙元南侵，将军力都派往两淮和长江沿线，加之广南东路气侯炎热开发度低，故并没有多少军力，广州城也是如此，根本无法抵挡李恒伪军的进攻。得知张世杰率军前来，广州官员便派人送来食水并乞求其来援广州。张世杰知道自己不敌李恒，不敢率军援助，只是以小皇帝的名义下了一封诏书，嘉勉官员百姓坚守气节，与城共存亡。广州官员接到诏书后脸色发青，小吏百姓们闻之，也个个气得破口大骂。走投无路之时，城中的霹雳军商队找上门来，申请组织义军御敌，还声称一支霹雳军侦察队已到广州，另有数千人马正在赶来。这个消息对广州官员们来说，如同溺水之人遇到救命稻草，无论如何也要牢牢抓住。
李恒部灭亡之后，张世杰欲率船队进驻广州。在船队出发前，他派人通知广州城，要官员准备好食物和降暑物品，并要求城中百姓提前腾出房屋以供大军居住。按照他的要求，城中大半官员和百姓将失去自己的房屋——高房大屋供皇室高官居住，普通民宅供兵卒居住。在张世杰等小政权的高官看来，天下都是赵氏所有，这些要求合情合理。他未曾料到的是，这个命令让广州军民怒不可遏——李恒欲攻城时官军不来，如今李恒败亡却来了。愤怒之下，遂痛打并逐回了前来传话的裨将。话说广州以商立城，不管是官员还是百姓受霹雳军风气影响极深，那里受得了张世杰这种霸道做法。
张世杰闻讯勃然大怒，连与之一向不对付的陈宜中等人也叫嚣，要以雷霆手段严惩广州军民的悖逆不罪。正当他们率船队往广州城进发之时，军中斥侯报来了两条紧急军情。前一条称播州军已派一个团进驻广州，加上霹雳军商团组织的义军，守军已过万人。后一条称琼州方向已来了一支霹雳军船队，船只数量在三百艘上下，其中过半为大船，不少还配有火炮。这两条军情让张世杰明白，广州城怕已投附霹雳军了。他那点军力，在霹雳军面前根本没有一合之力。悻悻之下，他只得下令他船队前往雷州。
果不其然，三日之后一封急件送到了张世杰手中，信件的主人杨邦宪。信中杨邦宪告诉小朝廷，包括广州在内的广南东路已归附霹雳军。赵氏气数已尽，唯有顺应天命才能苟全性命。这封信让包括陆秀夫、陈宜中等人大骂不已，在他们看来播州杨氏世受皇恩，在危难之时有责任匡扶赵室，还应大义灭亲与霹雳军一刀两断。张世杰等军将们却一脸黯然，这些腐儒官员只知道经书道德，却忘了政治是凭实力说话的。与清流官员相比，他们并不恨霹雳军，如果没有霹雳军这支汉人武装，小政权剩下的几万军民恐怕早被伯颜的伪军追杀殆尽了。
冷静之后，小政权高官们开始讨论下一步何去何从。雷州炎热干旱，虎狼猖獗又疫病流行，本是临安犯官罪人的流放之地，让江南的达官贵人们很难适应。缺医少药之下，不少兵卒和随行的家眷也纷纷病倒。更重要的此地人烟稀少，所产粮食根本无法供给数万人之需，甚至连饮用淡水也匮乏，实在不是长久之地。除此之外，船队所带的盐、铁、布等各种生活物资也快消耗殆尽。这些物资当然可以到附近的州县采购，可小政权建立之后便没有稳定的税收来源，府库早已见底。
陆秀夫自请为使者，欲前往扬州面见欧阳轩，要求霹雳军退回巴蜀和长江以北，将江南诸路土地退还赵宋政权。如果欧阳轩不同意，退而求次之则让其覆行承诺，实行君主立宪，至少要让赵氏皇室成为天下之主，与他持相同意见的还有一众清流官员。在他们看来，霹雳军是赵宋政权的臣属，不听号令已是大逆不道，只有悬崖勒马才是正道。清流之中文天祥要务实许多，他提出的建议是霹雳军划出十余州府作为赵氏皇室的安身之地，延续赵氏的统治。他在江西兵败之后，一路颠沛流离终于找到了张世杰一行。到达雷州半岛之时，他已是面黄肌瘦衣不蔽体，身边的随从也只剩下了几人。
陈宜中及其党羽对深知霹雳军对他们的腐败深恶痛绝，在新政权中也不会有一席之地，故他们的意见是前往海外寻找乐土。霹雳军能在找到海外大片领地，小政权有船有人还有数千军队，自然也去得，到了海外自己仍可以过着人上人的生活。按照陈宜中的想法，南洋地区是最合适的去处。虽然距离最近的交趾已成为霹雳军行省，距离稍远的占城和吕宋等王国倒也可以，这些王国以前可是大宋的藩属国。