1850年夏天，两名英国人援引《南京条约》，向侯官县（今福州市区）的县令申请到城里居住。获得批准后，他们在神光寺租了几间房，一个开始传教，一个给人看病。

一些士绅对此大为不满，认为外国人没有资格和中国人共同居住，适逢林则徐回乡，双方联合向福建巡抚徐继畬告状，要求把这两个英国人赶出城去。徐继畬有一定的压力，但是外国人也不是那么好打发的。英国人拿出合约来，表示在此租房是合法合理，为什么要被轰走？

林则徐和士绅们不断向徐继畬施压，希望他像拿出中国人的骨气来，像广州人轰外国人一样轰走他们。徐两边为难，便向皇帝报告了此事，皇帝的回复颇具领导艺术：“不可致生夷衅，亦不可稍拂民情。总期民夷两安，方为不负疆寄。”总之，不要得罪外国人，也不要辜负了民意，至于如何调节，你自己想办法。

这时候，林则徐们坐不住了，质问徐继畬为什么还不动手，并开始散布消息说他是投降派，甚至在大街上贴出了“某日定取夷人首级”的恐吓小报，吓得英国人两次跑到巡抚衙门来控诉并申请保护。徐继畬一边劝他们搬出城去，一边派兵在神光寺附近巡逻，生怕真的有人去搞谋杀，引发国际纠纷。这一下，林则徐们更愤怒了：你非但不对付他们，你还保护他们？你到底是帮中国人，还是帮外国人？

林则徐鼓动在京的福建籍官员，通过各种渠道告徐继畬的状，一时间，弹劾徐继畬的状子不断，说他“但知将就夷人，不思固结百姓，以致夷情愈骄，民心日离”。不同于父亲的“软弱”，继任不久的咸丰帝倾向于对外国人采取强硬措施。不久，徐继畬被免职，到京城接受皇帝训问。一场是否驱逐外国人的斗争，以咸丰帝和林则徐们的胜利而告终。

其实不为这件事，按照当时士大夫们的价值观，徐继畬早晚也会被扣上汉奸的帽子。鸦片战争期间，他在广东、福建一带任职，就多次与美国、英国的传教士及英国领事接触，请教西方的地理、文化、政治知识，他的《瀛寰志略》写了五年，“每晤泰西人，辄披册子考证之。”1848年，这本书出版了，书中不仅详细地介绍了四大洲的风土人情，而且摒弃了过去那种蔑视外国的态度，尽量客观中立，不用“夷”字来称呼他们，甚至对欧美的政治制度予以肯定。

提及华盛顿时，他盛赞道：“华盛顿，异人也。起事勇于胜广，割据雄于曹刘，既已提三尺剑，开疆万里，乃不僭位号，不传子孙，而创为推举之法，几于天下为公。其治国崇让善俗，不尚武功，亦迥与诸国异。余见其画像，气貌雄毅绝伦，呜呼，可不谓人杰矣哉！”至于美国，“幅员万里，不设王侯之号，不循世袭之规，公器付之公论，创古今未有之局，一何奇也！”

这些都成了后来守旧派弹劾他的一大罪状，“张大外夷”。