投降后的第二天，刘兰成向綦公顺请战："让我挑选150名壮士，去袭击北海郡城。"綦公顺心中好笑："带这么少的兵去攻打，岂不是以卵击石？今天倒要见识一下刘兰成的手段。"他脸露微笑："好，满足你的要求！"
刘兰成带着150名壮士出发了，走到离郡城40里之地，留下10人。让他们去割草，并把割下的草分成100多堆，接到命令，马上点燃。走到离郡城20里地了，他又把20人留下，让他们每人手执一面大旗，一接命令，火速竖起。到离郡城只剩五六里了，他又留下了30人，让他们悄悄埋伏在险要之地，准备袭击敌人。刘兰成亲自率领10名壮士，借着夜色掩护，潜伏在距城仅一里左右的小树林里。余下80人分别隐蔽在有利地形上。听到鼓声，这80人便马上跃出，逮敌人、抢牲畜后火速撤离。
到了第二天早晨，城里士兵远望没有敌人踩起的烟尘，马上快快活活出城打柴放牧。接近中午，太阳光越来越毒，刘兰成率领10个人直扑城门下。城上卫兵大惊失色，立即击鼓传报。刘兰成布置下的那80名游动士兵耳听鼓声，迅速四出活动，大抢牲畜，活捉正在打柴、放牧的一些敌兵后立即离开。
城下的刘兰成估计自己的人已经得手，突然放慢了脚步，领着那10名士兵大摇大摆离开城门，从容不迫地返回。城里冲出了大批将士，可看到刘兰成逛街一样安稳，生伯有埋伏，哪还敢轻举妄动。他们远远地跟在后面，尾随观察动静。一会儿，他们看到前面战旗飘扬，更远的地方冒起大团大块的浓烟。这批官军个个胆战心惊：不好，烟尘飞扬，准有大批伏兵！马上掉头返回。
刘兰成不费吹灰之力，俘获了那些敌兵和牲畜，并达到了以小股部队骚扰大批敌人的目的。
