LVS现有环境如何突破瓶颈

目前有一个这样的节点，LVS使用出现瓶颈。
架构：
1LVS+6Realserver
瓶颈出现在晚上高峰的时候；大致流量在1.4G；并发数在1.02W/秒
瓶颈现象：
LVS服务器ksoftirqd进程单cpu跑满，ipvsadm查看单个Realserver的ActiveConn值大致在5W多，6台总共在30W左右。这个时候就无法进行正常的调度，流量会跌到1.1G左右，高峰过后会恢复。
LVS服务器配置
2颗4核cpu（单核2G）；内存4G；系统AS4.5，内核2.6.9-55.ELsmp

--目前看下来LVS的基于内核的发包无法用到smp，现在一颗核心上的ksoftirqd跑满，导致瓶颈出现。
请教一下各位，有什么办法可以突破，加内存是不是有用，但我觉得问题不在内存上，流量突然下降的时候，服务器没有出现内存不够的情况，大量的内存还在cache里，日志也无内存不够用额报警。
CPU如果是瓶颈的话那就麻烦了，无法用到多核，单核提升频率也不是个办法。难道只能多lvs了？
多谢。