是年秋季，果然先零酋长杨玉为下所戕，献首入关，余众四千余人，由羌人若零弟泽等，分挈归汉。宣帝封若零弟泽为王，特在金城地方，创立破羌允街二县，安置降羌，并设护羌校尉一职，拟选辛武贤季弟辛汤，前往就任。充国方抱病在家，得知此事，力疾入奏，谓辛汤嗜酒，未可使主蛮夷，不如改用汤兄临众，较为得当。宣帝乃使临众为护羌校尉。既而临众因病免归，朝臣复举辛汤继任，汤使酒任性，屡侮羌人，果致羌人携贰，如充国言。事见后文。
惟辛武贤不得重赏，仍还原任，满腔郁愤，欲向充国身上发泄，只苦无计可施。猛然记得赵卬晤谈，曾云前车骑将军张安世，亏得乃父密为保举，始得重任，这事本无人知晓，正好把卬弹劾，说他泄漏机关，复添入几句谗言，拜本上闻。宣帝得奏，竟将赵卬禁止入宫。英主好猜，适中武贤狡计。卬少年负气，忿忿的跑入乃父营内，欲去禀白。情急惹祸，致违营中军律，又被有司劾奏，被逮下狱。卬越加惭愤，拔剑刎颈，断送余生。真是一个急性子。充国闻卬枉死，未免心酸，当即上书告老，得蒙批准，受赐安车驷马，及黄金六十斤，免官就第。后至甘露二年，病剧身亡。充国生前，已得封营平侯，至是加谥为壮，爵予世袭，也不枉一生劳勚了。急流勇退，还算充国知几，才得考终。