原来这李辅国兄弟五人，辅国最幼，他入宫的时候，善能趋承肃宗和张皇后的意旨；张皇后心中很爱李辅国，不好意思自己认他做干儿子，便趁着在灵武兵马慌乱的时候，李辅国也立了几件功，张皇后便逼着肃宗认李辅国为义子，从此张皇后便改口称李辅国为五郎，早晚在宫中出入，毫不避忌。
满朝的臣工见李辅国得了宠，恨不得个个去拜在他门下做一个干儿子，藉此也得一个奥援，只是李辅国不肯收认。当朝只有丞相李揆，在暗地里不知孝敬了多少财帛，才把一个李辅国巴结上，称一声五父。从此满朝的官员，见了这李辅国，谁也不敢提名道姓，大家抢着也一般地唤着五父。
那肃宗十二个王子，都跟着唤五哥儿。独有这广平王，不肯称呼，一见李辅国，便唤一声五郎。李辅国也明知广平王和他捉对，但他平日在暗地里窥探皇帝的旨意，大有立广平王为太子之意；因广平王在玄宗太上皇诸孙中，原是一位长孙，平日颇得玄宗太上皇和肃宗皇帝的宠爱。