严损之因受哥哥之累，多年来一直任承议郎。此职为六品的散阶之官，虽有朝廷俸禄，然无事可做。严挺之被贬之后，朝野之人皆称此为李林甫的“一石二鸟”之计，严损之又知哥哥与李林甫积怨甚深，现在李林甫位至中书令，正是炙手可热之时，遭此处境只好默默忍受，不敢有非分之想。
严损之进入中书省见了李林甫，急忙躬身施礼。李林甫抬眼看到严损之，脸上露出惯常的笑容，起身到了严损之面前，执手将之携至侧座之上，然后并排坐定。严损之想不到李林甫竟然如此和蔼可亲，心中惶恐顿生，说道：“李大人召唤下官，有何事吩咐？”
李林甫微笑着说道：“我今日偶然翻动名册，看到你任承议郎多年未动，唉，此事是我疏忽了。你之才具与令兄相若，令兄因事被贬也就罢了，怎能将你长期闲置呢？损之啊，此为我的过错。”
严损之一时不明李林甫之意，他这些年赋闲已久，心态早已平复，只要李林甫不再生事，如此混着日子，亦为不错，遂低头说道：“难得李大人念记，下官其实心甚满意。”
李林甫正色说道：“你虽满意，我却不安。这些年朝中选人皆循资格而行，你为承议郎多年，却未曾调任，我忝居吏部尚书，实为失职。我今日将你召来，即是想当面向你致以歉意。”