建炎末，吕丞相颐浩以勤王复辟之功进登相位，尝在中书怒一堂吏，命去其巾帻，吏对祖宗以来，宰相无去堂吏巾帻法。公曰：“去堂吏巾帻，当自我始。”吏不能对。