赵桓一干人终日所津津乐道的，还是什么立东宫、开讲筵、肃异党、详礼仪之类。李纲认为这些事都不是眼下应当做的，其中有些事还非常无聊，因此态度消极很少参与，这就显得与人格格不入，比较不合时宜，无形中便变成了一个孤立的另类。他与皇上赵桓的关系，亦在不知不觉中渐次疏远。