《宾退录》，是南宋赵与时所撰历史轶事类笔记小说，汇集平日见闻及与宾客所谈论的内容，宾退后笔录成编，故名《宾退录》。书中考证经史多所涉及，尤详于宋代典章制度，所记两宋人物掌故亦多翔实可信，具有较高的史料价值。
世传《宾退录》版本大致有两个系统，一为南宋临安府睦亲坊南陈宅经籍铺本，即所谓宋书棚本；一为清乾隆十七年（1752）存恕堂刻仿宋本。馆藏《宾退录》即乾隆仿宋刻本，这一版本虽不能比拟宋本，但因流传不广存世稀少，民国初年缪荃孙就称已不易见，也是不可多得的珍本。
通过对书上的钤印、题记等信息进行梳理。可以推知本书第一个有记录的收藏者应该是赵之琛（1781-1852）。赵氏为浙江钱塘人，字次闲，是清代著名的篆刻家和书画家，精心嗜古，邃金石之学。“句耳山房收藏图书”是其藏书私印。
该书之后成为绍兴藏书家周星贻（1833-1904）的收藏，周氏据家藏旧抄本与之对校，墨书其上。书尾手跋云：“此本不知出谁氏刻，写刻颇精致，似翻宋椠本，而讹舛不免。旧有一写本，因检勘之，改正诸字表著上方，抱经先生云，不可以有刻本而废抄本，信然，巳翁识。”周星贻为晚清著名藏书家、文学家、目录学家，字季贶，一号巳翁，出身藏书世家，博览群书眼界非凡，心爱刻书精致，却不知此书刊刻源流，可见乾隆刻本在清末已属稀见。周氏后于福建任上因罪削职，长年留寓福州，为偿公款，同为藏书家的密友蒋凤藻出重金资助，遂以藏书尽归蒋氏“心矩斋”，其批校本一直为藏界所珍，流传广泛。
蒋凤藻（1845-1908），江苏吴县人，家资豪富，嗜书成癖，与周星贻同在福建为官，二人结为密友。藏书楼名有“心矩斋”、“秦汉十印斋”等。书上钤盖的“茂苑香生蒋凤藻秦汉十印斋祕箧图书”朱文方印，即为蒋氏藏书印之一。
是书之后又收入柯逢时囊中，卷首有“柯逢时印”钤印。柯逢时（1845-1912），湖北武昌人，晚清大吏，累官广西巡抚、督办土药统税大臣。生平喜著书、刻书，尤嗜藏书，官余搜罗古籍善本极多，蒋凤藻所藏周星贻批校本多被其重价购得。
柯逢时去世后，藏书珍本多流入日本，另有部分入藏湖北省图书馆、国家图书馆，其余藏书星散人间，流入私家、书商之手。民国年间，北京邃雅斋书店曾从柯氏后人手中收购旧书百簏，馆藏《宾退录》或即其中之零种。建国后的1955年至1958年间，北京的一些私营古旧书店曾成立有“北京市图书业同业公会”，设立有议价小组，对古籍进行鉴定议价。据书上价签显示，本书于1958年1月2日议价12元，进入市场流通，继而入藏中央党校图书和文化馆。
馆藏《宾退录》上的点滴信息，可以推测出它大致的递藏源流，但其完整的传递链条，即使参阅文献中残存的一点记录，也已不能复原。有些信息，像蒋凤藻藏书印下，那个貌似“丁卯桥曾观”亦或“□桥曾观”的钤印，印章无法辨识印主也无从考证，疑问仍未解开。其实大多数古籍的流通信息常常一片空白，没有名家华丽的背书，毫无线索可以追溯，在一代又一代默默无闻的藏书人中流转。后人对他们应该持有一样的尊重，多亏了这些懂书的爱书的有名的无名的收藏者们，倾尽心力妥善保管，才让这些珍贵古籍在历代波劫中得以保存，让中华民族文化宝藏可以传之久远，有幸在伟大复兴时代再次焕发青春。
