当一个人没有直系亲属且没有留下遗嘱或遗赠抚养协议时，其遗产的处理确实是一个需要细致考虑的问题。根据《中华人民共和国民法典》的相关规定，这种情况下，民政部门或村民委员会将担任遗产管理人的角色，以确保遗产得到妥善管理和合理分配。
一、确定遗产管理人
法律依据：根据《民法典》第1145条，继承开始后，如果没有继承人或者继承人均放弃继承，那么由被继承人生前住所地的民政部门或者村民委员会担任遗产管理人。具体来说，如果被继承人是农村集体经济组织成员，由村民委员会担任；如果不是，则由民政部门担任。
申请指定：利害关系人（如债权人、债务人或其他与遗产有关的人）可以向人民法院申请指定民政部门担任遗产管理人，或者在诉讼中申请追加民政部门为遗产管理人。
二、遗产管理人的职责
清理遗产：遗产管理人需要清理被继承人的遗产，并制作遗产清单，确保所有遗产都被准确记录。
防止遗产毁损、灭失：采取必要措施，如妥善保管、维修等，以防止遗产在管理过程中受到损害或丢失。
处理债权债务：遗产管理人需要处理被继承人的债权债务，包括偿还债务、追讨债权等。
其他必要行为：实施与管理遗产有关的其他必要行为，如遗产的出售、出租等。
三、查询遗产信息
为了履行上述职责，遗产管理人可以委托专业机构（如上海市居民经济状况核对中心）依法查询被继承人生前的财产信息，包括银行账户、房产、车辆等，以便准确制作遗产清单。
四、遗产的最终处理
无主财产确认：在依法处理被继承人的债权债务后，如果仍有剩余遗产，遗产管理人可以向人民法院提起无主财产确认之诉。
收归国有：经人民法院判决认定剩余遗产无主并收归国家所有的，由区级民政部门申请作出判决的人民法院执行。
公益用途：收归国有的无人继承遗产，应当主要用于扶贫济困、扶老救孤、恤病助残以及教育、科学、文化、卫生等公益事业。
五、费用保障
遗产管理人在查询、管理、处置遗产等过程中产生的费用，如防止遗产毁损、灭失的费用、清理债权债务的费用等，可以从被继承人遗产中优先列支。不足部分由同级财政保障。
六、相关单位配合
公安、司法、财政、人力资源社会保障、规划资源、住房城乡建设管理、市场监管、医保、知识产权、房屋管理、金融管理、税务等部门和单位，应按照各自职责，为民政部门履行遗产管理人职责提供支持和配合。
综上所述，当一个人没有直系亲属且没有留下遗嘱或遗赠抚养协议时，其遗产将由民政部门或村民委员会担任遗产管理人进行妥善处理。这一制度确保了无人继承遗产的合法管理和合理分配，维护了人民群众的合法权益。