针对您提出的“确定老人监护人，其中一人平时不管老人又不放弃监护人权利”的问题，这确实是一个涉及老年人权益保护和家庭责任的重要议题。以下是我为您提供的详细解答：

首先，要明确的是，老年人在具有完全民事行为能力时，有权通过意定监护的方式，与其近亲属、其他愿意担任监护人的个人或者组织事先协商，以书面形式确定自己的监护人。这一制度体现了老年人的自主意愿和意思自治，即使老年人已有子女等法定监护人，他们仍然可以选择指定意定监护人，且在履行监护职责时，意定监护优先于法定监护。

针对您提到的情况，如果其中一位监护人平时不履行对老人的照顾责任，但又不放弃监护人权利，这确实是一个棘手的问题。根据《民法典》的相关规定，如果发现意定监护人在履行监护职责中有不当行为，意定监护监督人、老年人的亲朋好友等有关个人，以及居民委员会、村民委员会、老年人组织、养老服务机构等有关组织，都应当及时予以劝阻和制止，以防止危害后果的发生。

如果情节严重，例如涉及暴力、虐待、遗弃或其他违法行为，应当立即向公安机关等有关部门报告和反映，以确保被监护人的权益得到保护。同时，当监护人存在《民法典》第三十六条所列举的撤销监护人资格的法定情形，如严重损害被监护人身心健康、拒不履行监护职责导致被监护人处于危困状态等，有关个人或者组织应当依法向人民法院提出申请，请求撤销其监护人资格。

在撤销监护人资格后，如果法院还未指定新的监护人，老年人的合法权益仍然需要得到保护。根据相关法律规定，此时老年人住所地所在的居民委员会、村民委员会、法律明确规定的有关组织或民政部门，有责任依照人民法院的具体要求和安排，及时为老年人提供必要的临时性监护措施，如基本生活照料、医疗协助、财产临时保管等，以确保老年人在监护关系过渡期间的生活起居、人身安全和合法权益得到充分保障。

最后，我想强调的是，赡养老人是每个子女的法律义务，也是中华民族的传统美德。无论子女是否担任监护人，都应当尽到对老人的赡养和照顾责任。如果子女之间存在分歧或矛盾，应当通过协商、调解等方式解决，而不是忽视或逃避对老人的责任。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。