针对您提出的问题，即一级精神残疾且单身没有直系亲属和兄弟姐妹的情况下，是否可以拒绝担任监护人，以下是我的详细解答：
首先，我们需要明确的是，根据我国相关法律规定，无民事行为能力或者限制民事行为能力的精神病人，其监护人的设定是有明确顺序和规定的。具体来说，监护人通常由配偶、父母、成年子女、其他近亲属，以及关系密切且愿意承担监护责任的其他亲属或朋友来担任，但后者需要经过精神病人所在单位或住所地的居民委员会、村民委员会的同意。
在您所描述的情况下，如果一级精神残疾者单身且没有直系亲属（如配偶、父母、成年子女）和兄弟姐妹，那么按照法律规定的顺序，已经没有合适的个人来担任监护人了。此时，根据法律，精神病人的所在单位或者住所地的居民委员会、村民委员会，或者民政部门，将承担起担任监护人的责任。
关于是否可以拒绝担任监护人的问题：
对于个人而言：如果您并非法律规定的监护人顺序中的一员（如非配偶、父母、成年子女、其他近亲属等），且没有主动表示愿意承担监护责任，那么您本身就没有被指定为监护人的义务，因此也就不存在“拒绝”的问题。
对于被指定为监护人的单位或组织：如果居民委员会、村民委员会或民政部门被指定为监护人，它们通常不能随意拒绝，因为这是法律赋予它们的职责。然而，在实际操作中，如果确实存在特殊情况（如资源不足、能力有限等），这些单位或组织可能会与相关部门协商，寻求其他合适的监护安排。
特殊情况下的处理：如果确实没有合适的个人或单位愿意担任监护人，或者现有监护人无法继续履行职责，那么可以通过法律程序（如向人民法院申请）来指定新的监护人。在这个过程中，法院会综合考虑被监护人的利益、监护人的能力和意愿等因素来做出判决。
建议：
综上所述，对于一级精神残疾且单身没有直系亲属和兄弟姐妹的情况，如果个人没有被指定为监护人，则无需承担监护责任；如果单位或组织被指定为监护人，则通常不能随意拒绝，但可以通过法律程序寻求其他合适的监护安排。