结论：非工作时间是否可以拒绝信访人员，这主要取决于您的职业身份和工作性质。如果您并非信访工作相关人员或未被安排非工作时间的信访接待任务，那么您有权拒绝在非工作时间接待信访人员。
分析说明：
对于非信访工作相关人员：
- 如果您的工作与信访接待无关，那么您没有法律义务在非工作时间接待信访人员。信访工作通常有其特定的职责部门和人员配置，非相关人员无需承担此项职责。
对于信访工作相关人员：
- 正常工作安排：如果您是信访工作相关人员，但非工作时间并未被安排接待信访任务，那么您同样有权拒绝。工作时间的安排应遵循劳动法的相关规定，非工作时间属于您的个人时间，除非有特殊情况或紧急任务，否则不应被强制要求工作。
- 特殊情况或紧急任务：在特殊情况下，如遇到重大突发事件或紧急信访事项，且您被明确指派在非工作时间进行接待，那么根据工作需要和职责要求，您可能需要履行接待任务。但这种情况下，通常会有相应的补偿或调休安排，以保障您的合法权益。
法律背景与建议：
- 劳动法保护：根据《中华人民共和国劳动法》的相关规定，劳动者享有休息休假的权利。非工作时间属于劳动者的个人时间，除非有法律特别规定或合同约定，否则用人单位不得强制劳动者工作。
- 信访工作规定：信访工作有其特定的规定和流程，通常会在正常工作时间内进行。对于非工作时间的信访接待，应有明确的安排和补偿机制，以保障信访工作人员的合法权益。
- 建议：如果您遇到非工作时间被要求接待信访人员的情况，且您认为这不符合法律规定或工作安排，您可以与用人单位或相关部门进行沟通协商，明确您的权益和职责。如果沟通无果，您可以考虑寻求法律援助或向相关部门投诉举报。
可能后果：
- 如果您非信访工作相关人员或未被安排非工作时间的信访接待任务，却强行被要求接待，这可能构成对您休息休假权利的侵犯，您可以依法维护自己的权益。
- 如果您作为信访工作相关人员，在特殊情况下被要求非工作时间接待信访人员，但未得到相应的补偿或调休，您也可以向用人单位或相关部门提出异议，要求保障您的合法权益。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。