一般情况下，上班期间人事部叫您去办公室谈话，您不可以直接拒绝，但需根据具体情况判断并采取相应措施。以下从不同角度为您详细分析：
一、从劳动合同与规章制度角度
劳动合同约定：
- 若劳动合同中明确规定了员工有义务配合公司的合理工作安排，包括接受人事部的谈话，那么您直接拒绝可能构成违约。但这种约定需合理且不违反法律法规，否则可能被认定为无效条款。
公司规章制度：
- 公司规章制度若经过民主程序制定，且内容合法、合理，员工应当遵守。若规章制度中规定了员工需配合人事部的谈话等合理工作安排，您拒绝可能违反规章制度。但同样，规章制度需符合法律法规，不得侵犯员工合法权益。
二、从谈话内容与目的角度
合理谈话：
- 若人事部叫您去办公室谈话的内容是合理的，如工作安排、绩效评估、职业发展规划等，且谈话方式、时间、地点等均合理，您应当配合。这是您作为员工应尽的义务。
不合理谈话：
- 若谈话内容涉及侵犯您合法权益，如询问个人隐私、进行不合理的调查或盘问等，或者谈话方式、时间、地点等不合理，如在下班时间、非工作场所进行，且对您造成困扰或影响，您有权拒绝或提出异议。
三、从法律后果角度
拒绝谈话的后果：
- 若您无正当理由拒绝人事部的合理谈话，公司可能根据劳动合同或规章制度对您进行纪律处分，如警告、罚款、降职等。但公司需确保处分决定合法、合理，且经过正当程序。
应对策略：
- 若您认为谈话不合理或侵犯您权益，可以要求人事部说明谈话目的、内容、方式等，并表达您的异议。若无法达成一致，您可以向公司上级或相关部门反映情况，或者寻求法律援助。
四、建议与措施
了解情况：
- 在接到人事部谈话通知时，先了解谈话的目的、内容、时间、地点等，以便判断谈话的合理性。
表达异议：
- 若您认为谈话不合理或侵犯您权益，可以及时向人事部表达您的异议，并要求其提供合理的解释或调整谈话方式。
寻求帮助：
- 若您无法与人事部达成一致，或者认为公司处理不当，可以向公司上级、工会或劳动监察部门反映情况，或者咨询专业律师（如我）寻求法律援助。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，为您提供专业、全面的法律建议。