结论：物业是否有责任，取决于上门要账的行为是否违反了小区的管理规定以及物业是否尽到了其应尽的管理职责。
分析如下：
物业的管理职责：
- 物业作为小区的管理者，有责任维护小区的公共秩序和安全。这包括确保小区内的活动不违反法律法规，以及不干扰其他业主的正常生活。
- 如果上门要账的行为构成了对小区公共秩序的干扰，或者违反了小区的管理规定（如禁止在小区内进行商业活动、禁止大声喧哗等），物业有责任进行制止和管理。
上门要账行为的性质：
- 上门要账本身并不一定违法，但如果要账过程中采取了威胁、恐吓、骚扰等不当手段，就可能构成违法行为。
- 如果要账行为在小区内造成了公共秩序的混乱，或者对其他业主的正常生活产生了影响，那么这种行为就可能超出了个人行为的范畴，需要物业进行干预。
物业的责任判定：
- 如果物业在接到业主或相关方的投诉后，没有及时采取措施制止上门要账的不当行为，或者没有尽到其应尽的管理职责，那么物业可能需要承担一定的责任。
- 然而，如果物业已经尽到了其管理职责，比如及时劝阻、报警等，但由于要账人的行为过于激烈或难以控制，导致无法完全制止，那么物业的责任可能会相对减轻。
建议：
- 如果您作为业主遇到了上门要账不走且物业不管的情况，首先可以尝试与物业沟通，要求其履行管理职责。
- 如果物业不作为，您可以向相关部门（如房管局、街道办等）投诉，或者考虑通过法律途径维护自己的权益。
- 同时，您也可以考虑报警处理，特别是当上门要账的行为涉嫌违法时（如威胁、恐吓等）。
后续行动：
- 在处理此类问题时，建议您保留好相关证据（如照片、视频、录音等），以便在需要时提供证明。
- 如果您对物业的处理结果不满意，或者认为物业存在失职行为，您可以考虑咨询专业律师（即向我咨询），了解您的法律权益和可能的维权途径。
总之，物业是否有责任取决于上门要账的行为是否违反了小区的管理规定以及物业是否尽到了其应尽的管理职责。在处理此类问题时，建议您保持冷静，通过合理合法的途径维护自己的权益。