非工作时间谈工作是否算扰民，不能一概而论，需要分情况讨论：
从法律对“加班”的界定来看：
- 加班通常指的是用人单位因生产经营管理需要，安排劳动者在法定工作时间之外进行的工作。这包括三个要件：加班是因用人单位需要、加班是用人单位安排的、加班是在法定工作时间之外。
- 如果非工作时间谈工作是用人单位安排的，且内容与工作相关，那么这种行为可能构成加班的一种形式，尽管它可能不直接涉及具体的工作任务，但仍然是对劳动者休息时间的占用。不过，单纯的“谈工作”是否构成法律意义上的加班，还需结合具体情况判断，比如谈话的频率、时长以及是否对劳动者的休息权造成了实质性影响。
- 若谈话内容不频繁、时间不长，且未对劳动者造成实质性困扰，则一般不视为扰民或加班；反之，若谈话频繁、时间长，且严重干扰了劳动者的正常生活，则可能构成对劳动者休息权的侵犯。
从“扰民”的法律定义来看：
- “扰民”通常指的是行为人的活动对周围居民的正常生活造成了干扰或影响。在劳动关系的语境下，如果非工作时间谈工作严重干扰了劳动者的正常生活（如深夜频繁电话、长时间占用休息时间等），那么这种行为可能构成对劳动者生活安宁权的侵犯，从广义上可以理解为一种“扰民”行为。
- 但需要注意的是，法律对“扰民”有具体的规定和标准，如噪音扰民、环境扰民等，而单纯的非工作时间谈工作是否构成法律意义上的“扰民”，还需结合具体情况和当地法律法规进行判断。
从实际操作的层面来看：
- 如果劳动者认为非工作时间谈工作对其造成了困扰，可以首先与用人单位进行沟通，表达自己的诉求和困扰，寻求合理的解决方案。
- 如果沟通无果，劳动者可以向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
建议：
- 对于用人单位而言，应尊重劳动者的休息权，避免在非工作时间频繁安排与工作相关的谈话或活动。如果确实需要与劳动者沟通工作事宜，应提前与劳动者协商并征得其同意。
- 对于劳动者而言，如果非工作时间谈工作对其造成了困扰，应积极与用人单位沟通并寻求解决方案。同时，也可以了解当地的法律法规和维权途径，以便在必要时维护自己的合法权益。
总结：非工作时间谈工作是否算扰民，需结合具体情况和当地法律法规进行判断。如果谈话行为严重干扰了劳动者的正常生活或休息权，那么这种行为可能构成对劳动者权益的侵犯。在这种情况下，劳动者可以积极与用人单位沟通或寻求法律途径来维护自己的权益。