结论：体制内被领导潜规则后调回家乡，是否受影响取决于多个因素，包括潜规则行为的性质、是否构成违法或违纪、调回家乡的具体原因及程序等。以下从不同角度为你详细分析：
一、潜规则行为的性质与后果
若潜规则行为构成性骚扰或性侵犯：
- 法律后果：根据《中华人民共和国治安管理处罚法》或《中华人民共和国刑法》的相关规定，性骚扰或性侵犯行为可能面临行政处罚或刑事处罚。
- 对工作的影响：若此类行为被证实，不仅可能导致领导受到法律制裁，还可能影响其职业生涯，甚至被开除公职。对于受害者而言，虽然调回家乡可能是出于保护或避免进一步伤害的考虑，但这一行为本身不应成为对受害者的惩罚或不利因素。
若潜规则行为不构成违法，但违反职业道德或单位规定：
- 单位内部处理：单位可能根据内部规章制度对领导进行纪律处分，如警告、记过、降职等。
- 对受害者的影响：受害者可能因举报或拒绝潜规则而面临职场压力，但调回家乡不应是对其的负面处理结果。若调回家乡是出于受害者自愿或单位为保护受害者而做出的安排，则可能不构成负面影响。
二、调回家乡的具体原因及程序
自愿调回家乡：
- 影响分析：若受害者自愿调回家乡，以远离潜规则环境或寻求更好的工作环境，则这一行为对其职业生涯可能产生积极影响，如获得更好的工作机会、提升生活质量等。
单位安排调回家乡：
- 程序合法性：单位在安排调回家乡时，应遵循相关法律法规和单位规章制度，确保程序合法、公正、透明。
- 影响分析：若单位因保护受害者或出于其他合理原因安排其调回家乡，且程序合法，则这一行为对受害者可能不构成负面影响。然而，若单位出于不当目的（如掩盖潜规则行为、对受害者进行惩罚等）而安排调回家乡，则可能构成对受害者的不公平对待。
三、法律建议与应对措施
- 保留证据：若遭遇潜规则行为，应尽可能保留相关证据，如聊天记录、录音、视频等，以便在需要时证明自己的权益。
- 及时举报：向单位相关部门或上级领导举报潜规则行为，要求单位进行调查处理。若单位未及时处理或处理不当，可向相关部门（如纪委、监察委等）反映情况。
- 寻求法律援助：若潜规则行为构成违法或侵犯了自己的合法权益，可寻求法律援助，通过法律途径维护自己的权益。
- 关注调回家乡的程序与原因：若面临调回家乡的情况，应关注调动的程序是否合法、原因是否合理，确保自己的权益不受损害。
最后，体制内被领导潜规则后调回家乡是否受影响，需根据具体情况进行判断。若你面临此类情况，建议保持冷静，及时采取措施保护自己的权益，并向我咨询具体的法律建议。