针对外墙施工工人摔伤，业主不担责任但家属找业主麻烦的情况，业主可以采取以下措施来维护自身权益：

1. 明确责任归属，收集证据：

   • 法律依据与责任划分：根据《中华人民共和国民法典》的相关规定，如果业主与施工方之间是承揽合同关系，且业主在定作、指示或选任方面没有过错，那么业主通常不承担赔偿责任。责任应由施工方（即雇主）承担，因为施工方有义务为工人提供安全的工作环境并购买相应的保险。
   • 收集证据：业主应收集与施工方的合同、施工方案、安全协议等文件，以及现场照片、视频等证据，以证明自己在事故中没有过错，且已尽到合理的安全注意义务。

2. 与家属沟通，解释法律责任：

   • 沟通解释：业主可以主动与家属沟通，解释法律责任归属，说明自己并非雇主，因此不承担赔偿责任。同时，可以表达对伤者的同情和关心，但明确拒绝承担不属于自己的责任。
   • 避免直接冲突：在沟通过程中，业主应保持冷静和理性，避免与家属发生直接冲突或争执，以免激化矛盾。

3. 寻求法律援助，维护自身权益：

   • 咨询律师：如果家属持续纠缠或采取不当行为，业主可以咨询专业律师（即我），了解具体的法律程序和应对策略。律师将根据具体情况，为业主提供法律意见和帮助。
   • 发送律师函：在律师的指导下，业主可以向家属发送律师函，明确告知其法律责任和业主的立场，要求家属停止不当行为。
   • 提起诉讼或申请仲裁：如果家属的行为严重侵犯了业主的合法权益，如骚扰、威胁等，业主可以在律师的协助下，向法院提起诉讼或申请仲裁，要求家属停止侵权行为并赔偿损失。

4. 考虑与施工方协商，共同应对：

   • 协商解决：业主可以与施工方协商，要求施工方承担其应负的责任，并共同应对家属的诉求。施工方作为雇主，有义务为工人提供安全保障和赔偿。
   • 共同应对：在协商过程中，业主和施工方可以共同制定应对策略，如提供医疗救助、协商赔偿等，以平息家属的愤怒和诉求。

5. 注意保留证据，应对可能的法律程序：

   • 保留证据：在整个过程中，业主应注意保留所有与事故、沟通、法律程序等相关的证据，以备不时之需。
   • 配合法律程序：如果案件进入法律程序，业主应积极配合律师和法院的工作，提供必要的证据和信息，以维护自己的合法权益。

额外建议：

• 加强安全管理：为了避免类似事故的再次发生，业主在未来的施工项目中应加强对施工方的安全管理和监督，确保施工方遵守安全规定和操作规程。
• 购买保险：业主可以考虑购买相关的保险产品，如公众责任险等，以在发生意外事故时减轻自己的经济负担和法律风险。

总结：面对外墙施工工人摔伤且家属找业主麻烦的情况，业主应明确责任归属、收集证据、与家属沟通解释、寻求法律援助、与施工方协商共同应对，并注意保留证据以应对可能的法律程序。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。