先明确结论：若仅自家被调查违章建筑，需冷静配合调查，同时可依法主张自身权益；若认为调查存在不公正，可通过合法途径维权。以下从不同角度为你详细分析：

配合调查方面

当相关部门来调查你家的违章建筑时，要积极配合调查工作。从法律程序上来说，行政机关有权对涉嫌违法的建筑进行调查取证，这是其履行职责、维护公共利益和社会秩序的必要手段。配合调查不仅是对法律的尊重，也有助于事情的妥善解决。比如，如实向调查人员说明建筑的建造时间、用途、是否取得相关审批手续等情况。如果拒绝配合，可能会面临更严重的法律后果，如被强制执行调查措施，甚至可能因妨碍公务而承担相应的法律责任。

自身权益主张方面

你有权对调查行为和认定结果提出异议。如果认为调查人员的调查方式不合法，比如没有出示合法的调查证件、调查程序存在瑕疵等，你可以当场提出质疑，并要求调查人员按照法定程序进行。对于认定你家建筑为违章建筑的结论，如果你有证据证明该建筑并不违法，如取得了合法的建设规划许可证、土地使用证等相关证件，或者该建筑属于历史遗留问题且符合当时的政策规定等，你可以在规定的时间内向相关部门提出申诉或者申请行政复议。

维权途径方面

若认为调查存在不公正或认定结果错误，可通过合法途径维权。如果你对行政复议的结果仍然不满意，还可以在法定的期限内向人民法院提起行政诉讼，通过司法程序来维护自己的合法权益。在行政诉讼中，法院会对行政机关的调查行为和认定结果进行全面的审查，判断其是否合法、合理。例如，如果行政机关在没有充分证据的情况下就认定你的建筑为违章建筑并作出拆除决定，法院可能会撤销该决定。

如果你在面对违章建筑调查过程中还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。