结论：两对小夫妻在自己家里一起自愿互换且没有金钱交易的行为，即使无人知晓，也是违法的，可能涉及聚众淫乱罪。
法律背景与解释：
聚众淫乱罪的定义：
- 根据《中华人民共和国刑法》的相关规定，聚众淫乱罪是指公然藐视国家法纪和社会公德，聚集男女多人集体进行淫乱的行为。这里的“淫乱”，除了指自然性交以外，还包括其他刺激、兴奋、满足性欲的行为，如口淫、手淫、鸡奸等。
行为分析：
- 在您描述的情况中，两对小夫妻自愿互换配偶进行性行为，这明显属于聚众淫乱的行为范畴。即使这种行为是在私下进行，没有金钱交易，且无人知晓，但仍然违反了法律的规定。
- 法律对于聚众淫乱罪的认定，并不取决于行为是否公开或是否有人知晓，而是取决于行为本身的性质和是否违反了社会公德和法律秩序。
法律后果：
- 如果这种行为被查实，参与者可能会面临刑事处罚，包括有期徒刑、拘役或管制等。
- 此外，这种行为还可能对参与者的婚姻关系、家庭关系以及社会声誉造成严重的负面影响。
法律建议：
- 遵守法律：无论出于何种原因，都不应参与或尝试任何违法的性行为。法律是维护社会秩序和公共利益的基石，每个人都应自觉遵守。
- 尊重婚姻：婚姻是建立在相互尊重和忠诚的基础上的。任何破坏婚姻关系的行为都是不可取的，不仅可能触犯法律，还会对家庭和社会造成伤害。
- 寻求合法途径解决情感问题：如果夫妻之间出现情感问题或矛盾，应寻求合法、合理的途径来解决，如沟通、咨询或寻求专业帮助等。
进一步思考：
- 此类行为不仅违反了法律，也违背了社会公德和道德准则。即使在没有法律制裁的情况下，这种行为也是不可取的，因为它会破坏家庭的和谐与稳定，对参与者的身心健康造成负面影响。
- 作为社会成员，我们应自觉遵守法律和社会公德，维护家庭的和谐与社会的稳定。如果遇到类似问题或困惑，应及时寻求专业帮助或咨询，以避免走上违法或错误的道路。
如果您有任何关于婚姻家庭、涉外纠纷、离婚、离婚财产纠纷、遗产继承、抚养权等领域的法律问题，都可以直接向我咨询。