结论：亲家双方都病重，两方子女互相看望并给钱，这笔钱是否可以退回去，需根据具体情况来判断，包括给钱时的意图、双方的关系、当地的风俗习惯以及是否存在书面或口头的约定等。

详细分析：

1. 给钱时的意图：

   • 如果子女给钱是出于对亲家的关心和帮助，且没有明确的借贷或赠与合同（尤其是没有明确表示是借款），那么这笔钱通常被视为赠与。赠与一旦完成，除非存在法定撤销情形（如受赠人严重侵害赠与人或其近亲属的合法权益等），否则赠与人不得随意撤销。
   • 如果子女给钱时明确表示是借款，且有证据（如借条、转账记录备注等）支持，那么这笔钱就是借款，借款人有义务偿还。

2. 双方的关系：

   • 亲家之间的关系虽然特殊，但并不影响法律上赠与或借贷关系的成立。因此，无论双方关系如何，给钱时的意图都是决定这笔钱是否可以退回去的关键因素。

3. 当地的风俗习惯：

   • 在某些地区，亲家之间互相看望并给钱可能是一种风俗习惯，这种习俗通常被视为一种礼尚往来的行为，而非法律上的借贷或赠与。在这种情况下，如果双方都没有异议，且没有违反法律法规或公序良俗，那么这笔钱通常不需要退回去。

4. 是否存在书面或口头的约定：

   • 如果双方在给钱时有明确的书面或口头约定，如约定这笔钱是借款、赠与的条件或期限等，那么应按照约定来处理。如果约定是借款，则借款人应偿还；如果约定是赠与且没有法定撤销情形，则赠与人不得随意撤销。

建议：

• 如果子女希望这笔钱能够退回去，且给钱时并未明确表示是赠与，可以尝试与亲家沟通，说明情况并协商解决。如果亲家同意退还，那么问题就得到了解决。
• 如果沟通无果或亲家不同意退还，且子女认为这笔钱是借款或有其他合法理由要求退还，可以考虑通过法律途径解决。在这种情况下，建议子女收集相关证据（如转账记录、聊天记录、证人证言等），并咨询专业律师以获取更具体的法律建议。

后续行动：

• 如果您或您的家人面临类似情况，且对如何处理存在疑问或担忧，可以直接向我咨询。我会根据您的具体情况和当地法律法规，为您提供专业的法律建议和帮助。