结论：法院调解书上写的自己愿意赠予对方的房子，在一般情况下是不能随意要回的，但存在特定情形时，可以依法主张撤销赠与或要求返还。
分析说明：
调解书的法律效力：
- 法院调解书是具有法律效力的文书，一旦双方签字确认并经法院审查通过，即产生法律效力，对双方均具有约束力。
- 调解书中明确记载的赠与条款，是双方真实意思的表示，且不违反法律法规的强制性规定，因此赠与行为在调解书生效时即完成。
赠与合同的撤销：
- 根据《中华人民共和国民法典》的相关规定，赠与合同在赠与财产的权利转移之前可以撤销，但经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同除外。
- 在法院调解书的背景下，赠与行为通常已经视为完成，因为调解书本身即是对双方权利义务的确认和分配。然而，如果赠与财产尚未实际转移（如房产尚未过户），且存在法定撤销事由（如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），赠与人可以依法主张撤销赠与。
特定情形下的返还请求：
- 如果赠与行为存在欺诈、胁迫等情形，导致赠与人在违背真实意思的情况下作出赠与，赠与人可以在知道或应当知道撤销事由之日起一年内请求法院或仲裁机构撤销赠与，并要求返还财产。
- 另外，如果赠与的财产因受赠人的违法行为（如非法处置、毁损等）导致赠与人无法实现赠与目的，赠与人也可以依法要求返还财产或赔偿损失。
行动建议：
- 审查调解书内容：首先，仔细审查调解书中关于赠与的具体条款，确认赠与财产是否已实际转移，以及是否存在法定撤销事由或特定情形下的返还请求权。
- 收集证据：如果认为存在撤销赠与或要求返还的情形，应尽快收集相关证据，如欺诈、胁迫的证据，受赠人违法行为的证据等。
- 咨询专业律师：由于房产赠与涉及复杂的法律关系和财产权益，建议咨询专业律师，以便更准确地评估案件情况，制定合适的法律策略。
- 提起诉讼或申请仲裁：在律师的指导下，如果认为有必要，可以向法院提起诉讼或向仲裁机构申请仲裁，以维护自己的合法权益。
后续思考：在处理此类房产赠与纠纷时，应充分考虑调解书的法律效力、赠与合同的撤销条件以及特定情形下的返还请求权等因素。同时，也应注意保护自己的合法权益，避免因一时冲动或不了解法律而做出不利于自己的决定。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。