结论：受托人是否可以购买委托人的房子，这并非一个简单的是非问题，而是需要依据具体情况，特别是委托书中的具体授权内容、房屋所有权归属以及交易是否合法公平等多个因素来综合判断。
一、委托书中的授权内容
明确授权出售：
- 如果委托书中明确授权受托人可以出售房屋，并且没有设定特定的限制条件（如不得卖给特定关系人等），那么受托人在法律上是具备出售房屋的权限的，包括出售给自己的爱人。但即便如此，受托人也应秉持忠实义务，确保交易是在公平、公正的市场条件下进行，避免利益冲突和自我交易引发的质疑。
未明确授权出售：
- 如果委托书中仅授权受托人进行房屋的管理、出租等事务，而未明确包含出售权限，那么受托人擅自出售房屋，包括出售给自己的爱人，将构成违约和无权处分。这种情况下，交易可能无效，除非受让人（即受托人的爱人）符合善意取得的条件，但这在涉及特定关系人的交易中往往难以证明。
二、房屋所有权归属
委托人个人财产：
- 如果房屋属于委托人的个人财产，委托人有权决定其处置方式。但即便如此，若存在委托关系，受托人仍需严格遵守委托合同的约定，不得擅自超越权限行事。
夫妻共同财产：
- 如果房屋为夫妻共同财产，则双方均有处理权。但即便如此，若存在委托关系，受托人仍需遵循委托合同的约定，并可能需要征得另一方的同意或配合，以确保交易的合法性和有效性。
三、交易合法性和公平性
合法性：
- 房屋买卖必须遵守相关法律法规的规定，包括但不限于房屋产权的确认、交易程序的履行、税费的缴纳等。受托人应确保所有交易环节均符合法律法规的要求，避免因违法操作而引发的法律风险。
公平性：
- 受托人对委托人负有忠实义务，应避免利益冲突和自我交易。在将房屋出售给自己的爱人时，受托人应确保交易是在公平、公正的市场条件下进行，避免因利益输送而损害委托人的利益。如果交易价格明显低于市场价或存在其他不公平条款，可能引发法律纠纷和道德质疑。
四、实际操作建议
明确委托权限：
- 在签订委托合同时，应明确列明受托人的权限范围，包括是否可以出售房屋、出售的对象和条件等。这有助于避免后续因权限不清而引发的纠纷。
选择可靠受托人：
- 受托人的诚信和能力对于交易的顺利进行至关重要。在选择受托人时，应通过背景调查、信用评估等方式筛选诚信且有能力的受托人，以降低交易风险。
法律咨询和监督：
- 在交易过程中，如有任何疑问或不确定之处，应及时向我咨询，以确保交易的合法性和有效性。同时，委托人应保持与受托人的定期沟通，监督代理过程，及时发现并解决问题。
总结来说，受托人是否可以购买委托人的房子，取决于委托书中的具体授权内容、房屋所有权归属以及交易是否合法公平等多个因素。在涉及此类交易时，建议谨慎行事，并寻求专业法律意见以确保交易的合法性和有效性。如果你有具体的法律问题或需要进一步的帮助，请随时向我咨询。