收款人并非房屋买卖合同出卖人时，收款人是否应承担退款义务，需根据具体情况分析，不能一概而论。以下从不同角度进行详细分析：
一、合同相对性原则
基本原则：根据合同法的相关规定，合同具有相对性，即合同的权利义务主要约束合同双方当事人。在房屋买卖合同中，出卖人和买受人是合同的双方，收款行为通常应视为出卖人履行合同的一部分。
例外情况：如果收款人并非合同出卖人，但买受人基于某种原因（如出卖人指示、双方约定等）将款项支付给了收款人，且收款人实际收取了款项，那么收款人是否承担退款义务，需根据具体情况判断。
二、收款人是否构成表见代理或无权代理
表见代理：如果收款人虽非合同出卖人，但买受人有理由相信收款人有权代表出卖人收款（如收款人持有出卖人的授权委托书、出卖人之前有过类似行为等），则可能构成表见代理。在此情况下，收款人收取的款项应视为出卖人收取，收款人可能不直接承担退款义务，但出卖人需承担相应责任。然而，若因收款人原因导致合同无法履行或买受人受损，收款人可能需根据过错程度承担相应赔偿责任。
无权代理：如果收款人没有出卖人的授权，且买受人知道或应当知道收款人无权代理，那么收款人的收款行为构成无权代理。在此情况下，收款人收取的款项应视为不当得利，买受人有权要求收款人返还。
三、收款人与出卖人之间的法律关系
委托收款关系：如果收款人与出卖人之间存在委托收款关系，且买受人知道或应当知道这一关系，那么收款人收取的款项应视为出卖人收取。在此情况下，收款人通常不直接承担退款义务，除非收款人存在过错或违反委托约定。
其他法律关系：如果收款人与出卖人之间存在其他法律关系（如借贷、合伙等），且收款行为与该法律关系有关，那么收款人是否承担退款义务需根据该法律关系的性质和约定来判断。
四、实际案例与司法实践
在实际案例中，法院会根据具体证据和事实情况来判断收款人是否应承担退款义务。例如，如果买受人能够证明收款人实际收取了款项且该款项应属于出卖人所有，而收款人无法提供合法依据证明其有权收取该款项，那么法院可能会支持买受人要求收款人返还款项的诉讼请求。
五、建议与措施
审查合同与授权文件：在房屋买卖过程中，买受人应仔细审查合同条款和出卖人的授权文件，确保收款人具有合法收款权限。
保留支付凭证：买受人应妥善保留支付凭证（如转账记录、收据等），以便在发生纠纷时提供证据。
及时咨询与维权：如果买受人发现收款人并非合同出卖人且存在退款问题，应及时咨询专业律师并采取措施维护自己的合法权益。
总结来说，收款人并非房屋买卖合同出卖人时，其是否应承担退款义务需根据具体情况判断。买受人在遇到此类问题时，应仔细审查合同与授权文件、保留支付凭证，并及时咨询专业律师以维护自己的合法权益。如果你有进一步的法律问题或需要更具体的法律建议，可以直接向我咨询。