结论：别人用您的手机号买东西并买了又退，确实可能对您产生一定影响，具体影响取决于多个因素，包括商家的处理方式、您的个人信用状况以及是否因此产生纠纷等。以下从不同角度为您详细分析：
一、对个人信用及账户安全的影响
信用记录：如果商家在处理退货时，错误地将退货记录或相关费用与您的账户关联（尽管这种情况较为少见，但并非不可能），可能会对您的信用记录产生间接影响。不过，通常情况下，单纯的购物退货行为本身不会直接影响您的个人信用评分，除非涉及欺诈或恶意退货等违法行为。
账户安全：更直接的影响是账户安全问题。如果他人能够使用您的手机号进行购物，说明您的手机号可能已被泄露或存在安全风险。这可能导致您面临更多的骚扰电话、短信，甚至可能遭受诈骗等风险。因此，建议您及时检查并加强账户安全设置，如更改密码、启用双重验证等。
二、对商家及购物平台的影响及可能波及您的方面
商家处理：商家在处理退货时，通常会根据订单信息进行核实。如果订单信息中的手机号与您的实际使用情况不符，商家可能会联系您进行确认。这可能会给您带来不必要的麻烦和困扰。
购物平台规则：不同购物平台对于退货的处理规则可能有所不同。一些平台可能会要求退货时提供订单信息、支付凭证等，以验证退货的合法性。如果他人使用您的手机号进行退货，但无法提供完整的退货信息，可能会导致退货流程受阻或产生纠纷。在这种情况下，如果商家或平台联系您进行核实或处理纠纷，您可能需要投入时间和精力来解决问题。
三、法律责任与纠纷处理
法律责任：从法律角度来看，如果他人未经您同意使用您的手机号进行购物并退货，这可能构成对您个人信息的侵犯。然而，要追究其法律责任，您需要证明该行为是他人所为且未经您同意，这在实际操作中可能存在一定的难度。
纠纷处理：如果因此产生纠纷，如商家或平台要求您承担退货费用或责任等，您有权拒绝并要求商家或平台进行核实。在这种情况下，建议您保留相关证据（如订单信息、通话记录等），以便在需要时进行维权。
四、建议与措施
加强账户安全：立即更改相关账户的密码，并启用双重验证等安全措施，以防止他人再次使用您的手机号进行购物。
联系商家与平台：如果发现他人使用您的手机号进行购物并退货，建议及时联系商家和购物平台，说明情况并要求他们采取措施防止类似事件再次发生。
保留证据：保留所有与此次事件相关的证据，如订单信息、通话记录、短信等，以便在需要时进行维权。
关注个人信用：定期查询个人信用报告，确保没有因他人行为而产生的负面记录。
如果您在处理此类事件过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况提供专业的法律建议和支持。