结论：
一般情况下，不违法：从法律角度来看，你要求对方点外卖且对方同意，这通常被视为一种口头约定或赠与行为（如果对方没有明确表示是借款）。在对方同意并实际履行了这一行为后，除非有明确的证据表明这是借款关系，否则你通常没有法律义务退还这笔钱。因此，在一般情况下，你不退还这笔钱并不违法。
特殊情况需考虑：然而，如果对方能够提供充分的证据证明这笔钱是借款（例如聊天记录、转账备注等），并且双方之间有明确的借款协议或约定，那么你拒绝退还可能构成违约行为，对方有权通过法律途径追讨。
详细分析：
口头约定与赠与：在日常生活中，人们经常会进行一些小额的赠与或口头约定。这些约定往往没有书面证据，但基于双方的信任和友好关系而成立。在你要求对方点外卖且对方同意的情况下，如果没有明确的借款意图或约定，这通常被视为一种赠与行为或口头约定。赠与行为一旦完成，赠与人通常无权要求受赠人返还赠与物（或等价物）。
借款关系的认定：要认定双方之间是否存在借款关系，需要看是否有明确的借款意图和约定。这通常包括借款金额、借款期限、利息等关键条款。如果对方能够提供充分的证据证明这是借款关系，并且你拒绝退还，那么对方有权通过法律途径追讨。但在此案例中，由于只是要求点外卖，且没有明确的借款意图或约定，因此很难认定为借款关系。
法律后果：在一般情况下，你不退还这笔钱并不构成违法行为。但如果对方能够提供充分的证据证明这是借款关系，并且你拒绝退还，那么你可能需要承担违约责任或法律责任。这包括但不限于返还借款本金、支付利息或承担诉讼费用等。
建议：
保持沟通：如果对方要求你退还这笔钱，你可以先与对方进行沟通，了解对方的真实意图和诉求。如果双方能够达成一致意见，那么可以避免不必要的法律纠纷。
保留证据：为了避免未来可能出现的法律纠纷，建议你保留与对方之间的聊天记录、转账记录等相关证据。这些证据在证明双方之间是否存在借款关系时将起到关键作用。
咨询专业意见：如果你对这个问题仍然存在疑虑或不确定如何处理，可以直接向我咨询。我将根据你的具体情况提供专业的法律意见和建议。