结论：别人给你港币，你给对方人民币，这一行为本身并不直接违法，但具体是否合法需根据交易背景、交易方式及是否涉及其他违法行为来综合判断。以下从不同角度为你详细分析：

一、正常交易背景下的合法性

1. 个人之间的货币兑换：

   • 如果你们之间的交易是个人之间的货币兑换，且没有涉及任何非法活动（如洗钱、逃税等），同时交易金额在合理范围内，那么这种行为通常是合法的。
   • 然而，需要注意的是，个人之间的货币兑换可能受到外汇管理规定的限制。在中国，外汇交易受到严格的监管，个人不得随意进行大额的外汇买卖。如果交易金额较大，建议通过正规渠道（如银行）进行兑换，以避免潜在的法律风险。

2. 商业交易中的货币结算：

   • 如果你们之间的交易是商业性质的，且双方同意使用港币和人民币进行结算，那么这种行为也是合法的。
   • 在这种情况下，你们需要确保交易符合相关的商业法规和税收规定，如签订正式的合同、开具合法的发票等。

二、可能涉及违法的情形

1. 非法外汇交易：

   • 如果你们之间的交易涉及非法外汇买卖，如未经许可的外汇兑换、逃汇等，那么这种行为就是违法的。
   • 非法外汇交易可能面临严重的法律后果，包括罚款、没收违法所得、甚至刑事责任。

2. 洗钱活动：

   • 如果你们之间的交易是为了掩盖非法所得的来源或性质，即洗钱活动，那么这种行为也是违法的。
   • 洗钱活动不仅违反了金融管理法规，还可能涉及刑事犯罪，如洗钱罪等。

3. 逃税行为：

   • 如果你们之间的交易是为了逃避税收监管，如未申报交易收入、利用虚假合同进行避税等，那么这种行为也是违法的。
   • 逃税行为可能面临税务机关的处罚，包括罚款、加收滞纳金等。

三、法律建议

1. 了解并遵守外汇管理规定：

   • 在进行货币兑换或结算时，务必了解并遵守相关的外汇管理规定，确保交易的合法性和合规性。

2. 签订正式合同并开具合法发票：

   • 如果是商业交易，建议签订正式的合同并开具合法的发票，以明确双方的权利和义务，并避免潜在的税收风险。

3. 谨慎选择交易对象：

   • 在进行货币交易时，务必谨慎选择交易对象，确保对方具有良好的信誉和合法的身份，以避免陷入非法交易或诈骗活动中。

4. 咨询专业律师或金融机构：

   • 如果你对交易的法律性质或合规性存在疑问，建议咨询专业律师或金融机构的意见，以确保交易的合法性和安全性。

总结：别人给你港币，你给对方人民币，这一行为本身并不直接违法，但具体是否合法需根据交易背景、交易方式及是否涉及其他违法行为来综合判断。在进行货币交易时，务必了解并遵守相关的法律法规和监管要求，以确保交易的合法性和合规性。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。