关于您提出的“我给他港币，他给我人民币，是否算是非法”的问题，这主要取决于交易的性质、目的以及是否符合相关法律法规的规定。以下是从不同角度进行的分析：
个人之间的合法货币兑换：
- 如果您与他之间的港币与人民币兑换是基于个人需求，且金额不大，同时双方均明确知晓并同意这种兑换方式，没有涉及任何欺诈、洗钱或其他非法活动，那么这种兑换行为在一般情况下并不被视为非法。但需要注意的是，个人之间的货币兑换可能受到外汇管理规定的限制，特别是当涉及较大金额时。
违反外汇管理规定：
- 根据我国的外汇管理规定，未经批准擅自经营结汇、售汇业务，或者私自买卖外汇、变相买卖外汇、倒买倒卖外汇，以及非法介绍买卖外汇数额较大的，都可能构成违法行为。如果您与他之间的兑换行为超出了个人合法使用的范围，或者涉及了未经批准的外汇交易，那么这种行为就可能是非法的。
涉及洗钱等非法活动：
- 如果您明知他提供的资金来源于非法活动（如贩毒、走私、贪污等），或者您通过兑换行为帮助他隐藏、转移非法所得，那么这种行为就构成了洗钱，是严重的违法行为。洗钱活动不仅违反了我国的法律法规，还可能对国际金融秩序造成破坏。
法律建议：
- 在进行任何货币兑换行为时，请务必确保遵守相关的外汇管理规定和法律法规。
- 如果您与他之间的兑换行为涉及较大金额或存在不确定性，建议咨询专业的金融机构或律师，以确保您的行为合法合规。
- 如果您发现任何可疑的货币兑换行为或涉及非法活动的迹象，请立即向相关部门报告。
可能的法律后果：
- 如果您与他之间的兑换行为被认定为非法，您可能会面临罚款、没收违法所得、甚至刑事处罚等法律后果。
- 此外，如果您的行为涉及了洗钱等严重犯罪活动，您还可能面临更严厉的法律制裁。
总结与提醒：
- 在进行货币兑换时，请务必谨慎行事，确保您的行为合法合规。
- 如果您有任何疑问或需要进一步的法律建议，请随时向我咨询。作为专业律师，我将竭诚为您提供帮助。