结论：因网赌造成银行卡冻结，在已被拘留罚款的情况下，解冻银行卡是否需要退回对方款项，需分情况讨论，主要取决于款项性质以及是否涉及其他违法犯罪情形。以下是具体分析：

1. 若款项属于赌资
   根据《中华人民共和国刑法》第六十四条及《关于办理赌博刑事案件具体应用法律若干问题的解释》第八条规定，赌资应当依法予以追缴。即使您已被拘留罚款，若银行卡内资金被认定为赌资（如您参与网络赌博的充值、输赢结算等），公安机关在解冻银行卡时仍会依法收缴该部分款项，无需“退回对方”，但需上缴国库。

2. 若款项涉及诈骗、洗钱等违法犯罪
   若您的银行卡被用于接收、转移他人诈骗资金或洗钱款项（例如您明知他人利用您的账户从事违法活动仍提供帮助），则可能涉及《刑法》中的掩饰、隐瞒犯罪所得罪或帮助信息网络犯罪活动罪。此时，解冻银行卡的前提是配合公安机关追缴涉案资金，需将款项退还给实际被害人或上缴国库，而非“退回对方”（即犯罪嫌疑人）。若拒不退还，可能面临刑事责任追诉。

3. 若款项为合法财产误冻
   若银行卡内资金与赌博无关（例如工资、储蓄等），但因公安机关侦查需要被误冻，您需向冻结机关提交证据证明资金合法性（如劳动合同、银行流水等）。经审查属实后，银行卡会解冻，资金全额返还，无需退还任何款项。

行动建议：

• 立即联系冻结银行卡的公安机关（通常为办案地派出所或经侦部门），确认冻结原因及款项性质；
  
• 配合调查，如实说明资金来源及用途，避免因隐瞒或虚假陈述承担法律责任；
  
• 若对冻结程序或款项处理有异议，可依法申请行政复议或提起行政诉讼。
  

温馨提示：网络赌博不仅可能导致财产损失，还可能涉及刑事犯罪。建议今后远离此类活动，避免再次陷入法律风险。如有其他疑问，欢迎随时向我咨询。