仅凭老公多次给情人转账及被对方当天退回的记录，直接起诉主张出轨并请求损害赔偿，证据尚不充分。具体分析如下：

一. 证据的性质与效力

1. 转账记录作为证据：根据《中华人民共和国民事诉讼法》第六十六条，转账记录属于电子数据，是法定的证据形式之一。因此，转账记录本身是可以作为证据使用的。
2. 证据的证明力：然而，转账记录及退回记录仅能证明资金往来，并不能直接证明出轨行为或存在不正当关系。这些记录可能只是普通的资金交易，或者存在其他合理解释。

二. 起诉的可行性与风险

1. 起诉的可行性：若您希望以出轨为由提起离婚诉讼并请求损害赔偿，根据《中华人民共和国民法典》第一千零九十一条，您需要提供更充分的证据来证明出轨行为，如聊天记录、亲密照片、视频等直接证据。
2. 起诉的风险：仅凭转账及退回记录起诉，可能会因证据不足而面临败诉风险。此外，这种诉讼还可能对家庭关系造成进一步破坏，并引发不必要的社会舆论压力。

三. 我的建议

1. 补充证据：我建议您尝试收集更多直接证据，如上述提到的聊天记录、亲密照片等，以增强诉讼的胜算。
2. 考虑和解：如果可能的话，您也可以考虑与配偶进行沟通，尝试通过和解的方式解决家庭矛盾，避免诉讼带来的负面影响。

综上所述，仅凭老公多次给情人转账及被对方当天退回的记录起诉主张出轨并请求损害赔偿，证据尚不充分。我建议您在采取法律行动前，务必谨慎考虑并充分准备证据。如有进一步需要，您可以继续咨询我。