结论前置：不可以仅交罚金而不交被害人的钱，在法律上，罚金与赔偿被害人损失是两种不同性质的责任承担方式，二者通常不能相互替代。以下从不同角度为你详细分析：

1. 法律性质角度
   • 罚金：罚金是刑法中规定的附加刑之一，主要针对犯罪行为人，是对其犯罪行为的一种经济制裁，目的是惩罚犯罪、预防犯罪以及增加国家财政收入。它由法院根据犯罪情节、犯罪人的经济状况等因素依法判处。
   • 赔偿被害人损失：这是基于民事法律关系产生的责任。犯罪行为往往同时侵犯了他人的财产权、人身权等民事权益，犯罪人需要对被害人因此遭受的损失进行赔偿，以弥补被害人的损害，恢复其权益到受损前的状态。这是一种民事责任的承担方式，与罚金所代表的刑事责任性质不同。
2. 法律规定角度
   • 我国法律明确规定了犯罪人在承担刑事责任的同时，如果其行为给被害人造成了损失，应当承担民事赔偿责任。例如《中华人民共和国刑法》第三十六条规定：“由于犯罪行为而使被害人遭受经济损失的，对犯罪分子除依法给予刑事处罚外，并应根据情况判处赔偿经济损失。承担民事赔偿责任的犯罪分子，同时被判处罚金，其财产不足以全部支付的，或者被判处没收财产的，应当先承担对被害人的民事赔偿责任。”这表明在财产不足以同时支付罚金和赔偿被害人损失时，优先保障被害人的民事赔偿权益。
3. 实际执行角度
   • 在司法实践中，如果犯罪人既有罚金需要缴纳，又有对被害人的赔偿义务，法院会综合考虑各种因素进行执行。如果犯罪人有足够的财产，那么应当同时履行缴纳罚金和赔偿被害人的义务；如果财产不足以全部支付，会按照法律规定的顺序先赔偿被害人损失，剩余部分再用于缴纳罚金。所以，不能只交罚金而不赔偿被害人。

如果你在罚金缴纳和赔偿被害人方面还有其他疑问，或者涉及到具体的案件情况，都可以直接向我咨询，我会结合具体情况为你详细解答。