随意说他人诈骗，若无端指控，则可能犯法。具体是否犯法，需根据具体情况分析：

1. 不构成犯法的情形：

   • 私下提及且无不良影响：在私下场合偶尔提及或开玩笑说别人诈骗，且未向他人传播或造成不良影响，通常不构成违法。这种情境下的言论往往局限于小范围，不足以对受害者名誉造成实质性损害。
   • 有确凿证据并合法举报：若掌握了确凿证据证明对方存在诈骗行为，并通过合法途径（如向公安机关报案）进行举报或揭露，这种行为是合法的。

2. 可能构成犯法的情形：

   • 无端指控：在没有确凿证据的情况下，无端指控他人诈骗，可能构成诽谤罪。根据《中华人民共和国刑法》第二百四十六条，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
   • 公开传播无端指控：如果无端指控在公开场合或通过网络、媒体等广泛传播，对被指控者的声誉造成严重损害，会触犯法律。这种情况下，可能因违反《中华人民共和国治安管理处罚法》第四十二条而受到拘留或罚款的处罚。
   • 造成严重后果：无端指控导致被指控人遭受严重的名誉损害或其他严重后果（如精神失常、自杀等），行为人将面临更严重的法律制裁。

综上所述，随意说他人诈骗是否犯法，关键在于是否有确凿证据以及表达的方式和场合。在没有确凿证据的情况下，应避免无端指责他人，以免触犯法律并承担相应责任。若掌握确凿证据，应通过合法途径进行举报或揭露。