结论：在您仅偶尔听朋友讲其违法行为但没有实质性证据的情况下，从法律角度，您难以直接对朋友采取法律行动或向相关部门举报并使其受到处罚。不过，您仍有一些可行的做法和注意事项。
分析说明：
证据的重要性：
- 在法律程序中，证据是认定事实、作出判决的基础。没有实质性证据，很难证明朋友的违法行为确实存在，更难以使其受到法律的制裁。
- 证据可以是书面的、口头的、物证的、电子数据的等多种形式。但口头陈述，尤其是没有其他证据佐证的口头陈述，往往难以被法院或相关部门采纳。
您的可行做法：
- 劝诫朋友：作为朋友，您可以尝试劝诫其停止违法行为，并告知其可能面临的法律后果。这既是对朋友的关心，也是对社会秩序的维护。
- 收集证据：如果您认为朋友的违法行为确实严重，且有必要采取进一步行动，您可以尝试在合法、合规的前提下收集相关证据。但请注意，收集证据的过程中不得侵犯他人的合法权益，如隐私权、名誉权等。
- 向相关部门反映：如果您掌握了足够的证据，或者认为朋友的违法行为已经对社会造成了严重危害，您可以向公安机关、检察机关等相关部门反映情况。但同样，没有实质性证据的情况下，相关部门可能难以展开调查或采取行动。
注意事项：
- 避免诽谤或诬告：在没有实质性证据的情况下，不要随意公开指责或举报朋友，以免构成诽谤或诬告，从而承担法律责任。
- 保护自身安全：如果朋友的违法行为涉及暴力、犯罪等严重情况，您在劝诫或收集证据的过程中要注意保护自身安全，避免受到不必要的伤害。
行动建议：
- 如果您认为朋友的违法行为并不严重，或者您不想直接介入，可以选择保持沉默，但不再参与或支持其违法行为。
- 如果您决定劝诫朋友，可以选择一个合适的时机和方式，以平和、理性的态度与其沟通，表达您的担忧和期望。
- 如果您决定收集证据或向相关部门反映情况，请务必在合法、合规的前提下进行，并咨询专业人士（如律师）的意见，以确保您的行动不会侵犯他人的合法权益或违反法律法规。
特殊场景：
- 如果朋友的违法行为已经对您造成了直接伤害（如名誉损害、财产损失等），您可以考虑通过法律途径维护自己的权益，如提起民事诉讼要求赔偿等。但同样，这需要您提供足够的证据来证明朋友的违法行为与您的损害之间存在因果关系。
法律背景：
- 根据《中华人民共和国民事诉讼法》、《中华人民共和国刑事诉讼法》等相关法律法规的规定，证据是认定事实、作出判决的基础。没有证据或证据不足的情况下，法院或相关部门难以对违法行为进行认定和处罚。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。