结论：若做过牢的人胡乱说话，是否可以告他以及如何告他，需根据其说话的具体内容、造成的后果以及相关法律规定来综合判断。以下是从不同角度的分析和建议：
若其言论构成诽谤或侮辱：
- 法律背景：根据《中华人民共和国刑法》的相关规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，构成侮辱罪或诽谤罪。
- 建议行动：您可以收集相关证据，如录音、录像、证人证言等，证明其言论的虚假性和对您造成的损害。然后，可以向公安机关报案，或者直接向人民法院提起刑事自诉，要求追究其刑事责任。
若其言论侵犯您的名誉权：
- 法律背景：根据《中华人民共和国民法典》的规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
- 建议行动：您可以先尝试与对方协商，要求其停止侵害、赔礼道歉并赔偿损失。如果协商无果，您可以向人民法院提起民事诉讼，要求对方承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。
若其言论涉及其他违法行为：
- 法律背景：如果其言论涉及泄露国家秘密、散布谣言扰乱公共秩序等其他违法行为，那么可能触犯其他相关法律法规。
- 建议行动：在这种情况下，您应该及时向相关部门（如公安机关、国家安全机关等）报案，由相关部门依法处理。
在采取行动前，您需要注意以下几点：
- 收集证据：无论是刑事自诉还是民事诉讼，证据都是关键。您需要尽可能收集能够证明对方言论虚假性、对您造成损害以及对方存在过错的相关证据。
- 咨询专业意见：由于法律程序复杂且涉及专业法律知识，建议您在采取行动前咨询专业律师的意见，以确保您的权益得到充分保护。
- 保持冷静和理性：在处理此类纠纷时，保持冷静和理性至关重要。避免采取过激行为或发表不当言论，以免加重纠纷或给自己带来不必要的麻烦。
后续行动建议：
- 如果您决定采取法律行动，建议尽快着手准备相关证据和材料，以便及时向相关部门或法院提出申请或起诉。
- 在整个过程中，保持与律师的密切沟通，及时了解案件进展和法律建议。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。