结论：别人说您出身不好，一般情况下不能直接去法院告他，但具体还需根据言论的性质、造成的后果等因素来综合判断。
分析角度一：言论是否构成侵权
名誉权侵权：如果对方公开散布关于您出身的不实言论，且这些言论足以降低您的社会评价，损害您的名誉，那么这可能构成名誉权侵权。根据《中华人民共和国民法典》的相关规定，您有权要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。但需要注意的是，要证明对方的行为构成名誉权侵权，需要提供充分的证据，如言论的具体内容、传播范围、对您的实际影响等。
其他侵权：如果对方的言论还涉及其他侵权行为，如侮辱、诽谤等，且情节严重，可能构成刑事犯罪（如侮辱罪、诽谤罪），此时您可以向公安机关报案，由公安机关依法处理。但同样，这需要提供充分的证据来证明对方的犯罪行为。
分析角度二：言论是否构成歧视
一般情况下的言论：如果对方只是私下里对您说了一些关于出身的言论，且这些言论并未公开传播，也没有对您的生活、工作等造成实际影响，那么这种言论可能并不构成法律上的歧视或侵权。在这种情况下，您可能无法直接通过法律途径来维护自己的权益。
特定情境下的言论：如果对方是在工作、学习等特定情境下，基于您的出身而对您进行不公平的对待或歧视，那么这可能违反了相关的法律法规（如劳动法、教育法等）。在这种情况下，您可以根据具体的法律法规来维护自己的权益，如向相关部门投诉、申请仲裁或提起诉讼等。
建议：
收集证据：如果您认为对方的言论构成了侵权或歧视，那么首先需要收集充分的证据来证明这一点。证据可以包括言论的具体内容、传播范围、对您的实际影响等。
咨询律师：在收集到证据后，建议您咨询专业的律师来评估您的案件情况。律师可以根据您的具体情况和相关的法律法规来为您提供专业的法律建议和帮助。
采取行动：根据律师的建议和评估结果，您可以决定是否采取法律行动来维护自己的权益。如果决定采取法律行动，那么需要按照法律程序来逐步推进案件的处理。
后续思考：在处理此类问题时，除了考虑法律途径外，还可以考虑通过沟通、协商等方式来解决问题。有时候，通过平和的沟通可以更好地化解矛盾和问题。当然，如果沟通无果或对方态度恶劣，那么采取法律行动也是必要的选择。如果您有任何进一步的疑问或需要法律帮助，请随时向我咨询。