有限合伙人因家庭原因发生难以继续参加合伙企业的事由而退伙时，起诉的对象需根据具体情况来确定。以下是从不同角度进行的分析：
起诉合伙企业：
- 情形：若退伙纠纷主要源于合伙企业的行为或决策，例如合伙企业未按照合伙协议分配利润、未提供必要的经营条件等，导致有限合伙人因家庭原因难以继续参与合伙，那么有限合伙人可以选择将合伙企业作为起诉对象。
- 法律依据：根据《中华人民共和国合伙企业法》的相关规定，合伙企业有义务按照合伙协议履行其职责，保障合伙人的合法权益。若合伙企业违反此义务，有限合伙人有权提起诉讼。
起诉其他合伙人：
- 情形：若退伙纠纷是由于其他合伙人的行为造成的，例如其他合伙人拒绝协商退伙事宜、故意阻碍有限合伙人退伙等，导致有限合伙人因家庭原因无法继续参与合伙，那么有限合伙人可以选择将相关的其他合伙人作为起诉对象。
- 法律依据：同样依据《中华人民共和国合伙企业法》，合伙人有义务相互尊重、协商解决合伙事务中的问题。若其他合伙人违反此义务，损害有限合伙人的退伙权益，有限合伙人有权提起诉讼。
在起诉前，有限合伙人应做好以下准备：
- 收集证据：包括合伙协议、退伙事由的证据（如家庭原因的相关证明）、出资证明等，以证明自己的退伙请求和合法权益。
- 提出退伙申请：在起诉前，有限合伙人应先向其他合伙人提出书面退伙申请，并尝试通过协商解决退伙事宜。若协商无果，再考虑提起诉讼。
- 咨询专业律师：鉴于合伙企业法律关系的复杂性，建议有限合伙人在起诉前咨询专业律师，获取准确的法律意见和诉讼指导。
起诉流程：
- 撰写起诉状：明确原告、被告信息，诉讼请求（要求退伙及财产分配），事实与理由。
- 提交诉讼材料：向有管辖权的法院（通常是被告住所地或合同履行地人民法院）提交诉讼材料，并缴纳诉讼费用。
- 参与诉讼过程：关注法院的受理通知，及时补充或修改材料。准备应对被告的答辩，积极参与庭审，举证、质证和辩论。
- 等待与执行法院判决：若胜诉，法院将判决有限合伙人退伙，并对财产分配作出裁决。若败诉，可考虑在规定期限内提起上诉。若被告未履行判决，可向法院申请强制执行。
退伙后的责任：
- 有限合伙人退伙后，仍需对其退伙前因有限合伙事务产生的债务承担责任，但以退伙时从有限合伙中取回的财产为限。
注意事项：
- 严格遵守合伙协议，确保诉求符合约定。
- 注意诉讼时效问题，一旦发现符合退伙条件且协商无果，应及时提起诉讼。
若您在此过程中遇到任何法律问题或需要进一步的法律指导，请随时向我咨询。