仅知道“小三”住址，不能直接作为起诉的依据，但可以作为送达法律文书的地址信息，是否能够起诉需结合具体诉求和证据情况综合判断。以下分情况说明：

1. 若以“出轨方”为被告，诉求为离婚损害赔偿或分割财产时

• 起诉对象：出轨方（即您的配偶），而非“小三”。
• 住址的作用：知道“小三”住址本身不是起诉条件，但若该住址能证明配偶与“小三”存在长期同居关系（如共同居住的租房合同、邻居证言、监控录像等），可作为配偶存在“重大过错”的证据，支持您在离婚诉讼中主张损害赔偿或多分财产。
• 关键证据：需补充配偶与“小三”同居的直接证据（如亲密照片、视频、聊天记录、共同出行记录等），仅知道住址不足以构成完整证据链。

2. 若以“小三”为被告，诉求为返还财产时

• 起诉对象：若配偶擅自将夫妻共同财产赠与“小三”（如转账、购房、购车等），您可作为原配以“小三”为被告，起诉要求返还财产。
• 住址的作用：知道“小三”住址是起诉的必要条件之一（需明确被告身份信息及送达地址），但需同步提供财产赠与的证据（如银行流水、转账记录、赠与合同等）。
• 法律依据：根据《民法典》第1062条，夫妻共同财产需双方共同处分，配偶单方赠与“小三”的行为无效，您有权要求返还。

3. 若以“小三”为被告，诉求为侵犯名誉权时

• 起诉对象：若“小三”通过散布谣言、侮辱诽谤等方式损害您的名誉权（如公开传播不实信息、恶意诋毁等），您可起诉“小三”侵犯名誉权。
• 住址的作用：同样需明确被告住址以完成送达，但需补充“小三”实施侵权行为的证据（如聊天记录、录音、视频、证人证言等）。
• 法律依据：根据《民法典》第1024条，任何组织或个人不得以侮辱、诽谤等方式侵害他人名誉权。

行动建议

1. 明确诉求：先确定您想通过诉讼解决什么问题（离婚、返还财产、赔偿损失等），再针对性收集证据。
2. 固定证据：通过合法方式收集配偶与“小三”同居、赠与财产或侵权的证据（如公证聊天记录、申请调查令调取银行流水等）。
3. 咨询律师：若证据不足或法律程序复杂，可进一步向我咨询，我会帮您梳理证据链、制定诉讼策略。

总结：知道“小三”住址是起诉的辅助信息，但能否起诉取决于您的具体诉求和证据充分性。建议先明确目标，再针对性准备材料，必要时可委托律师协助处理。