结论是：即使对方已经删除了小孩的照片，您仍然有可能追究其责任，但具体能否成功追究以及追究的方式，需视情况而定。以下是从不同角度进行的分析：
一、民事责任角度
侵犯肖像权：
- 根据《中华人民共和国民法典》的相关规定，自然人享有肖像权，未经肖像权人同意，不得制作、使用、公开肖像权人的肖像。如果对方未经您或小孩的监护人同意，擅自将小孩的照片发到网上，即使后来删除了，也仍然可能构成对肖像权的侵犯。
- 建议：您可以收集相关证据，如截图（即使对方已删除，您之前的切图也可作为证据）、聊天记录等，证明对方确实未经同意发布了小孩的照片。然后，您可以与对方协商，要求其承担停止侵害、赔礼道歉等民事责任。如果协商不成，您可以向法院提起诉讼。
侵犯隐私权：
- 如果照片中包含了小孩的隐私信息，如家庭住址、学校名称等，那么对方的行为还可能构成对隐私权的侵犯。
- 建议：同样，您可以收集相关证据，并要求对方承担相应的民事责任。如果隐私泄露造成了实际损害，如小孩受到骚扰或威胁，您还可以要求对方赔偿损失。
二、行政责任角度
- 如果对方的行为违反了《中华人民共和国治安管理处罚法》的相关规定，如公然侮辱他人或者捏造事实诽谤他人（虽然这里主要是侵犯肖像权和隐私权，但若伴随有侮辱或诽谤行为，则可能触犯），那么对方可能面临行政处罚。
- 建议：您可以向当地公安机关报案，由公安机关进行调查处理。如果公安机关认为对方的行为构成违法，可以对其处以拘留、罚款等行政处罚。
三、实际操作中的难点与建议
证据收集：
- 尽管您已经切图保存了证据，但还需要确保这些证据的真实性和完整性。如果可能的话，最好能获取到原始发布链接、发布时间等信息，以证明对方确实发布了照片。
- 建议：在收集证据时，尽量保持证据的原始状态，避免篡改或伪造。同时，可以寻求专业律师的帮助，以确保证据的合法性和有效性。
追究责任的难度：
- 如果对方已经删除了照片，那么追究其责任的难度可能会增加。因为对方可能会否认曾经发布过照片，或者声称照片是误发、被盗用等。
- 建议：在这种情况下，您需要更加充分地准备证据，以证明对方确实存在侵权行为。同时，可以考虑通过法律途径解决纠纷，如向法院提起诉讼或向相关行政部门投诉。
最后，我想强调的是，虽然对方已经删除了照片，但您仍然有可能追究其责任。不过，具体能否成功追究以及追究的方式，需根据实际情况和证据来决定。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。