结论：在拆迁行政诉讼中，若县政府作为被告，且您希望撤销或变更街道办确认的安置人数合同，主要适用的法律为《中华人民共和国行政诉讼法》及相关司法解释，同时可能涉及《国有土地上房屋征收与补偿条例》等具体拆迁补偿法规。
详细分析：
行政诉讼法的适用：
- 法律依据：根据《中华人民共和国行政诉讼法》第二条，公民、法人或者其他组织认为行政机关和行政机关工作人员的行政行为侵犯其合法权益，有权依照本法向人民法院提起诉讼。在此案例中，县政府作为行政机关，其作出的与拆迁安置相关的行政行为（如确认安置人数合同）若被认为侵犯了您的合法权益，您可以提起行政诉讼。
- 诉讼对象：由于您希望撤销或变更的是街道办确认的安置人数合同，但县政府作为被告，可能涉及县政府对街道办行为的批准、确认或监督等行政行为。在行政诉讼中，您需要明确县政府的具体行政行为是什么，以及该行为如何侵犯了您的权益。
- 诉讼请求：在行政诉讼中，您可以请求法院撤销或变更县政府（或其授权的街道办）作出的具体行政行为，即确认的安置人数合同。
拆迁补偿法规的适用：
- 国有土地上房屋征收与补偿条例：如果拆迁涉及国有土地上的房屋，那么《国有土地上房屋征收与补偿条例》将是一个重要的法律依据。该条例规定了房屋征收与补偿的原则、程序、标准等，对于确定安置人数和补偿方式等具有指导意义。
- 地方性法规：此外，各地可能根据实际情况制定了地方性法规或规章，对拆迁安置补偿进行具体规定。这些地方性法规也是处理拆迁行政诉讼时需要考虑的重要依据。
合同法的考量（如适用）：
- 合同性质：虽然您提到的是“安置人数合同”，但通常这类合同在拆迁补偿中更多体现为一种行政协议或补偿协议，而非纯粹的民事合同。然而，如果合同中确实包含了民事权利义务关系，且您希望从合同法的角度寻求救济，那么《中华人民共和国民法典》中关于合同的规定也可能适用。
- 合同变更与撤销：根据合同法的相关规定，如果合同存在重大误解、显失公平、欺诈、胁迫等情形，当事人有权请求人民法院或仲裁机构变更或撤销合同。但在拆迁行政诉讼中，这一路径通常不是首选，因为更侧重于审查行政行为的合法性。
法律建议：
- 收集证据：在提起行政诉讼前，务必收集充分证据证明县政府（或街道办）的行政行为侵犯了您的合法权益，以及您希望撤销或变更的具体理由。
- 明确诉讼请求：在起诉状中明确您的诉讼请求，即要求撤销或变更哪个具体行政行为，以及基于什么事实和理由。
- 咨询专业律师：拆迁行政诉讼涉及复杂的法律关系和程序，建议咨询专业律师以获取更具体的法律指导和帮助。
可能法律后果：
- 如果法院认为县政府的行政行为违法或不当，可能会判决撤销或变更该行政行为，从而影响安置人数的确定和补偿方式的实施。
- 如果法院认为您的诉讼请求不成立或证据不足，可能会驳回您的诉讼请求。
如有任何进一步疑问或需要具体法律帮助，请直接向我咨询。