结论：有约定管辖的情况下，一般不能向被告所在地起诉，但存在例外情形。
详细分析：
约定管辖的优先性：
- 根据《中华人民共和国民事诉讼法》的相关规定，合同或者其他财产权益纠纷的当事人可以书面协议选择被告住所地、合同履行地、合同签订地、原告住所地、标的物所在地等与争议有实际联系的地点的人民法院管辖，但不得违反本法对级别管辖和专属管辖的规定。这意味着，如果双方当事人在合同中明确约定了管辖法院，那么该约定通常具有优先性，双方应当遵循该约定向约定的法院提起诉讼。
被告所在地起诉的一般限制：
- 在有约定管辖的情况下，如果直接向被告所在地起诉，而该地点并非双方约定的管辖法院所在地，那么法院可能会以“无管辖权”为由驳回起诉。因为约定管辖已经排除了其他法院的管辖权，除非该约定违反了级别管辖或专属管辖的规定。
例外情形：
- 约定无效或不明确：如果约定管辖的条款无效（如违反级别管辖或专属管辖的规定）或者约定不明确（如仅约定“由当地法院管辖”而未明确具体地点），那么可能无法依据约定管辖来确定管辖法院，此时可能需要根据法律规定的其他管辖原则（如被告所在地）来确定管辖。
- 双方同意变更管辖：在诉讼过程中，如果双方当事人达成一致意见，同意变更管辖法院，那么也可以向新的管辖法院提起诉讼。但这种情况需要双方明确表示同意，并通常需要以书面形式确认。
- 特殊情形下的管辖：在某些特殊情形下，如被告下落不明、被告被监禁等，可能无法按照约定管辖向约定的法院提起诉讼，此时可能需要根据法律规定的其他管辖原则来确定管辖法院。
法律建议：
- 在签订合同时，双方应当明确约定管辖法院，并确保该约定不违反级别管辖和专属管辖的规定。
- 如果发生纠纷，应当首先审查合同中的管辖条款，确定是否有约定管辖以及约定的管辖法院是否明确、有效。
- 如果有约定管辖且约定明确、有效，那么应当向约定的法院提起诉讼；如果约定无效或不明确，或者存在其他特殊情形，那么可以根据法律规定的其他管辖原则来确定管辖法院。
可能后果：
- 如果违反约定管辖向非约定的法院提起诉讼，可能会面临法院驳回起诉的风险，从而增加诉讼成本和时间成本。
- 如果能够正确理解和运用管辖原则，选择正确的管辖法院提起诉讼，则有助于维护自身合法权益并提高诉讼效率。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。