结论：对方在你的书上乱涂乱画且拒绝赔偿的行为，可能构成侵权，是违法的。下面我从几个方面为你详细分析：
一、法律背景与依据
根据《中华人民共和国民法典》的相关规定，人格权是民事主体享有的生命权、身体权、健康权、姓名权、名称权、肖像权、名誉权、荣誉权、隐私权等权利。虽然直接的人格权条款可能并不完全适用于书籍被涂画这一具体情境，但我们可以从更广泛的民事权益保护角度来理解。书籍作为你的个人财产，其完整性受到法律保护，任何未经允许的破坏行为都可能构成侵权。此外，如果书籍具有特殊意义（如签名版、限量版等），其价值可能不仅限于物质层面，还可能涉及精神利益，此时对方的行为还可能侵犯你的相关权益。
二、侵权行为的认定
存在侵权行为：对方在你的书上乱涂乱画，这一行为直接导致了书籍的损坏，构成了对你财产权的侵害。
存在过错：对方在未经你允许的情况下，故意或过失地在你的书上涂画，表明其存在过错。
损害结果：书籍因涂画而价值降低或失去原有功能，这是明显的损害结果。
因果关系：对方的涂画行为与书籍的损坏之间存在直接的因果关系。
三、法律后果与赔偿
赔偿损失：根据《民法典》的规定，侵权人应当承担赔偿责任，赔偿范围包括因侵权行为所造成的直接损失（如书籍的修复费用或重置费用）和间接损失（如因书籍损坏而导致的其他相关损失）。
恢复原状：如果可能的话，侵权人还可以被要求恢复书籍的原状，即清除涂画痕迹，使书籍恢复至损坏前的状态。
精神损害赔偿：在特殊情况下，如果书籍对你具有特殊的精神意义，且对方的涂画行为给你造成了严重的精神损害，你还可以要求对方承担精神损害赔偿责任。不过，这一点的认定通常较为严格，需要具体案件具体分析。
四、建议与行动
与对方协商：首先，你可以尝试与对方进行协商，看是否能够达成赔偿协议。在协商过程中，保持冷静和理性，明确表达你的诉求和依据。
收集证据：如果协商无果，你需要开始收集证据，包括书籍被涂画的照片、视频、证人证言等，以证明对方的行为和你的损失。
寻求法律帮助：如果证据充分且对方仍然拒绝赔偿，你可以考虑向法院提起诉讼，要求对方承担侵权责任。在此过程中，你可以咨询我这样的专业律师，以获取更具体的法律建议和帮助。
最后，对方的行为确实可能构成侵权，是违法的。你有权要求对方承担赔偿责任。如果对方拒绝配合，你可以通过法律途径来维护自己的合法权益。如果你有任何进一步的疑问或需要具体的法律帮助，请随时向我咨询。