Cela dépend...
En effet, si le repas de travail a effectivement lieu en dehors des horraires de travail, votre employeur ne peut en aucun cas vous contraindre a y etre présent.
En revanche, si, cas improbable, ce repas donne lieu a une rémunération en heure sup. (ou qu'il vient a la place d'autres heures de travail) ET que votre contrat prévoit soit la possibilité pour votre employeur de vous réclamer la réalisation d'heures supplémentaires (c est le cas de la plus part des contrats) soit la possibilité de modifier les horraires de travail, dans ce cas, le repas de fin d'année pourra etre assimilé a du travail effectif et dans ce cas, vous ne pouvez pas vous permettre d'etre absent.