Можно ли отказаться быть свидетелем?

Если лицо, ходатайствующее о вызове свидетеля не знает ваших ФИО и номеров телефона, то всё замечательно.

Лицо, ходатайствующее о вызове свидетеля, обязано указать, какие обстоятельства, имеющие значение для рассмотрения и разрешения дела, может подтвердить свидетель.

И самое главное: сообщить суду его имя, отчество, фамилию и место жительства (ст. 69 ГПК РФ)

В этом случае это лицо даже не сможет заявить ходатайство о вызове вас в суд в качестве свидетеля.

Не общайтесь с ним, и всё.