Ситуация действительно интересная, так как работник проработал у вас только 2 дней (вот если бы три...).
Статья 66. Трудовая книжка
Работодатель (за исключением работодателей - физических лиц) обязан вести трудовые книжки на каждого работника, проработавшего в организации
свыше пяти дней, в случае, если работа в этой организации является для работника основной.
Статья 67. Форма трудового договора
Трудовой договор, не оформленный надлежащим образом,
считается заключенным, если
работник приступил к работе с ведома или по поручению работодателя или его представителя.
При фактическом допущении работника к работе работодатель обязан оформить с ним трудовой договор в письменной форме не позднее трех дней со дня фактического допущения работника к работе.
Статья 68. Оформление приема на работу
Прием на работу оформляется приказом (распоряжением) работодателя, изданным
на основании заключенного трудового договора. Приказ (распоряжение) работодателя о приеме на работу объявляется работнику под расписку в трехдневный срок со дня подписания трудового договора.
Мое мнение:
То есть, как-только Вы по факту (через два дня) узнали о том, что работник не собирается у вас работать - можно было отказать ему в приеме (сделать соответствующую пометку на его заявлении и ознакомить его с вашим решением).
Так как работник фактически был допущен к работе но 3 дня отведенных на оформление ТД не прошло и работник работать отказывается - то можете не оформлять с ним ТД (см. статью 67). То же касается и записи в трудовой.
Приказ о приеме издавать не нужно так как нет ТД. Страховое свидетельство которое вы на него оформили можете отдать ему или вернуть обратно

(правда, тут будут небольшие денежные затраты).