18 февраля 1945 года генерал был тяжело ранен осколком артиллерийского снаряда на окраине освобождённого города Мельзак в Восточной Пруссии. В тот же день он скончался. До сих пор неизвестна истинная причина гибели Черняховского: это мог быть немецкий снаряд, пущенный из дальнобойного орудия. заговор подпольной польской организации и даже случайный выстрел советского орудия.
Иван Черняховский был похоронен в освобождённом им Вильнюсе на одной из центральных площадей. Свои соболезнования по поводу смерти генерала выразил даже Уинстон Черчилль в личном письме Иосифу Сталину. Черняховский действительно был одним из лучших военачальников, и в его честь в Екатеринбурге назвали улицу в Чкаловской районе.