Хотя НКВД имело важную функцию государственной безопасности, имя этой организации до сих пор ассоциируется, в основном, с поверхностным рассмотрением преступлений, политическими репрессиями и устранениями, военными преступлениями, жестокостью по отношению к советским и иностранным гражданам. Выполнение советской внутренней политики связано с врагами государства(«враг народа»), их массовыми арестами и расстрелами советских и иностранных граждан. Миллионы были сосланы в лагеря ГУЛАГа и сотни тысяч были казнены НКВД. Большинство этих людей были осуждены тройками НКВД — особым явления советского суда. Доказательства не играли особой роли, достаточно было анонимного доноса для ареста. Использование «Физической диалектики наказания» был санкционировано специальным указом государства, которое открыло двери многочисленным злоупотреблениям в подсчете арестованных и сотрудников самого НКВД. Результатами таких операций были сотни массовых захоронений, обнаруженных позже по всей стране. Документальные доказательства доказывают «плановую систему» массовых расстрелов. Такие планы показывали количество и соотношение жертв (официально, «врагов народа») к определенным районам. Семьи репрессированных, включая детей, должны были быть автоматически репрессированы, согласно приказу по НКВД № 00486 Процессы проводились согласно решениям Политбюро Коммунистической Партии (например, «Шахтинское дело» — процесс против инженеров, партийной и военной элиты («фашистский заговор») и медицинского персонала («Заговор врачей»)). Процессы также организовывались против лиц нерусских национальностей (включая, украинцев, татаров, немцев и многих других, обвинённых в «буржуазном национализме», «фашизме» и.т.д.) и религиозных деятелей. Число массовых операций НКВД было направленно против целых народностей. Народы определенного этноса могли быть насильно переселены. Однако, русские, всё же, составляют большую часть жертв НКВД.
Сотрудники НКВД становились не только палачами, но также и жертвами. Большинство сотрудников НКВД (несколько тысяч), включая весь командный состав, были казнены в 30-х 40-х гг.
Во время гражданской войны в Испании, агенты НКВД, работали в союзе с Коммунистической Партией Испании, осуществляли контроль над Республиканским правительством. НКВД основало ряд секретных тюрем под Мадридом, в которых содержались, пытались и было убито сотни врагов НКВД. В июле 1937, Андрес Нин, секретарь анти-сталинистского POUM умер под пытками в тюрьме НКВД. Сотрудничало НКВД и с Гестапо. Советский Союз передал сотни немецких и австрийских коммунистов Гестапо, как нежелательных иностранцев. Во время Великой Отечественной войны войска НКВД использовались для охраны территории и поиска дезертиров. На освобожденных землях НКВД, позже НКГБ проводили массовые аресты, депортации и казни, к примеру, был лидеров и членов польского анти-нацистского сопротивления Армии Крайовой. Разведывательные службы НКВД занимались устранением бывших советских и иностранных граждан, которые были причислены к врагам СССР. Среди многих, официально признанные жертвы, такие как:
После смерти Иосифа Сталина в 1953, новый советский лидер Никита Хрущев организовал кампанию против деятельности НКВД. Между 1950ми и 1980ми, тысячи жертв были официально «реабилитированы»(то есть восстановлены в правах). Многие из них и их родственники отказались быть реабилитированными из-за страха или недостаточности документов. По-прежнему, реабилитация была бесполезной: в большинстве случаев заключением было: «из-за недостаточности доказательств», советские судьи отговаривались: «преступление было, но мы, к сожалению, его не смогли доказать». Лишь ограниченное число людей были оправданы по всем статьям. Очень немного сотрудников НКВД были официально наказаны за жестокое отношение или нарушением чьих-либо прав. Те, кто были казнены в 30х, также получили приговоры без суда и следствия. В 1990х и 2000х, небольшое количество бывших работников НКВД, живших в Прибалтийских странах, были обвинены в преступлениях против местного населения. Сегодня, живущие бывшие работники получают пенсии и привилегии, данные им правительством СССР и позже подержанные всеми странами СНГ. Им не предъявлены никакие обвинения, хотя некоторые из них были опознаны их жертвами. Необходимо так же отметить что значительное количество работников НКВД в 30е-50е годы сами были подвергнуты политическим репрессиям.