Файлы cvs что это
Редактируем CSV-файлы, чтобы не сломать данные
Продукты HFLabs в промышленных объемах обрабатывают данные: адреса, ФИО, реквизиты компаний и еще вагон всего. Естественно, тестировщики ежедневно с этими данными имеют дело: обновляют тест-кейсы, изучают результаты очистки. Часто заказчики дают «живую» базу, чтобы тестировщик настроил сервис под нее.
Первое, чему мы учим новых QA — сохранять данные в первозданном виде. Все по заветам: «Не навреди». В статье я расскажу, как аккуратно работать с CSV-файлами в Excel и Open Office. Советы помогут ничего не испортить, сохранить информацию после редактирования и в целом чувствовать себя увереннее.
Материал базовый, профессионалы совершенно точно заскучают.
Что такое CSV-файлы
Формат CSV используют, чтобы хранить таблицы в текстовых файлах. Данные очень часто упаковывают именно в таблицы, поэтому CSV-файлы очень популярны.
CSV-файл состоит из строк с данными и разделителей, которые обозначают границы столбцов
CSV расшифровывается как comma-separated values — «значения, разделенные запятыми». Но пусть название вас не обманет: разделителями столбцов в CSV-файле могут служить и точки с запятой, и знаки табуляции. Это все равно будет CSV-файл.
У CSV куча плюсов перед тем же форматом Excel: текстовые файлы просты как пуговица, открываются быстро, читаются на любом устройстве и в любой среде без дополнительных инструментов.
Из-за своих преимуществ CSV — сверхпопулярный формат обмена данными, хотя ему уже лет 40. CSV используют прикладные промышленные программы, в него выгружают данные из баз.
Одна беда — текстового редактора для работы с CSV мало. Еще ничего, если таблица простая: в первом поле ID одной длины, во втором дата одного формата, а в третьем какой-нибудь адрес. Но когда поля разной длины и их больше трех, начинаются мучения.
Следить за разделителями и столбцами — глаза сломаешь
Еще хуже с анализом данных — попробуй «Блокнотом» хотя бы сложить все числа в столбце. Я уж не говорю о красивых графиках.
Поэтому CSV-файлы анализируют и редактируют в Excel и аналогах: Open Office, LibreOffice и прочих.
Ветеранам, которые все же дочитали: ребята, мы знаем об анализе непосредственно в БД c помощью SQL, знаем о Tableau и Talend Open Studio. Это статья для начинающих, а на базовом уровне и небольшом объеме данных Excel с аналогами хватает.
Как Excel портит данные: из классики
Все бы ничего, но Excel, едва открыв CSV-файл, начинает свои лукавые выкрутасы. Он без спроса меняет данные так, что те приходят в негодность. Причем делает это совершенно незаметно. Из-за этого в свое время мы схватили ворох проблем.
Большинство казусов связано с тем, что программа без спроса преобразует строки с набором цифр в числа.
Округляет. Например, в исходной ячейке два телефона хранятся через запятую без пробелов: «5235834,5235835». Что сделает Excel? Лихо превратит номера́ в одно число и округлит до двух цифр после запятой: «5235834,52». Так мы потеряем второй телефон.
Приводит к экспоненциальной форме. Excel заботливо преобразует «123456789012345» в число «1,2E+15». Исходное значение потеряем напрочь.
Проблема актуальна для длинных, символов по пятнадцать, цифровых строк. Например, КЛАДР-кодов (это такой государственный идентификатор адресного объекта: го́рода, у́лицы, до́ма).
Удаляет лидирующие плюсы. Excel считает, что плюс в начале строки с цифрами — совершенно лишний символ. Мол, и так ясно, что число положительное, коль перед ним не стоит минус. Поэтому лидирующий плюс в номере «+74955235834» будет отброшен за ненадобностью — получится «74955235834». (В реальности номер пострадает еще сильнее, но для наглядности обойдусь плюсом).
Потеря плюса критична, например, если данные пойдут в стороннюю систему, а та при импорте жестко проверяет формат.
Разбивает по три цифры. Цифровую строку длиннее трех символов Excel, добрая душа, аккуратно разберет. Например, «8 495 5235834» превратит в «84 955 235 834».
Форматирование важно как минимум для телефонных номеров: пробелы отделяют коды страны и города от остального номера и друг от друга. Excel запросто нарушает правильное членение телефона.
Удаляет лидирующие нули. Строку «00523446» Excel превратит в «523446».
А в ИНН, например, первые две цифры — это код региона. Для Республики Алтай он начинается с нуля — «04». Без нуля смысл номера исказится, а проверку формата ИНН вообще не пройдет.
Меняет даты под локальные настройки. Excel с удовольствием исправит номер дома «1/2» на «01.фев». Потому что Windows подсказал, что в таком виде вам удобнее считывать даты.
Побеждаем порчу данных правильным импортом
Если серьезно, в бедах виноват не Excel целиком, а неочевидный способ импорта данных в программу.
По умолчанию Excel применяет к данным в загруженном CSV-файле тип «General» — общий. Из-за него программа распознает цифровые строки как числа. Такой порядок можно победить, используя встроенный инструмент импорта.
Запускаю встроенный в Excel механизм импорта. В меню это «Data → Get External Data → From Text».
Выбираю CSV-файл с данными, открывается диалог. В диалоге кликаю на тип файла Delimited (с разделителями). Кодировка — та, что в файле, обычно определяется автоматом. Если первая строка файла — шапка, отмечаю «My Data Has Headers».
Перехожу ко второму шагу диалога. Выбираю разделитель полей (обычно это точка с запятой — semicolon). Отключаю «Treat consecutive delimiters as one», а «Text qualifier» выставляю в «
На третьем шаге выбираю формат полей, ради него все и затевалось. Для всех столбцов выставляю тип «Text». Кстати, если кликнуть на первую колонку, зажать шифт и кликнуть на последнюю, выделятся сразу все столбцы. Удобно.
Дальше Excel спросит, куда вставлять данные из CSV — можно просто нажать «OK», и данные появятся в открытом листе.
Перед импортом придется создать в Excel новый workbook
Но! Если я планирую добавлять данные в CSV через Excel, придется сделать еще кое-что.
После импорта нужно принудительно привести все-все ячейки на листе к формату «Text». Иначе новые поля приобретут все тот же тип «General».
После этого, если повезет, Excel оставит исходные данные в покое. Но это не самая твердая гарантия, поэтому мы после сохранения обязательно проверяем файл через текстовый просмотрщик.
Альтернатива: Open Office Calc
Для работы с CSV-файлами я использую именно Calc. Он не то чтобы совсем не считает цифровые данные строками, но хотя бы не применяет к ним переформатирование в соответствии с региональными настройками Windows. Да и импорт попроще.
Конечно, понадобится пакет Open Office (OO). При установке он предложит переназначить на себя файлы MS Office. Не рекомендую: хоть OO достаточно функционален, он не до конца понимает хитрое микрософтовское форматирование документов.
А вот назначить OO программой по умолчанию для CSV-файлов — вполне разумно. Сделать это можно после установки пакета.
Итак, запускаем импорт данных из CSV. После двойного клика на файле Open Office показывает диалог.
Заметьте, в OO не нужно создавать новый воркбук и принудительно запускать импорт, все само
Помимо Calc у нас в HFLabs популярен libreOffice, особенно под «Линуксом». И то, и другое для CSV применяют активнее, чем Excel.
Белая пустошь, раскинувшаяся посередине, в оригинальном CSV-файле богато заполнена данными
Поэтому после сохранения я еще раз открываю файл и убеждаюсь, что данные на месте.
После пересохранения обязательно еще раз проверяю, что все данные на месте и нет лишних пустых строк.
Если интересно работать с данными, посмотрите на наши вакансии. HFLabs почти всегда нужны аналитики, тестировщики, инженеры по внедрению, разработчики. Данными обеспечим так, что мало не покажется 🙂
Импорт содержимого CSV-файла в Excel
CSV – популярное расширение файлов, которые используются, в основном, для обмена данными между различными компьютерными программами. Чаще всего необходимости в открытии и редактировании таких документов нет. Однако в некоторых случаях перед пользователями может встать такая задача. Программа Excel позволяет это сделать, но в отличие от стандартных файлов в формате XLS и XLSX, простое открытие документа двойным щелчком мыши не всегда дает качественный результат, что может выражаться в некорректном отображении информации. Давайте посмотрим, каким образом можно открыть файлы с расширением CSV в Экселе.
Открываем CSV-файлы
Для начала давайте разберемся, что из себя представляют документы в данном формате.
CSV – аббревиатура, которая расшифровывается как “Comma-Separated Values” (на русском языке означает “значения, разделенные запятыми”).
Как следует из названия, в таких документах используются разделители:
Во время открытия документа в Excel основная задача (проблема) заключается в выборе способа кодировки, примененного при сохранении файла. Если будет выбрана не та кодировка, скорее всего, пользователь увидит множество нечитаемых символов, и полезность информации будет сведена к минимуму. Помимо этого, ключевое значение имеет используемый разделитель. Например, если документ был сохранен в англоязычной версии, а затем его пытаются открыть в русскоязычной, скорее всего, качество отображаемой информации пострадает. Причина, как мы ранее отметили, заключается в том, что в разных версиях используются разные разделители. Давайте посмотрим, как избежать этих проблем и как правильно открывать файлы CSV.
Метод 1: двойным щелчком или через контекстное меню
Прежде, чем приступить к более сложным методам, давайте рассмотрим самый простой. Он применим только в тех случаях, когда файл был создан/сохранен и открывается в одной и той же версии программы, а значит, проблем с кодировкой и разделителями быть не должно. Здесь возможно два варианта, опишем их ниже.
Excel установлена как программа по умолчанию для открытия CSV-файлов
Если это так, открыть документ можно как и любой другой файл – достаточно просто дважды щелкнуть по нему.
Для открытия CSV-фалов назначена другая программа или не назначена вовсе
Алгоритм действия в таких ситуациях следующий (на примере Windows 10):
Независимо от того, какой из описанных выше способов был выбран, результатом будет открытие CSV-файла. Как мы упомянули выше, корректно отображаться содержимое будет только при соответствии кодировки и разделителей.
В остальных случаях может показываться нечто подобное:
Поэтому описанный метод подходит не всегда, и мы переходим к следующим.
Метод 2: применяем Мастер текстов
Воспользуемся интегрированным в программу инструментом – Мастером текстов:
Метод 3: через меню “Файл”
И последний метод, которым можно воспользоваться заключается в следующем:
Заключение
Таким образом, несмотря на кажущуюся сложность, программа Эксель вполне позволяет открывать и работать с файлами в формате CSV. Главное – определиться с методом реализации. Если при обычном открытии документа (двойным щелчком мыши или через контекстное меню) его содержимое содержит непонятные символы, можно воспользоваться Мастером текста, который позволяет выбрать подходящую кодировку и знак разделителя, что напрямую влияет на корректность отображаемой информации.
Блог Евгения Крыжановского
Я научу вас ремонтировать свой компьютер!
CVS: что это, как с ним работать
В современное время нет предела совершенству модификаций и трансформаций файлов в любые форматы с различными расширениями. Постоянно пользователь сталкивается с новыми и новыми видами файлов, которые зачастую проблемно открыть, не зная, что они собой представляют.
Так сегодня в этой статье речь пойдет о файлах CVS, наверняка вы уже успели столкнуться с таковыми в процессе работы за персональным компьютером и до сих пор в недоумении, что это, и с чем его едят.
Этими электронными единицами пользуются зачастую иностранцы, но мы сегодня к ним имеем все равно косвенное отношение, и должны знать, для чего этот формат придуман. Итак, это ресурс для создания технических иллюстраций, а именно векторных и растровых изображений. Сегодня разработчики так называемого приложения Canvas для Mac остановили работы по усовершенствованию оного, но, тем не менее, файлы с этим расширением частенько встречаются пользователям компьютерных сетей.
Поскольку компьютерная техника – это самый главный инструмент в создании чертежей, графиков, расчетных проектов, это обусловило разработку программистами программного приложения для векторной графики, именуемое Canvas. Это что ни на есть профессиональный графический пакет. С помощью него можно создавать векторные изображения, их эффективно редактировать, то есть видоизменять согласно внесению индивидуальных параметров.
Это приложение стало правой рукой для тех, кто постоянно работает с импортом и экспортом, сохранением и созданием электронных картинок различных форматов. Все созданные в вышеуказанном приложении изображения можно компоновать в единый проект.
Canvas имеет свойство работать как с двухмерной, так и трехмерной графикой и открывает много возможностей для их редактирования как такового. То есть пользователю разрешается видоизменять их, добавлять свои шаблоны, надписи и многие иные метки. Все изменения отпечатываются на различных слоях графики, что дает возможность легко их убрать или добавить при необходимости позже.
Естественно, что открываются файлы с расширением CVS программным приложением, в котором они и созданы, а именно Canvas.
Стандартная операционка Виндовс не способна открывать файлы с таким расширением. Причем, она может выдать сообщение о том, что нет инструмента для их открытия либо дать конкретный сбой. Вот почему об этих электронных единицах нужно знать всем пользователям персональных компьютеров.
Если операционка дала сбой, нужно немедленно просканировать ее реестр.
Не всегда под CVS понимаются изображения. Эта аббревиатура может расшифровываться и вот так — Concurrent Versions System. А это совсем не Canvas, а программный продукт систем управления электронными версиями. Она отвечает за сохранение истории видоизменений определенного числа файловых единиц. Зачастую это программное обеспечение используется программистами в работе с исходным кодом ПО. Как видим ни о каких изображениях здесь речь не идет.
Эта система получила распространение в сфере создания открытого ПО и распространяется согласно лицензионного пакета GNU GPL.
Эта система позволяет нескольким пользователям-программистам работать одновременно над одним проектом и в среде локальных сетей обмениваться информацией. Это что-то похожее на пиринговые сети. Это очень комфортабельно, когда речь идет о каких-то массовых проектах.
Вот и рассмотрели мы с вами, что собой может представлять такой электронный элемент как CVS, который в силу своего нераспространения в отечественной компьютерной сети вызывает много вопросов. Порой этот формат файлов даже относят к вирусам.
Как видим, бояться этих файлов не стоит, но и распаковывать их тоже не следует, если вы работаете с операционной системой Виндовс, чтобы потом не напороться на неприятности с ее переустановкой.
В современное время пользователю компьютерной техники приходится изучать массу информации о многих новых программных приложениях и возможностях. Это обуславливает развитие его профессионального понимания того, что вообще представляет из себя вся электронная сеть, ее составляющие и принципы их работы.
Имея понятие о них, очень просто разобраться с любой проблемой, возникающей во время работы на персональном компьютере. Чем больше вы вникаете в саму суть, тем меньше у вас желания вызывать на дом программиста, который ничего нового из того, что вы уже знаете, вам не поведает. А это и есть первая предпосылка экономии вашего семейного бюджета на настройках вашей компьютерной техники.
Надеемся, что изложенная информация в этой статье была вам хоть чем-то полезной. Теперь вы знаете, что такое CVS и почему оно вызывает столько вопросов у многих пользователей компьютерной техники.
Запись опубликована 10.07.2015 автором katrinas11 в рубрике Моя жизнь. Отблагодари меня, поделись ссылкой с друзьями в социальных сетях:
CSV формат файла: инструкция по работе с расширением
CSV (не путать с CVS) — это формат для представления прямоугольного массива (матрицы) числовых и текстовых значений. Это пример формата «плоского файла».
Общее описание формата csv
Поля, содержащие специальный символ (запятая, CR, LF или двойные кавычки), «экранированы», путем заключения в двойные кавычки (Hex 22). Необязательная строка заголовка отображается как первая строка документа в том же формате, что и обычные строки записи. Этот заголовок будет содержать имена, соответствующие полям в документе, и должен содержать то же количество полей, что и записи в остальной части документа.
CSV использует US-ASCII в качестве набора символов, но разрешены другие наборы символов. Иногда файл CVS и CSV путают.
Важная информация о редактировании файлов csv
Как структурированы csv файлы
Шаблоны CSV или файлы данных можно загрузить по ссылкам в верхней части инструмента «Загрузить данные». Первая строка шаблона или файла данных содержит заголовки столбцов. Каждая последующая строка соответствует записи в базе данных. Когда загружается шаблон CSV, он содержит только заголовки столбцов. Поскольку шаблоны используются для добавления новых записей, новые строки будут добавляться для каждой записи.
Когда документ данных CSV загружается, первая строка содержит заголовок столбца, а последующие строки содержат записи данных, которые уже существуют в базе данных. Записи в этих строках можно редактировать или удалять.
В документе CSV каждая строка содержит упорядоченную последовательность заголовков столбцов или значений, разделенных запятыми. Запятые используются для сохранения файловой структуры. Каждая запятая в первой строке (которая содержит заголовки столбцов) разделяет заголовок столбца и место в упорядоченной последовательности столбцов.
Запятые в последующих строках также поддерживают последовательность упорядоченных столбцов, поэтому первое значение в каждой последующей строке представляет значение в первом столбце, второе значение в каждой последующей строке представляет значение во втором столбце и так далее. В отличие от стандартной пунктуации предложений, после запятой не ставится пробел.
Большинство значений заключено в двойные кавычки. Исключением является односимвольное значение, например 1 или 0 (ноль). Заключение значения в двойные кавычки позволяет использовать в поле сложные значения, например, содержащие запятые, без нарушения структуры документа. Например, поле, содержащее ряд элементов, например избранные цвета, может иметь такое значение:
“красный, зеленый и синий”
Вы не будете знать об этих цитатах при просмотре файла данных в приложении для работы с электронными таблицами, но они появляются, когда file просматривается в текстовом редакторе.
Как и чем открыть файл csv расширения
Формат CSV, или значения, разделенные запятыми, это общий формат для хранения и передачи контента, включая контакты, календарные встречи и статистические данные. Excel по умолчанию читает файлы CSV, но в большинстве случаев, когда открывается таблица CSV в Excel, видно только зашифрованные данные, которые невозможно прочитать.
В инструкции ниже показано, как легко правильно открывать файлы CSV в Excel и просматривать их без необходимости конвертации чего-либо.
Программы для работы с CSV
Файл CSV можно открыть в любой программе, однако для большинства пользователей CSV формат лучше всего просматривать в программе для работы с электронными таблицами, например в Microsoft Excel, OpenOffice Calc или Google Docs.
Microsoft excel
Microsoft Excel — полезная программа для анализа данных и документации. Это программа для работы с электронными таблицами, которая содержит ряд столбцов и строк, где каждое пересечение столбца и строки является «ячейкой». Каждая ячейка содержит одну точку данных или одну часть информации. Организуя хранение данных таким образом, вы упростите поиск информации и получите возможность автоматически извлекать информацию из изменяющихся данных.
Открытие csv сразу с разделением столбцов в эксель
Вы можете либо щелкнуть файл правой кнопкой мыши и открыть его в Excel, либо перейти к файлу из Excel и открыть его напрямую.
После открытия использовуйте пункт меню «Данные → текст в столбцы» для преобразования. Выберите «по разделителю» в поле выбора и используйте запятую в качестве единственного разделителя убедитесь, что это единственный отмеченный пункт.
Ручной метод превращения таблицы эксель в CSV файл
Libreoffice calc
LibreOffice — это бесплатный полнофункциональный пакет офисных приложений. Его родным файловым форматом является Open Document Format (ODF), открытый стандартный формат, который принимается правительствами во всем мире в качестве необходимого формата файлов для публикации и приема документов. LibreOffice также может открывать и сохранять документы во многих других форматах, включая те, которые используются в нескольких версиях Microsoft Office, в том числе и CSV.
Openoffice calc
Apache OpenOffice — это офисный программный пакет с открытым исходным кодом для обработки текстов, электронных таблиц, презентаций, графики, баз данных и многого другого. Он доступен на многих языках и работает на всех распространенных компьютерах. Он хранит все ваши данные в международном формате открытого стандарта, а также может читать и записывать файлы из других распространенных пакетов офисного программного обеспечения. Его можно скачать и использовать совершенно бесплатно для любых целей.
Блокнот
Блокнот — это универсальный текстовый редактор, включенный во все версии Microsoft Windows, который позволяет создавать, открывать и читать файлы с открытым текстом. Если файл содержит специальное форматирование или не является файлом с открытым текстом, его нельзя прочитать в Блокноте.
Notepad++
Notepad ++ — это бесплатный текстовый редактор для Microsoft Windows, который предоставляет дополнительные функции, которых нет в стандартном текстовом редакторе Windows, Блокноте. Впервые он был выпущен 24 ноября 2003 года разработчиком Дэном Хо и все еще находится в активной разработке.
Notepad ++ специально разработан для редактирования исходного кода. «++» в названии — это ссылка на оператор в таких языках программирования, как C, C ++, Java и JavaScript.
Safari
Safari — это интернет-браузер, который был впервые представлен 30 июня 2003 года и поддерживается на операционных системах Apple MacOS X и IOS.
Microsoft outlook
Microsoft Outlook — это приложение для управления электронной почтой и задачами, которое доступно в большинстве версий Microsoft Office. Впервые он был выпущен с Exchange Server 5.5 как связанная программа, а затем интегрирован в качестве основного приложения с пакетом Microsoft Office 97 и последующими версиями.
Просмотр формата csv онлайн
Для того, чтобы открыть CSV формат на компьютере без установки сторонних программ, можно использовать онлайн-сервисы. Вот список самых распространенных из них:
Открываем расширение csv на android
Для того, чтобы открыть расширение CSV формата на смартфоне под управлением Android, необходимо найти в Play Market подходящую программу, поддерживающую этот формат. Вот список самых распространенных из них:
Решение проблем с файлами csv
Проблема 1: Сталкиваюсь с ошибками преобразования набора символов.
Используйте программу uconv для устранения ошибок при преобразовании набора символов.
Iconv входит в состав большинства дистрибутивов ОС UNIX, а uconv – нет. iconv ограничен памятью. uconv намного лучше подходит для работы с большими файлами. Используйте app-get или другой менеджер пакетов UNIX, чтобы получить uconv, если его нет. Затем введите команду:
uconv –from-code ISO_8859-1 –to-code UTF8
Проблема 2: Что делают эти посторонние управляющие символы?
Иногда файл выглядит нормально, но не загружается. Он может содержать непечатаемые символы ASCII, которые обычно не используются в файлах CSV. Их бывает сложно отследить. Может возникнуть эта проблема, если вы получаете необычные сообщения об ошибках при попытке загрузить файл и не можете отследить причину ошибки.
Используйте эту команду Perl, чтобы удалить эти символы, пропустив через нее файл:
Проблема 3: Не знаю, как обращаться со значениями NULL.
Обратите внимание, что у Postgres есть некоторые проблемы с импортом этих типов файлов, если они содержат значения NULL. Postgres не позволит указать значение NULL как пустую строку (,,). Обычно это хороший способ представления NULL, но он не будет правильно импортирован как NULL в Postgres.Необходимо использовать явный указатель NULL, например \ N, поэтому, если вас действительно волнуют значения NULL, вы должны использовать \ N.