MapInfo Pro v15.2: производительность, размер файла и мультиязычность

Pitney BowesMapInfo Pro™ Monthly Journal

Вам когда-нибудь приходилось разбивать таблицу MapInfo на две, из-за лимита на размер файла в 2 GB? Или может быть вам приходилось работать с данными, которые включали несколько наборов символов (данные Юникод)? Если да, то здесь для вас хорошие новости!

MapInfo Pro v15.2 поддерживает Юникод (наборы символов UTF-8 и UTF-16) и позволяет создавать файлы размером больше 2 GB. Для того чтобы сделать работу с большими файлами более практичной, была повышена производительность системы при выполнении различных операций.



Создание больших таблиц - Расширенный (Extended) формат файлов TAB

Версия v15.2 - это первая версия MapInfo Pro которая может создавать TAB файлы размером более 2 GB. Мы назвали этот формат файла Расширенный (Extended) TAB. Важно обратить внимание, что это формат не используется в MapInfo Pro v15.2 по умолчанию, так как пока это единственная версия поддерживающая расширенные (Extended) файлы  Tab.

Создать таблицу в расширенном формате просто. Вы увидите эту опцию при сохранении копии таблицы или при создании новой таблицы. Из выпадающего списка Тип файла, выберите в диалоге Сохранить копию - MapInfo Extended (*.tab).

Save as

При создании новой таблицы, также доступна новая опция Расширенный (Extended) TAB файл.

При использовании импорта, вы также можете выбрать опцию MapInfo Extended Tab, если размер набора данных превышает 2 GB.

Поддержка Юникод

Версия 15.2 полностью поддерживает Юникод. Это позволяет корректно отображать данные с несколькими наборами символов одновременно. Это могут быть как смешанные данные в одной таблице, так и различные наборы данных с различными наборами символов, как показано на картинке ниже.

Unicode example
На картинке выше, Русские (Cyrillic), Арабские и Японские данные одновременно отображаются в MapInfo Pro.

Замечание по поводу импорта данных в MapInfo TAB или Extended TAB: Универсальный транслятор, включённый в релиз v15.2, не может создавать или читать файлы MapInfo Extended TAB. Выход обновлённой версии Универсального транслятора планируется в первой половине 2016.

UTF-8 и UTF-16

Юникод обеспечивает уникальный номер для каждого символа, независимо от платформы, программы или языка. UTF-8 и UTF 16 - это два установленных стандарта кодирования. Они отличаются только количеством байтов, которые они используют для кодирования каждого символа. Поскольку оба используют кодирование с переменной шириной, они могут использовать до 4 байт при кодировании данных, а если говорить о минимумах, то UTF-8 использует только 1 байт (8 бит), а UTF-16 использует 2 байта (16 бит). Это имеет существенное влияние на размер кодируемых файлов. Если используются только символы ASCII, файл в кодировке UTF-16 будет приблизительно в два раза больше, чем файл в кодировке UTF-8.

Если большинство символов в файле это символы ASCII, целесообразно спользовать кодировку UTF-8, в противном случае используйте кодировку UTF-16.

Версия 15.2 позволяет сохранить существующую таблицу в новую таблицу с кодировкой UTF-8 или UTF-16. Вы можете столкнуться с повреждением данных из-за усечения или преобразования, при сохранении копии таблицы между наборами символов в Юникоде и не в Юникоде. При сохранении не UTF-8 данных (не Юникод) в UTF-8 (Юникод), существует возможность усечения данных.

Информация об этом есть в справочной системе MapInfo и есть напоминание в диалоге Сохранить копию...

Настройка значений по умолчанию для Расширенного (Extended) TAB и данных Юникод

Создание наборов данных в Юникоде и таблиц превышающих лимит размера файла в 2 GB по умолчанию не включен.

 

  • Это означает, что вы должны явно выбрать MapInfo Extended (*.tab), если хотите создавать файлы превышающие в размере 2 GB. Причина этого в том, что пока только эта версия 15.2 поддерживает новый расширенный формат файлов  TAB. Вы не сможете использовать данные в расширенном формате в старых версиях MapInfo Pro.
  • Кроме того, вам необходимо явно указать набор символов UTF-8 или UTF-16. В целом, мы рекомендуем использовать кодировку UTF-8, особенно если большинство символов в ваших данных это символы ASCII.

 

При желании, вы можете изменить значения по умолчанию в диалоге Системные режимы, на вкладке PRO-Настройки-Система.




Улучшение производительности в v15.2

SQL-запрос - отбор данных: повышена производительность запросов, особенно когда возвращаемый результат (число строк попавших в выборку в результате запроса) большой. Чем больше возвращаемый результат, тем более сказывается улучшение в производительности. Производительность зависит от ряда факторов, но когда результирующий набор достигает 20,000 - 25,000 записей или больше, улучшения становятся значительными.



Обратите внимание, что в двух нижних примерах запроса, использовался набор данных размером 21.5 GB. Размер результирующей выборки - главный фактор производительности. Чем больше результирующая выборка, тем больше времени требуется для завершения запроса в старых версиях, по сравнению с новой версией MapInfo Pro.

Повышена скорость отрисовки точечных данных:

В MapInfo Pro v15.2 повышена производительность отображения большого количества точечных объектов. Для сравнения использовался то же компьютер, что и в тесте выше.

Производительность запросов к карте (экранная выборка):

Время, затрачиваемое на выборку объектов на карте, с использованием инструментов выбра (в прямоугольнике, в окружности, в полигоне, в границах и обратить выборку) также улучшено. Как и в SQL-запросах, упоминаемых выше, производительность значительно больше, если в выборку попадает большое количество объектов, по сравнению с простой выборкой с несколькими объектами.

Здесь приведён пример, в котором показаны и повышенная скорость отрисовки точечных объектов и улучшено время запроса по карте.



Смарт индексация: мы уже упоминали про улучшение производительности при смарт индексации в нашей статье. Когда ваши данные проиндексированы, некоторые операции редактирования (такие как Обновить колонку, удаление и объединение данных) выполняются быстрее. В некоторых случаях улучшения очень значительные.

Смарт индексация была добавлена и в v15.0 (новейший 32-битный релиз) и в v15.2.

Растровые данные

В этой статье мы рассмотрели улучшения в работе с векторными данными в MapInfo Pro v15.2. Для тех кто работает с растровыми данными, рекомендуем обратить внимание на статьи о MapInfo Pro Advanced. Это наш новый инструмент для анализа растровых гридов. Он также может работать с очень большими наборами данных! Подробней можно почитать здесь.

Заключение

Мы надеемся, что вам понравилось то, что вы здесь увидели. Мы сняли некоторые давние ограничения в программном обеспечении, чтобы позволить вам работать с большими наборами данных.


Автор Tom Probert, редактор журнала "The MapInfo Pro"