Картошкола
Що таке мапа? До 80-х років XX-го сторіччя мапи створювались вручну та були результатом копіткої праці. В наш час мапи в переважній більшості створюються за допомогою комп’ютерів. Сьогодні мапи стали звичним явищем, що використовуються для прокладання маршруту, візуалізації даних та територіальних суперечок. Давайте пірнемо глибше та подумаємо про основні елементи мапи, з боку тих, хто їх створює.
Компʼютерні мапи складаються з даних. Дані, в абстрактному вигляді, це набір з мільярдів точок або навіть кількох полігонів, чи як у фотографії – записи про кольори та кольорову температуру. Дуже важливо розуміти те, що ці дані не призначені для якогось конкретного використання.
На основі даних ми отримуємо значення, зображення та робимо висновки. Найчастіше ми створюємо зображення, під час процесу ‘символізації’ ми вирішуємо, які візуальні елементи будуть представляти різні частини наших даних. Ми аналізуємо дані, це означає, що ми перетворюємо, агрегуємо та узагальнюємо їх, щоб отримати різні відповіді та представити різні аспекти наших знань. Дві задачі символізації та аналізу часто поєднуються, символізація накладає обмеження на те, що нам потрібно показати, а аналіз визначає різні, потрібні нам, аспекти даних.
Дані
По своїй суті, географічні дані поділяються на растрові та векторні - на ті, що складаються з пікселів, або на ті, що базуються на геометрії. Ці два типи даних доволі часто поєднують, наприклад, коли векторні дані доріг накладають на растрові дані супутникових знімків.
Растрові дані
Растрові дані – схожі на знімок, який ви робите цифровою камерою: на найнижчому рівні абстракції – це перелік пікселів з різними значеннями. Коли ви ‘наближаєтесь’ та дивитись на растрові дані, на певному рівні збільшення (масштабі) ви можете розгледіти кожен піксель окремо, зображення виглядає ‘пікселізованим’.
Растрові дані використовуються в знімках Землі, тих що зроблені супутникам, але це тільки початок. Пікселі можуть не мати інформації про колір, замість цього кожен піксель може містити число, яке може показувати висоту над рівнем моря, а набір растрових даних містити інформацію про рельєф поверхні. Або пікселі можуть містити інформацію про температуру чи ступень відбиття хвиль в певному діапазоні, та використовуватись для оцінки навколишнього середовища.
Растрові діапазони
Пікселі в растрових даних не завжди мають кольорове заповнення: ми називаємо їх вміст ‘діапазонами’ (‘bands’). Звичайне зображення має три знайомих діапазони: це Червоний, Зелений та Голубий (Red, Green, та Blue - RGB). Змішуючи їх, ми отримуємо звичайне зображення. Деякі растрові дані мають менше діапазонів, наприклад один для рельєфу, чи більше – не тільки видимі кольори, а й хвилі, які не сприймаються людським оком – інфрачервоні та ультрафіолетові. Під час обробки та показу растрових даних ми можемо обирати та змішувати діапазони таким чином, щоб отримати потрібний нам результат.
Формати растрових даних
Растрові формати призначені для компактного збереження та швидкого доступу до даних для аналізу та показу. Деякі з них мають версії для збереження геопрострових даних використовуючи поширені графічні формати – GeoTIFF та JPEG2000.
По своїй будові, растрові формати потрібні для вирішення двох завдань – збереження даних в пікселі та підтримання звʼязків між пікселями та актуальним їх положенням на поверхні Землі – збереження ‘просторових’ даних.
Векторні дані
Векторні дані містять базову геометрію, а не дані пікселів. Неважливо наскільки ви збільшите масштаб у векторних даних, ви не побачите пікселів: дані зберігаються у вигляді геометричних точок та ліній, які перетворюються у зображення тільки у разі потреби.
Векторні дані використовуються для збереження даних про дороги, будинки, точки інтересу та інші речі, що є у світі.
Атрибути у векторних даних
Пікселі в растрових даних, як правило, мають атрибути, такі як колір, прозорість, або висота. Векторні дані можуть містити набагато більше параметрів: форми часто мають багато даних, повʼязаних з ними, які називаються властивостями або атрибутами. Ця інформація може включати в себе додаткові параметри, які описують властивості, як, наприклад: кількість людей, що живуть в цій провінції; текстові дані, такі як назва міста, представленого багатокутником; або інші значення, такі як true чи false.
Формати векторних даних
Найбільш визнаним форматом векторних даних є Shapefile – простий, оснований на файлах формат, який незграбно розподіляє необхідні дані між чотирма файлами – .shp (де знаходяться фактичні дані про геометрію), .prj (містить рядок, що описує проекцію яка використовується), .shx (індекс для пришвидшення пошуку) та .dbf (файл бази даних, в якому міститься вся інформація пов’язана з геометрією з файлу .shp). Більшість цих фалів є бінарними, тож переглядаючи їх в текстовому редакторі ви не побачите нічого корисного, окрім файлу .prj, який визначає географічну проекцію у вигляді звичайного тексту. Файл бази даних .dbf можна відкрити у LibreOffice Calc, його формат походить від старої специфікації баз даних. Однак, застаріла специфікація бази даних обмежує параметри даних, які ви можете зберігати в shapefile. Наприклад, розмір .dbf файлу не може перевищувати 2GB, назви полів не можуть містити пробілів та обмежені 10 символами, значення NULL не підтримуються, як і переважна більшість спецсимволів, і т.д.
GeoJSON, TopoJSON та KML – нові формати, що засновані на JSON та XML, що відповідно мають звичайний текстовий формат. Являючись текстовими, вони, як правило, простіші в реалізації в програмному забезпеченні, ніж Shapefiles, та в поєднанні з додатковою гнучкістю та можливостями, вони стали стандартом в сучасному програмному забезпечені для веб-застосунків. Недоліком GeoJSON є те, що зараз небагато інструментів для простого порівняння властивостей, тож очищення та аналіз даних є складним завданням.
Топологія
На додачу до збереження точок та форм, деякі векторні формати дозволяють також зберігати топологію – взаємостосунки між різними формами. Наприклад, кордони є дотичними – ви можете стояти одною ногою в Україні, а іншою в Польщі. Отже, багато геопросторових даних будуть мати одну форму для України та іншу для Польщі, кордони яких будуть проходити точно друг над другом, але не мати ніякого зв’язку.
Буває доволі складно коли ви намагаєтесь відповісти на питання ‘які країни мають спільні кордони?’ або спростити форму об’єктів так, щоб кордон між ними лишився дотичним. Для цього ми використовуємо концепцію топології: векторні дані замість того, щоб зберігати форму для України та форму для Польщі, містять кілька ліній та інформацію як ці лінії утворюють кордони для об’єктів. Отже, кордоном між Україною та Польщею буде одна лінія, що відділяє одну країну від іншої та коли вам знадобиться внести уточнення, вони призведуть до змін форм кордонів обох країн.
Геокодінг
Деякі географічні дані не є, а ні векторними, а ні растровими: натомість, вони складаються з чисел, які для компʼютера незрозумілі. Вони зберігаються у вигляді текстових даних, включаючи посилання на назву місця, вулицю, адресу, та інші дані для ідентифікації.
На жаль, немає простого шляху для перенесення їх на мапу. Існує непрямий та часто доволі неточний процес перетворення слів, наприклад ‘United States’ в точку з координатами ‘-120, 40’. Цей процес ми називаємо геокодінгом. Геокодінг ґрунтується на базі даних назв вулиць, країн й так далі, що повʼязані з їх географічним положенням, та алгоритмах, які намагаються знайти найближче місце для неточних вхідних даних.
Зворотній геокодінг
Процес, що відбувається в зворотньому напрямку називається зворотнім геокодінгом. Він полягає в перетворенні географічних даних в зрозумілий людям текст, як то United States чи 1714 14th Street. Так само як й геокодінг, він є певним припущенням – одне місце на Землі може бути в середині форм що перекривають друг друга або мають конфлікти або між адресними точками.
Геокодінг та зворотний геокодінг є доволі складними процесами: координати можуть бути помилковими, неповні адреси, та, навіть, вулична мережа та будівлі, що постійно змінюються, вносять багато складностей в прив’язку адрес до координат, чи навпаки.
дізнайтесь більше про геокодінг
Збір даних
Картографічні дані збираються постійно впродовж років – від корабельних журналів до гео-прив’язаних твітів. На поточний момент існує кілька основних джерел, що заслуговують обговорення:
GPS – сузірʼя супутників, які дають можливість вашому телефону показати синю точку на мапі, є основою для збору точних векторних даних. Дослідники можуть пересуватись маючи високоточні приймачі GPS-сигналу та об’єднувати свої результати у щось, що викликає довіру.
Супутники спостереження та літаки збирають більшість растрових даних, що ми маємо сьогодні, постійно фотографуючи поверхню Землі з різної висоти та об’єднуючи знімки у те, що виглядає як зменшене зображення світу. Ті ж самі датчики збирають те, що ми називаємо ‘невидимим спектром’, наприклад інфрачервоне випромінювання, що використовується для створення мап в рослинництві та для аналізу зменшення території лісів. Деякі наворочені установки обладнуються LiDAR-ами, це щось на кшталт лазерних датчиків, які вимірюють відстань та зберігають ці дані у растровому вигляді.
Корпорації, уряди та спільноти створюють різні мапи світу з різним рівнем деталізації. Наприклад, Google та OpenStreetMap націлені на нанесення всіх доріг та інформації про них, а такі джерела як CIA World Factbook та Natural Earth підтримують інформацію про кордони країн.
Збереження
Існує багато способів збереження картографічних даних. Дані можуть зберігатись у друкованому вигляді, але останнім часом більш популярним є збереження та доступ до даних у цифровому вигляді.
Є кілька різних типів файлів та домовленостей щодо збереження картографічних даних, а й отже і різні інструменти для перетворення між різними поданнями. Дані зберігаються у базах даних або в індивідуальних файлах, але на практиці ця різниця неважлива.
Інформація
Мапи є візуалізованою інформацією: З одного боку існують проблеми датумів, чисел та їх збереження – основи того, як ми записуємо та відрізняємо різні місця на Землі. Між даними та візуалізацією знаходиться процес обробки, який ми називаємо ‘проекцією’ – якому місцю на Землі буде відповідати місце на зазвичай пласкій поверхні, такій, як друкована мапа чи мапа на екрані комп’ютера. Та в кінці, нам потрібно вирішити такі деталі, як колір, відтінки та вид, яким ми спробуємо відтворити дані в зображені, так щоб люди зрозуміли та змогли інтерпретувати їх.
Широта та довгота
Найпоширенішим способом вказання місця на Землі є зазначення його широти та довготи. Історично склалось так що широту та довготу вказують у градусах хвилинах та секундах 38° 12', нові стандарти дозволяють використовувати десяткове обчислення 38.2, що значно спрощує комп’ютерну обробку.
Широта – значення в діапазоні від -90° на Південному полюсі, до 90° на Північному полюсі. На екваторі значення широти дорівнює 0°.
Довгота – значення в діапазоні від -180 до 180, та лінією де вони зустрічаються, яка проходить в Тихому океані з півночі на південь та називається антемеридіан (antimeridian). Нульовий меридіан або Prime Meridian, який проходить через Африку та Європу визначено за координатами Королівської обсерваторії в Гринвічі, Лондон.
Поєднання широти та довготи називають координатами, які можуть записуватись у вигляді ‘широта, довгота’ або ‘довгота, широта’: історично склалось так що перший варант був стандартом, але останнім часом набув популярності варіант ‘довгота, широта’ що відзеркалює порядок зазначення координат ‘X, Y’ в евклідовій геометрії.
Порядок зазначення координат іноді призводить до непорозумінь, через те, що програмне забезпечення для веб оглядачів очікує порядок ‘широта, довгота’, в той час як багато комунікаційних протоколів вказують ‘довгота, широта’.
Іноді в дані додається не тільки довгота та широта; висота над рівнем моря також може додаватись, так само як і час знімка, разом з іншими параметрами. У випадку додавання висоти над рівнем моря, вона зберігається у вигляді третьої координати – ‘довгота, широта, висота’.
Форма земної кулі
Збереження та відтворення світу ставить перед нами питання, яку він має форму – чи можуть значення довготи та широти бути перенесені на ідеальну кулю та навпаки на пласку поверхню, та зберегти геометричну точність?
Через те, що Земля – обертовий обʼєкт частини якого можуть змінювати форму, що призводить до розширення в середині – то замість шару вона більше походить на стиснений сфероїд. Якщо подивитись краще, це не зовсім так, оскільки Земля має нерівності поверхні у вигляді гір та долин, та, навіть, рукотворні зміни у вигляді міст.
Для повсякденного вжитку ми використовуємо певні припущення щодо форми Землі: наприклад стандарт WGS84 визначає точні значення довжини обох вісей, отже ми можемо вважати Землю референц-еліпсоїдом, а не сферою. Вимірювання на місцевості та наукові розробки, які вимагають точних значень, можуть використовувати модель геоїда, що є тривимірним обчисленням з використанням уявного рівня моря.
Галузь наук про Землю, яка називається геодезія, є нескінченим процесом визначення та вимірювання Земної поверхні, з того часу як наші здатності створювати моделі та вимірювати Землю значно покращились, а Земля постійно змінює власну форму.
Проекції
Те, що ми називаємо проекцією – математична формула, за допомогою якої здійснюється перенесення об’єктів світу на пласку поверхню для друку або виводу на екран. Це доволі важке завдання, така трансформація, – тому що немає способу точно перенести світ на екран без певної деформації. Ви втрачаєте або напрямок, або відносні розміри, або виходить щось, що виглядає дуже дивно.
дізнайтесь більше про проекції
Символізація
Символізація – це таке вигадане слово, для конкретних способів перетворення даних на зображення світу на мапах.
По суті, дані не виглядають як: перелік значень пікселів або дороги, що знаходяться в таблиці або в вигляді ліній, як на мапі. Тому ‘перетворити’, це не зовсім те слово для того, що ми робимо з даними: Рішення – так більш правильно казати про те, як ми робимо це.
Техніки символізації включають все, що може бути представлено в графічному вигляді, або навіть у 3D, тож нумо подивімось тільки на деякі з них:
Послідовності та Категорії
Символізація намагається висвітлити дві різні риси даних: послідовність та категоризацію. Послідовність даних, що іноді називають лінійністю, має тенденцію бути числовим значенням в межах заданого діапазону, як випускні оцінки від 0 до 100, або висота над рівнем моря. Категорійність, або дискретність даних, на відміну від цього, має чіткі значення – наприклад, ‘true’ або ‘false’, ‘демократ’ чи ‘республіканець’.
Цей поділ даних є основною причиною символізації – послідовні набори даних можуть відповідати точкам різної величини на мапі, або кольоровому градієнту, в той час, як категорійні дані в основному показуються різними позначками, чи конкретними кольорами.
Хороплет
Хороплет (Фонова картограма) зберігає контури та межі територій та показує дані у вигляді змін їх кольорів, штрихування чи використання різних текстур. Найвідомішим прикладом такої мапи є мапа з результатами голосування чи демографічними показниками, на якій дані по певній території, отримані у вигляді процентів, показуються для кожного окремого виборчого округа чи області перепису населення.
Хороплет природно підходить для даних на кшталт рейтингів, параметрів щільності, або подання у вигляді процентів. Його не рекомендується використовувати для абсолютних величин: оскільки на ньому території лишаються незмінними, і таким чином перебільшується значення великих областей. Також, тому, що хороплет базується на кольоровій диференціації для подання інформації, дуже важливо правильно підбирати кольори, так щоб вони були зрозумілі, цілісні та доступні, особливо для людей з проблемами розрізнення кольорів.
Точкова картограма
Точкова картограма є кращою альтернативою для абсолютних значень, єдина геометрія, що вони показують – це точки для кожного обʼєкта на мапі.
Кожна окрема точка чи маркер, що використовується для цього типу стилізації мап дуже сильно відрізняються один від одного. Кольорові точки створені на основі послідовностей та категорій, можуть стати в нагоді; точки також можуть бути різного розміру, щоб показати їх відносне значення. Цими масштабованими символами можуть бути різні фігури та зображення, такі як кола, квадрати, або навіть малюнки того, що вони представляють. У випадку, коли потрібно показати суму кількох значень, можна використовувати масштабовану кругову діаграму, що є також одним з приголомшливих способів показати, чим можуть бути комплексні набори даних.
Потрібно бути обережним, щоб не показувати багато точок одразу, щоб не ускладнити сприйняття мапи. У випадку, коли потрібно показати багато точок, хороплет з агрегованих значень з точок буде кращою альтернативою. Іншим виходом може бути використання кластеризації, коли скупчення точок обʼєднується в одну, доки ми не наблизимось до цього місця.
Публікація
Аналіз
Растровий та векторний аналіз, як агрегація та трансформація.
Перетворення векторних даних в растрові
Ми можемо перетворювати дані з одного формату в інший, це не так важко, як виглядає з першого погляду, і насправді, є дуже поширеною практикою, хоча не завжди помітною.
Зазвичай, векторні дані майже завжди перетворюються на растрові – те що називають “растеризацією” або “рендерінгом” під час показу: екран компʼютера та друкарки оперують даними на рівні пікселів, а не ліній чи фігур. Таке перетворення не є досконалим: памʼятаєте, що векторні дані не базуються на пікселях, і ми в змозі наблизитись якомога близько і не побачити розмитих обʼєктів. Отже, як правило, векторні дані перетворені у растровий вигляд не можуть бути перетворені назад з растрового вигляду у початковий векторний вигляд.
Іноді ми перетворюємо векторні дані в растрові завчасно, для того щоб виконати певний аналіз, тому що математичні обчислення легше виконувати використовуючи пікселі.
Перетворення растрових даних у векторні
Так само, растрові дані можуть бути перетворені на векторні різними способами. Використовуючи растрові знімки Землі, люди креслять або “малюють” лінії для доріг, точки для адрес, полігони для будинків. Це дає нам можливість мати версію даних на основі яких можна зробити багато різних речей, наприклад, зʼясувати маршрут для поїздки на основі векторних даних про вулиці, що ви не в змозі зробити з супутниковим знімком вулиць.
Моделювання
З географічними даними, можна імітувати певні природні процеси, і таке моделювання є великою частиною того, що роблять картографи. З огляду на дані про висоту гірських хребтів, можна імітувати освітлення та тіні для них, такий процес називається hillshading.
Також можливі більш складні обчислення, такі як наприклад, визначення місць де буде накопичуватись вода після дощів – визначення ‘вододілу’ (‘watershed’), або визначення на мапі місць, які будуть у зоні видимості спостерігача, який знаходиться на вершині гори – визначення ‘зон видимості’ (‘viewshed’).
Агрегування
Найбільш поширеною формою агрегації є ідея створення підсумків – з огляду на велику групу чисел, ви можете скласти їх, щоб отримати уявлення про них всі відразу. Наприклад, ВВП країни є більш інформативним покажчиком, ніж просто перерахування кожного індивідуального внеску в економіку.
Агрегування на мапах використовується аналогічно. Отримані гранульовані дані, такі як дані про індивідуальний доход кожного мешканця, ви можете, використовуючи алгоритми зіставлення, підсумовувати або обчислювати середні значення по кожній окремій місцевості, щоб показати середній дохід по області або місту.
Агрегування також використовується разом з технікою, що називається гуртування (binning): маючи дискретні точки, ви можете створювати довільні фігури на мапі (прямокутники, гексагони або прямокутні чи гексагональні сітки) та рахувати точки, що опинились в межах таких фігур. За допомогою такого підходу, замість використання мільйонів маленьких точок, які неможливо розрізнити, можна створювати мапи у вигляді хороплетів.
Інтерполяція
У той час, коли для агрегування потрібно багато даних, які перетворюються в щось більш просте для аналізу і візуалізації, інтерполяція ‘заповнює прогалини’ між значеннями. Інтерполяція часто використовується для наборів даних, наприклад таких як висота, де у вас є значення растрових даних, в яких є записи про висоту через кожен дюйм, але є кілька місць, яких даних бракує - то, що програмісти називають ‘null’ значення.
Під час інтерполяції ми дивимося на значення навколо ‘пропусків’ та передбачаємо, що пропущені значення в основному схожі на ті, що є навколо них – пропущений піксель на вершині гори буде вважатись досить високим, в той час як такий піксель в долині – низьким.
Існує багато способів інтерполяції даних:
- Теплові мапи (Heatmaps) – кожній точці на мапі задається її питома вага, а скупчення таких точок показується більш “теплим” кольором.
- Лінії висот (Contour lines) – використовуються зразкові дані по яких малюються замкнені контури, що показують безперервну оцінку висоти. Мапи висот часто використовують цю техніку.
- Триангульовані нерегулярні сітки (TIN – Triangulated Irregular Network) – показують трикутники між точками, що використовуються для візуалізації рельєфу.
- Діаграма Вороного (Voronoi diagrams) – використовує набір точок для створення полігонів навколо них.
Післямова
Ми сподіваємося, що цей матеріал був цікавим та таким, що надихає: в цій галузі такий великий потенціал і так багато питань без відповіді. Мапи повʼязані з різними темами, та поширюються на мистецтво, математику, фізику, екологію та на багато інших сфер.
Ми залюбки вислухаємо усі питання та зауваження, що спали вам на думку під час читання.