Skip to content

Экспорт и импорт данных в SQL Server, используя файлы

Пересказ статьи Edward Pollack. Exporting and Importing Data into SQL Server Using Files


Имеется много доступных приложений и инструментов, которые позволяют перемещать данные в/из SQL Server. Некоторые инструменты встроены Microsoft, такие как SSIS или Azure Data Factory. Другие созданы третьими сторонами, такие как Databricks или Snowflake. Другие доступные варианты используют возможности SQL Server и полагаются на собственные возможности писать эффективный код для получения данных из точки А в точку Б.
Continue reading "Экспорт и импорт данных в SQL Server, используя файлы"

Полезные расширения PostgreSQL, которые стоит изучить прямо сейчас!

Пересказ статьи SInshiya Nalawala. Useful Postgres Extensions to explore right away!


Вы думали когда-нибудь о том, что делает PostgreSQL больше чем просто системой реляционных баз данных?

Расширения PostgreSQL!

Проще говоря, расширения - это модули, функции или низкоуровневые API, которые расширяют возможности PostgreSQL за пределы его базовой функциональности. Их множество, каждое с уникальными вариантами использования, и они творят чудеса для своих пользователей.

Сегодня я собираюсь пролить свет на два расширения PostgreSQL, которые могут позволить вам оценить производительность базы данных, заглянуть внутрь и предпринять необходимые шаги по улучшению производительности.
Continue reading "Полезные расширения PostgreSQL, которые стоит изучить прямо сейчас!"

Пул подключений к базе данных

Пересказ статьи Sujoy Nath. Database Connection Pool





Пул подключений к базе данных - это кэш подключений к базе данных, поддерживаемый с целью повторного использования подключений при необходимости. Это обычный метод оптимизации, используемый в приложениях, которые взаимодействуют с базами данных, для повышения производительности и управления использованием ресурсов. Вместо открытия и закрытия нового подключения к базе данных для выполнения каждой операции пул подключений сохраняет множество подключений открытыми и готовыми к использованию.

Вот как работает пул подключений к базе данных: Continue reading "Пул подключений к базе данных"

Целые автоинкрементируемые ID или UUID в таблицах базы данных: что выбрать?

Пересказ статьи Kamruzzaman Kamrul. Auto-Increment Integer IDs vs. UUIDs in Database Tables: Which to Choose


При проектировании базы данных нужно принять одно важное решение - каким образом уникально идентифицировать каждую запись. Двумя популярными методами являются использование целочисленных автоинкрементируемых ID и универсальных уникальных идентификаторов (UUID). Тут я пытаюсь показать преимущества и недостатки каждого метода.
Continue reading "Целые автоинкрементируемые ID или UUID в таблицах базы данных: что выбрать?"

range_agg: новая функция в PostgreSQL 14

Пересказ статьи Asad Ali. range_agg: A New Feature in PostgreSQL 14


Функция range_agg в PostgreSQL является новой агрегатной функцией, которая позволяет создавать диапазоны из агрегированных данных. Это полезно для суммирования последовательностей непрерывных или дискретных значений в диапазонах, особенно для временных или числовых данных.

Вот пример для демонстрации работы range_agg в PostgreSQL 14. Continue reading "range_agg: новая функция в PostgreSQL 14"

Миграция базы данных MySQL на PostgreSQL с помощью pgLoader

Пересказ статьи Alexei. Migrate a MySQL database to PostgreSQL using pgLoader


У меня возникла интересная задача, и я думаю, что будет полезно поделиться ей. Возможно, это кому-то поможет.

Описание задачи


Я получил дамп базы данных MySQL, но сейчас я работаю с PostgreSQL. Я начал думать о том, как перенести данные из MySQL в PostgreSQL и обнаружил инструмент, который называется PgLoader.

Continue reading "Миграция базы данных MySQL на PostgreSQL с помощью pgLoader"

Новости за 2024-10-19 - 2024-10-25

§ Новая задача DML от selber (сложность 2 балла) и перестановки:
Новая задача -> 24
24 -> 12
12 -> (-2)


§ Популярные темы недели на форуме

Топик		Сообщений	Просмотров
27 (Learn) 5 14
23 (DML) 2 6
35 (Learn) 2 14
190 (Learn) 2 4

Continue reading "Новости за 2024-10-19 - 2024-10-25"

Polars в Python

Пересказ статьи Pawan Kumar Ganjhu. Polars In Python


Polars в Python - это быстрая библиотека фреймов данных, которая подобна Pandas, но разработана с целью обеспечения лучшей производительности для больших наборов данных. Она построен на основе Apache Arrow и Rust, что делает ее эффективной для аналитической рабочей нагрузки. Polars особенно полезна для обработки больших наборов данных и эффективного выполнения операций типа фильтрации, агрегации и преобразований.

Вот краткий обзор использования Polars в Python:
Continue reading "Polars в Python"

Вышел PostgreSQL 17

Пересказ статьи Anton Okolelov. PostgreSQL 17 Released


Производительность


Значительно улучшено управление памятью. Вакуумация теперь потребляет в 20 раз меньше памяти, ускоряя свою операцию и снижая нагрузку на систему.

Операции записи при высокой конкурентной нагрузке стали вдвое быстрей, благодаря оптимизированной обработке WAL.

Улучшенная производительность запросов, использующих условия IN в индексах B-Tree. Добавлена поддержка для инструкций SIMD (включая AVX-512) для ускорения вычислений.

Оптимизирована производительность COPY для экспорта больших объемов данных.

Continue reading "Вышел PostgreSQL 17"

Новости за 2024-10-12 - 2024-10-18

§ Лидеры недели

	Участник		w_sel	all_sel	select	dml	Всего	Рейтинг
Протасов Д.Е. (preblud) 13 31 19 0 19 2129
Чувствин М. (chuvstvinmaxim) 7 79 16 0 16 519
Назаренко И.Ю. (ki.mono) 8 24 13 0 13 2832
Руднев В.В. (pazartesi) 6 53 12 0 12 1024
Голинский М.О. (motcan2) 6 24 10 0 10 2007
Москвин П. (Respect) 6 24 10 0 10 2831
Степаненко К.Ю. (St.Constanti 4 57 7 0 7 912
Доронин С.Р. (stepafix1) 5 5 7 0 7 6743
Давыдов (mdavydov) 5 5 6 19 25 4235
Ц (ArtTR) 4 4 5 2 7 6742
Боярский В.А. (ChronoMorzh) 2 87 5 0 5 304
Metalnikov (kirillmet) 3 79 5 0 5 417
Кочеров Е.С. (ssense) 4 31 5 0 5 1497
Palkina (PalkinaSA) 4 4 5 0 5 7466
Богач В.Н. (Uladzimir Bahach) 4 4 5 0 5 7710
Smith (tibacityblues) 3 15 4 0 4 2132
Zzz (zzzuhra) 3 4 4 0 4 8013
Continue reading "Новости за 2024-10-12 - 2024-10-18"

Использование улучшений SQL/JSON для современных рабочих нагрузок в PostgreSQL 16

Пересказ статьи Vibhor Kumar. Exploiting SQLJSON Enhancements for Modern Workloads in PostgreSQL 16


Последняя итерация PostgreSQL, версия 16, принесла ряд улучшений, которые поддерживают возможности работы с данными JSON. Эти улучшения не только более тесно сближают PostgreSQL со стандартом SQL/JSON, но также предлагают существенную оптимизацию, которая упрощает и улучшает работу с данными JSON. Эта эволюция свидетельствует о стремлении PostgreSQL удовлетворять потребности современных работающих с данными приложений, которые используют полуструктурированные данные для множества вариантов использования.

В этой статье мы вникнем в улучшения SQL/JSON, внесенные в PostgreSQL 16, проиллюстрируем их применение примерами кода и рассмотрим реальные сценарии, для которых эти улучшения могут стать особенно полезными.

Continue reading "Использование улучшений SQL/JSON для современных рабочих нагрузок в PostgreSQL 16"

PostgreSQL. Как выявить запросы, которые максимально используют временные файлы?

Пересказ статьи Dmitry Romanoff. Postgres. How to check the top queries that use temporary files?


Временные файлы в базе данных PostgreSQL могут стать проблемой по нескольким причинам:

  1. Влияние на производительность.

  2. Использование пространства на диске.

  3. Может выделяться все больше и больше памяти.

  4. Проблемы параллелизма.

  5. Сложность в мониторинге и обслуживании.

Что следует делать, чтобы избежать временных файлов в базе данных PostgreSQL?
Continue reading "PostgreSQL. Как выявить запросы, которые максимально используют временные файлы?"

Новости за 2024-10-05 - 2024-10-11

§ Популярные темы недели на форуме

Топик		Сообщений	Просмотров
69 (SELECT) 2 6
56 (Learn) 2 8

§ Авторы недели на форуме

Автор		Сообщений
selber 3
chuvstvinmaxim 2
yarosurafu 2

§ Изменения среди лидеров рейтинга

Рейтинг	Участник (решенные задачи)
54 gennadi_s (149)
70 born2tilt (166, 195)

Continue reading "Новости за 2024-10-05 - 2024-10-11"