Архивы mysql

MySQL: выгрузка результата запроса в файл

20.12.2023 Павел Грибов MySQL

Одним из способов является — воспользоваться встроенным функционалом MySQL. Например так мы выгрузим результат запроса в файл формата csv:

select  
	b_form_result.ID, 
	b_form_result.DATE_CREATE, 
	b_form_result.STATUS_ID, 
	b_form_result.FORM_ID, 
	b_form_result_answer.USER_TEXT, 
	b_form_result_answer.ANSWER_TEXT_SEARCH, 
	b_form_result_answer.ANSWER_TEXT, 
	concat("https://wfcwerfe.ru/upload/",SUBDIR,"/",b_file.FILE_NAME) 
from    
	b_form_result  
	left join b_form_result_answer on b_form_result_answer.RESULT_ID=b_form_result.ID 
	left join b_file on b_file.ID=b_form_result_answer.USER_FILE_ID 
where 
	b_form_result.TIMESTAMP_X>"2023-12-06 16:37:26" 
	INTO OUTFILE '/tmp/res.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';

select

b_form_result.ID,

b_form_result.DATE_CREATE,

b_form_result.STATUS_ID,

b_form_result.FORM_ID,

b_form_result_answer.USER_TEXT,

b_form_result_answer.ANSWER_TEXT_SEARCH,

b_form_result_answer.ANSWER_TEXT,

concat("https://wfcwerfe.ru/upload/",SUBDIR,"/",b_file.FILE_NAME)

from

b_form_result

left join b_form_result_answer on b_form_result_answer.RESULT_ID=b_form_result.ID

left join b_file on b_file.ID=b_form_result_answer.USER_FILE_ID

where

b_form_result.TIMESTAMP_X>"2023-12-06 16:37:26"

INTO OUTFILE '/tmp/res.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';

Оставить комментарий csv, mysql

MySQL: вычисление значения на основе предыдущей выборки значения

31.10.2023 Павел Грибов MySQL

Дано: в БД пишутся счетчики прошедших через интерфейс байт нарастающим итогом в байтах

Задача: вычислить загрузку канала в мбит/сек

Решение:

В данном случае нам поможет оконная функция LAG, которая позволяет затаскивать к текущему значению выборки, предыдущее. Например так:

select dt,(cur-pred)/60/1024 as mbit from (
    SELECT 
    dt,value as cur,
    LAG(value) OVER(PARTITION BY value_type order by value) as pred
    FROM m_data WHERE place=10 and source=12 and value_type=7 order by id desc
)  as zx

select dt,(cur-pred)/60/1024 as mbit from (

SELECT

dt,value as cur,

LAG(value) OVER(PARTITION BY value_type order by value) as pred

FROM m_data WHERE place=10 and source=12 and value_type=7 order by id desc

) as zx

Оставить комментарий lag, mysql

Insert или Update если не уникальная запись

14.12.2022 Павел Грибов MySQL

Маленькая напоминалка . Синтаксис pgsql чуть отличается от mysql.

Задача: если запись не уникальна в таблице, то просто обновить дату последнего обновления.

MySQL:

INSERT INTO users_sessions(user_id, ssid) VALUES(10, "1") ON DUPLICATE KEY UPDATE last_updated=now()

1	INSERT INTO users_sessions(user_id, ssid) VALUES(10, "1") ON DUPLICATE KEY UPDATE last_updated=now()

PostgreeSQL:

insert into users_sessions (user_id,ssid) values (10,'1') on conflict(ssid) do update set last_updated=now();

1	insert into users_sessions (user_id,ssid) values (10,'1') on conflict(ssid) do update set last_updated=now();

Уникальным должен быть объявлен столбец ssid

Оставить комментарий insert or update, mysql, pgsql

Как постранично (порционно) листать результат запроса в 1С (ака LIMIT x,y в MySQL)

24.03.2021 Павел Грибов 1C

Большая беда MSSQL и как следствие 1С — отсутствие возможности порционно листать записи результата запроса как в MySQL. В результате рождаются такие монстроузные алгоритмы как ниже (код не мой):

Функция GetNewsList(body, answer) Экспорт
	
	answer.error = Истина;
	answer.errortext = "Что-то пошло не так..";
	answer.result = "";
	
	Попытка
		page = ?(ЗначениеЗаполнено(body.page), Число(body.page), 1);
		Если page < 1 Тогда
			page = 1;
		КонецЕсли;
		
		nums = ?(ЗначениеЗаполнено(body.nums), Число(body.nums), 5);
		Если nums < 5 Тогда
			nums = 5;
		КонецЕсли;
		
		ПредДата = ТекущаяДата();
		ПредКод = "";
		Если page > 1 Тогда
			Запрос = Новый Запрос;
			Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 100
			               |	Хрюкости.Дата КАК Дата,
			               |	Хрюкости.Код КАК Код
			               |ПОМЕСТИТЬ тПредыдущих
			               |ИЗ
			               |	Справочник.ПоследниеСплетни КАК Хрюкости
			               |
			               |УПОРЯДОЧИТЬ ПО
			               |	Хрюкости.Дата УБЫВ,
			               |	Хрюкости.Код УБЫВ
			               |;
			               |
			               |////////////////////////////////////////////////////////////////////////////////
			               |ВЫБРАТЬ ПЕРВЫЕ 1
			               |	тПредыдущих.Дата КАК Дата,
			               |	тПредыдущих.Код КАК Код
			               |ИЗ
			               |	тПредыдущих КАК тПредыдущих
			               |
			               |УПОРЯДОЧИТЬ ПО
			               |	тПредыдущих.Дата,
			               |	тПредыдущих.Код";
			Запрос.Текст = СтрЗаменить(Запрос.Текст, "100", Формат((page - 1) * nums, "ЧДЦ=0; ЧН=; ЧГ="));
			Выборка = Запрос.Выполнить().Выбрать();
			Если Выборка.Следующий() Тогда
				ПредДата = Выборка.Дата;
				ПредКод = Выборка.Код;
			КонецЕсли;
		КонецЕсли;
		
		Запрос = Новый Запрос;
		Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 100
		               |	Хрюкости.Код КАК news_code,
		               |	Хрюкости.Дата КАК date,
		               |	Хрюкости.Наименование КАК name,
		               |	Хрюкости.Содержание КОНЕЦ КАК content,
		               |	Хрюкости.Изображение КАК image
		               |ИЗ
		               |	Справочник.ПоследниеСплетни КАК Хрюкости
		               |ГДЕ
		               |	(Хрюкости.Дата < &ПредДата)
		               |	ИЛИ
					   |	(Хрюкости.Дата = &ПредДата И Хрюкости.Код < &ПредКод)
		               |
		               |УПОРЯДОЧИТЬ ПО
		               |	Хрюкости.Дата УБЫВ,
		               |	Хрюкости.Код УБЫВ";
		Запрос.Текст = СтрЗаменить(Запрос.Текст, "100", Формат(nums, "ЧДЦ=0; ЧН=; ЧГ="));
		Запрос.УстановитьПараметр("ПредДата", ПредДата);
		Запрос.УстановитьПараметр("ПредКод", ПредКод);
		Выборка = Запрос.Выполнить().Выбрать();
		
		РезМассив = Новый Массив;
		Пока Выборка.Следующий() Цикл
			РезСтрукт = Новый Структура("news_code, date, datestr, name, content, image");
			ЗаполнитьЗначенияСвойств(РезСтрукт, Выборка);
			РезСтрукт.datestr = Формат(Выборка.date, "ДФ='dd.MM.yyyy HH:mm:ss'");
			РезМассив.Добавить(РезСтрукт);
		КонецЦикла;
		
		ЕстьЕще = Ложь;
		Если РезМассив.Количество() > 0 Тогда
			КрайняяНовость = РезМассив[РезМассив.Количество() - 1];
			Запрос = Новый Запрос;
			Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 1
			               |	Хрюкости.Код КАК news_code
			               |ИЗ
			               |	Справочник.ПоследниеСплетни КАК Хрюкости
			               |ГДЕ
			               |	(Хрюкости.Дата < &ПредДата)
			               |	ИЛИ
						   |	(Хрюкости.Дата = &ПредДата И Хрюкости.Код < &ПредКод)
			               |
			               |УПОРЯДОЧИТЬ ПО
			               |	Хрюкости.Дата УБЫВ,
			               |	Хрюкости.Код УБЫВ";
			Запрос.УстановитьПараметр("ПредДата", КрайняяНовость.date);
			Запрос.УстановитьПараметр("ПредКод", КрайняяНовость.news_code);
			ЕстьЕще = НЕ Запрос.Выполнить().Пустой();
		КонецЕсли;
		
		answer.result = Новый Структура("portion, havingmore", РезМассив, ЕстьЕще);
		answer.error = Ложь;
		answer.errortext = "";
		
	Исключение
		answer.errortext = ОписаниеОшибки();
	КонецПопытки;
	
	Возврат answer;
	
КонецФункции

100

101

102

103

104

105

106

107

108

109

110

111

112

113

Функция GetNewsList(body, answer) Экспорт

answer.error = Истина;

answer.errortext = "Что-то пошло не так..";

answer.result = "";

Попытка

page = ?(ЗначениеЗаполнено(body.page), Число(body.page), 1);

Если page < 1 Тогда

page = 1;

КонецЕсли;

nums = ?(ЗначениеЗаполнено(body.nums), Число(body.nums), 5);

Если nums < 5 Тогда

nums = 5;

КонецЕсли;

ПредДата = ТекущаяДата();

ПредКод = "";

Если page > 1 Тогда

Запрос = Новый Запрос;

Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 100

| Хрюкости.Дата КАК Дата,

| Хрюкости.Код КАК Код

|ПОМЕСТИТЬ тПредыдущих

|ИЗ

| Справочник.ПоследниеСплетни КАК Хрюкости

|УПОРЯДОЧИТЬ ПО

| Хрюкости.Дата УБЫВ,

| Хрюкости.Код УБЫВ

|////////////////////////////////////////////////////////////////////////////////

|ВЫБРАТЬ ПЕРВЫЕ 1

| тПредыдущих.Дата КАК Дата,

| тПредыдущих.Код КАК Код

|ИЗ

| тПредыдущих КАК тПредыдущих

|УПОРЯДОЧИТЬ ПО

| тПредыдущих.Дата,

| тПредыдущих.Код";

Запрос.Текст = СтрЗаменить(Запрос.Текст, "100", Формат((page - 1) * nums, "ЧДЦ=0; ЧН=; ЧГ="));

Выборка = Запрос.Выполнить().Выбрать();

Если Выборка.Следующий() Тогда

ПредДата = Выборка.Дата;

ПредКод = Выборка.Код;

КонецЕсли;

Запрос = Новый Запрос;

Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 100

| Хрюкости.Код КАК news_code,

| Хрюкости.Дата КАК date,

| Хрюкости.Наименование КАК name,

| Хрюкости.Содержание КОНЕЦ КАК content,

| Хрюкости.Изображение КАК image

|ИЗ

| Справочник.ПоследниеСплетни КАК Хрюкости

|ГДЕ

| (Хрюкости.Дата < &ПредДата)

| ИЛИ

| (Хрюкости.Дата = &ПредДата И Хрюкости.Код < &ПредКод)

|УПОРЯДОЧИТЬ ПО

| Хрюкости.Дата УБЫВ,

| Хрюкости.Код УБЫВ";

Запрос.Текст = СтрЗаменить(Запрос.Текст, "100", Формат(nums, "ЧДЦ=0; ЧН=; ЧГ="));

Запрос.УстановитьПараметр("ПредДата", ПредДата);

Запрос.УстановитьПараметр("ПредКод", ПредКод);

Выборка = Запрос.Выполнить().Выбрать();

РезМассив = Новый Массив;

Пока Выборка.Следующий() Цикл

РезСтрукт = Новый Структура("news_code, date, datestr, name, content, image");

ЗаполнитьЗначенияСвойств(РезСтрукт, Выборка);

РезСтрукт.datestr = Формат(Выборка.date, "ДФ='dd.MM.yyyy HH:mm:ss'");

РезМассив.Добавить(РезСтрукт);

КонецЦикла;

ЕстьЕще = Ложь;

Если РезМассив.Количество() > 0 Тогда

КрайняяНовость = РезМассив[РезМассив.Количество() - 1];

Запрос = Новый Запрос;

Запрос.Текст = "ВЫБРАТЬ ПЕРВЫЕ 1

| Хрюкости.Код КАК news_code

|ИЗ

| Справочник.ПоследниеСплетни КАК Хрюкости

|ГДЕ

| (Хрюкости.Дата < &ПредДата)

| ИЛИ

| (Хрюкости.Дата = &ПредДата И Хрюкости.Код < &ПредКод)

|УПОРЯДОЧИТЬ ПО

| Хрюкости.Дата УБЫВ,

| Хрюкости.Код УБЫВ";

Запрос.УстановитьПараметр("ПредДата", КрайняяНовость.date);

Запрос.УстановитьПараметр("ПредКод", КрайняяНовость.news_code);

ЕстьЕще = НЕ Запрос.Выполнить().Пустой();

КонецЕсли;

answer.result = Новый Структура("portion, havingmore", РезМассив, ЕстьЕще);

answer.error = Ложь;

answer.errortext = "";

Исключение

answer.errortext = ОписаниеОшибки();

КонецПопытки;

Возврат answer;

КонецФункции

Если вкратце, то алгоритм следующий:

Делаем выборку ВСЕХ записей, определяя, с какой записи было начало предыдущей страницы
Начиная с этой записи, делаем выборку N записей
Передаем результат

Интересно будет посмотреть как этот алгоритм будет вести себя при миллионах записей..

Оставить комментарий 1c, 1с, limit, msqsql, mysql, выдача, постранично

Восстановление только одной таблицы из бекапа MySQL

14.07.2020 Павел Грибов MySQL

Довольно частая ситуация: есть бекап базы. Развертывать его целиком чтобы посмотреть данные одной таблицы? А если он большой это может занять продолжительное время. Есть вариант с использованием sed:

sed -n -e '/CREATE TABLE.*`usbox_services`/,/CREATE TABLE/p' 2020-07-07.sql  > usbox_services.sql

1	sed -n -e '/CREATE TABLE.*`usbox_services`/,/CREATE TABLE/p' 2020-07-07.sql > usbox_services.sql

В результате выполнения будет сформирован файл содержащий только таблицу usbox_services. Ну а далее его уже заливаем стандартно..

Оставить комментарий mysql, восстановление из дампа, одна таблица

1 2 3 … 13 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31