Архивы MySQL

SQL: удаление дублей записей в таблице

03.04.2025 Павел Грибов MySQL

Ну задача написания нужного запроса сводится к следующим шагам:

Сделаем выборку записей, сгруппировав по дублирующемуся полю. Получим количество дублей, и максимальный id дубля (чтобы знать какой удалять)
Если количество записей больше 1, то запись с максимальным id удалим

В итоге запрос может получится примерно таким:

delete from ls_indications where id in (
	select max_id from (
		select count(ls) as cnt,max(id) as max_id from ls_indications where period='2025-03-01' group by ls
	) as zxc where zxc.cnt>1	
)

delete from ls_indications where id in (

select max_id from (

select count(ls) as cnt,max(id) as max_id from ls_indications where period='2025-03-01' group by ls

) as zxc where zxc.cnt>1

)

P.S. Если дублей больше 2-х, то запрос нужно выполнить несколько раз, т.к. он удаляет за один раз только одну дублирующуюся запись. Можно конечно наваять скрипт, который этот недостаток убирает, но смысла обычно нет, проще запрос выполнить несколько раз

Оставить комментарий sql, удаление дублей

MySQL: выгрузка результата запроса в файл

20.12.2023 Павел Грибов MySQL

Одним из способов является — воспользоваться встроенным функционалом MySQL. Например так мы выгрузим результат запроса в файл формата csv:

select  
	b_form_result.ID, 
	b_form_result.DATE_CREATE, 
	b_form_result.STATUS_ID, 
	b_form_result.FORM_ID, 
	b_form_result_answer.USER_TEXT, 
	b_form_result_answer.ANSWER_TEXT_SEARCH, 
	b_form_result_answer.ANSWER_TEXT, 
	concat("https://wfcwerfe.ru/upload/",SUBDIR,"/",b_file.FILE_NAME) 
from    
	b_form_result  
	left join b_form_result_answer on b_form_result_answer.RESULT_ID=b_form_result.ID 
	left join b_file on b_file.ID=b_form_result_answer.USER_FILE_ID 
where 
	b_form_result.TIMESTAMP_X>"2023-12-06 16:37:26" 
	INTO OUTFILE '/tmp/res.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';

select

b_form_result.ID,

b_form_result.DATE_CREATE,

b_form_result.STATUS_ID,

b_form_result.FORM_ID,

b_form_result_answer.USER_TEXT,

b_form_result_answer.ANSWER_TEXT_SEARCH,

b_form_result_answer.ANSWER_TEXT,

concat("https://wfcwerfe.ru/upload/",SUBDIR,"/",b_file.FILE_NAME)

from

b_form_result

left join b_form_result_answer on b_form_result_answer.RESULT_ID=b_form_result.ID

left join b_file on b_file.ID=b_form_result_answer.USER_FILE_ID

where

b_form_result.TIMESTAMP_X>"2023-12-06 16:37:26"

INTO OUTFILE '/tmp/res.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';

Оставить комментарий csv, mysql

MySQL: вычисление значения на основе предыдущей выборки значения

31.10.2023 Павел Грибов MySQL

Дано: в БД пишутся счетчики прошедших через интерфейс байт нарастающим итогом в байтах

Задача: вычислить загрузку канала в мбит/сек

Решение:

В данном случае нам поможет оконная функция LAG, которая позволяет затаскивать к текущему значению выборки, предыдущее. Например так:

select dt,(cur-pred)/60/1024 as mbit from (
    SELECT 
    dt,value as cur,
    LAG(value) OVER(PARTITION BY value_type order by value) as pred
    FROM m_data WHERE place=10 and source=12 and value_type=7 order by id desc
)  as zx

select dt,(cur-pred)/60/1024 as mbit from (

SELECT

dt,value as cur,

LAG(value) OVER(PARTITION BY value_type order by value) as pred

FROM m_data WHERE place=10 and source=12 and value_type=7 order by id desc

) as zx

Оставить комментарий lag, mysql

MySQL: выборка последних значений таблицы с группировкой по колонке

10.01.2023 Павел Грибов MySQL

Задача: выбрать последние по дате значения в таблице для каждого значения в колонке source

Решение: запрос получается с соединением. Т.е. в соединении мы делаем запрос максимальных дат с группировкой по source, а затем соединяем по дате и значению source

SELECT 
m_data.* 
from 
m_data 
inner JOIN (
    SELECT MAX(m_data.dt) as dt,m_data.source from m_data where m_data.source in (SELECT id FROM sources where device IN (1,2)) GROUP by m_data.source
) as maximum
on (maximum.source=m_data.source and maximum.dt=m_data.dt)

SELECT

m_data.*

from

m_data

inner JOIN (

SELECT MAX(m_data.dt) as dt,m_data.source from m_data where m_data.source in (SELECT id FROM sources where device IN (1,2)) GROUP by m_data.source

) as maximum

on (maximum.source=m_data.source and maximum.dt=m_data.dt)

Оставить комментарий группировка, последние значения

Insert или Update если не уникальная запись

14.12.2022 Павел Грибов MySQL

Маленькая напоминалка . Синтаксис pgsql чуть отличается от mysql.

Задача: если запись не уникальна в таблице, то просто обновить дату последнего обновления.

MySQL:

INSERT INTO users_sessions(user_id, ssid) VALUES(10, "1") ON DUPLICATE KEY UPDATE last_updated=now()

1	INSERT INTO users_sessions(user_id, ssid) VALUES(10, "1") ON DUPLICATE KEY UPDATE last_updated=now()

PostgreeSQL:

insert into users_sessions (user_id,ssid) values (10,'1') on conflict(ssid) do update set last_updated=now();

1	insert into users_sessions (user_id,ssid) values (10,'1') on conflict(ssid) do update set last_updated=now();

Уникальным должен быть объявлен столбец ssid

Оставить комментарий insert or update, mysql, pgsql

1 2 3 … 12 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31