Граббер всех файлов телеграм канала
В свете того, что телеграм начали замедлять, появились опасения, что потеряю в конце концов доступ к телеграм каналу, где собрано много всяких интересных файлов. В связи с чем было принято решение спарсить и скачать всё его содержимое. Написанный скрипт проходит по каждому сообщению канала и скачивает все файлы в папки соответствующие идентифактору сообщения (или идентификатору группы сообщений). В общем получилось что-то вроде:
#!/usr/bin/env python3
# encoding: utf-8
import sys
import os,fcntl
import funcs
from telethon import TelegramClient
import requests
import configparser
## Защита от дубля запуска скрипта
fp = open(os.path.realpath(__file__), 'r')
try:
fcntl.flock(fp, fcntl.LOCK_EX | fcntl.LOCK_NB)
except IOError:
sys.exit(0)
config = configparser.ConfigParser()
config.read("settings.ini")
print(config["Telegram"]["telegram_api_id"])
async def SaveFile(dir_name,message):
if os.path.isdir(os.path.dirname(os.path.abspath(__file__))+f"/files/{dir_name}")==False:
os.mkdir(os.path.dirname(os.path.abspath(__file__))+f"/files/{dir_name}")
with open(os.path.dirname(os.path.abspath(__file__))+f"/files/{dir_name}/message.txt", 'w') as file:
file.write(message.message)
print(f"Вложения: {message.media}")
if hasattr(message.media,"document"):
if message.media.document != False:
file_name=message.media.document.attributes[0].file_name
print(f"-вложенный файл {file_name}")
print("--сохраняю..")
if os.path.isfile(os.path.dirname(os.path.abspath(__file__))+f"/files/{dir_name}/{file_name}")==False:
await client.download_media(message.media, file=os.path.dirname(os.path.abspath(__file__))+f"/files/{dir_name}/{file_name}")
print("--ок..")
else:
print("--уже скачивали!")
if hasattr(message.media,"video"):
if message.media.video!=False:
print(f"-вложенное видео")
async def tele_news_parse():
dp = await client.get_entity(config["Telegram"]["stl_chanel"])
poz=int(config["Telegram"]["current_message_id"])
print(f"-start at {poz}")
async for message in client.iter_messages(dp,limit=2,offset_id=poz):
print("---------------------------------------------------------")
if hasattr(message, "message"):
if message.message!=None:
print(f"Сообщение: {message}")
if message.grouped_id:
print("-its album!")
target_group_id = message.grouped_id
search_ids = range(message.id - 20, message.id + 21)
posts = await client.get_messages(config["Telegram"]["stl_chanel"], ids=list(search_ids))
media_group = []
for post in posts:
if post is not None and post.grouped_id == target_group_id and post.media is not None:
media_group.append(post)
for message in media_group:
print(f"--из альбома: {message}")
await SaveFile(target_group_id,message)
else:
print("-its one file!")
await SaveFile(message.id,message)
with open('settings.ini', 'w') as configfile:
poz+=1
print(f"-new poz at {poz}")
config["Telegram"]["current_message_id"]=str(poz)
config.write(configfile)
if __name__ == '__main__':
client = TelegramClient("parser_data", config["Telegram"]["telegram_api_id"], config["Telegram"]["telegram_api_hash"])
client.start()
client.loop.run_until_complete(tele_news_parse())
