first commit

autodetect_hosts.py

@@ -0,0 +1,31 @@
+#! /usr/bin/env python
+import sys
+import main_backuper as mainscr
+
+
+def f_main():
+    conf, errorcode = mainscr.conf_read()
+    hosts, errorcode = mainscr.hosts_read(conf["hosts"])
+    inp = []
+    for host in hosts:
+        if host[2] == "up" :
+            inp.append(host[0])
+    f_json_print(inp)
+
+
+def f_json_print(inp):
+    first = True
+    print("{")
+    print("\t\"data\":[")
+    for key in inp:
+        if not first:
+            sys.stdout.write(",")
+        else:
+            first = False
+        sys.stdout.write("\n\t\t{\"{#HOST}\":\"" + key + "\"}")
+    print("\n\t]")
+    print("}")
+
+
+if __name__ == '__main__':
+    f_main()

cisco_backuper.py

@@ -0,0 +1,146 @@
+#!/usr/bin/python
+# coding=utf-8
+import paramiko
+import time
+import sys
+
+
+def get_data(host, user, password, commands):  # вытаскиваем из циски данные
+    errorcode = ''
+    client = paramiko.SSHClient()
+    client.set_missing_host_key_policy(paramiko.AutoAddPolicy())  # если нет хоста - добавляем
+    out = []  # выхлоп будет в этом списке
+    try:
+        client.connect(hostname=host, username=user, password=password, look_for_keys=False,
+                       allow_agent=False)  # пытаемся подключиться, look_for_keys=False, allow_agent=False - зачем-то нужны циске.
+    except Exception as exept:  # в случае исключения -
+        errorcode = exept  # возвращаем код и описание исключения
+    else:  # усли все в порядке
+        conn = client.invoke_shell()  # врубаем интерактивный шелл - с цисками только так.
+        time.sleep(1)  # задержка
+        conn.recv(1000)  # хаваем все, что выплюнула цика, дабы не отсвечивало
+        for command in commands:  # Читаем и исполняем команды
+            if command[0] == "$username":
+                command[0] = user
+            if command[0] == "$password":
+                command[0] = password
+            conn.send(command[0] + '\n')  # засылаем команду
+            time.sleep(int(command[1]))  # ждем указанный таймаут
+            if command[2]:  # если сказано сохранять - сохраняем выхлоп
+                conn_out = conn.recv(99999999999).splitlines()  # жрем выхлоп в список, разбивая по строкам
+                out_line = ""  # пустая строка для сохранения
+                if len(conn_out) > 2:
+                    conn_out.pop()  # обрезаем последнюю строку строку
+                    conn_out.pop(0)  # Обрезаем первую строку
+                if command[3]:  # если сказано комментить - комментим
+                    for line in conn_out:  # перебираем все строки
+                        line = "!" + line  # Добавляем в начало !
+                        out_line = out_line + line + '\n'  # Собираем все мимо строк, прямо в одну строковую переменную
+                else:  # Если не сказано коментить - не коментим
+                    for line in conn_out:  # перебираем все строки
+                        out_line = out_line + line + '\n'  # Собираем все мимо строк, прямо в одну строковую переменную
+                out.append(out_line)  # Добавляем все толпой  в выхлоп
+            else:  # если выхлоп нам ненужон
+                conn.recv(99999999999)  # хаваем его в никуда
+    finally:  # по окончании всех процедур
+        client.close()  # закрываем коннектий
+    return out, errorcode  # Вертаем все, что наковыряли
+
+
+def read_file(in_file):
+    errorcode = ""  # устанавливаем переменные
+    out = []
+    try:  # Пробуем открыть файл
+        f = open(in_file, 'r')
+    except Exception as exept:
+        errorcode = exept  # не получилось - запиливаем исключение
+    else:  # Если все норм - начинаем читать
+        for line in f:  # Каждую линию
+            sp_line = line.split(',')  # бомбим линию по разделителю в переменную
+            command = []  # устанавливаем список, в котором будет храниться команда с атрибутами
+            if len(sp_line) > 0:  # если элементов больше 0
+                command.append(sp_line[0])  # добавляем элемент в список (это будет команда)
+            if len(sp_line) > 1:  # если больше одного
+                if sp_line[1].strip().isdigit():  # если 1-й элемент из цыфарок
+                    command.append(int(sp_line[1].strip()))  # добавляем цыфарку, это таймаут
+                else:  # если не цыфарки
+                    command.append("1")  # то таймаут - 1 секунд
+            if len(sp_line) > 2:  # если более 2
+                if sp_line[2].strip() == "0" or sp_line[2].strip() == "False":  # 2 элемент равен фалсе или 0
+                    command.append(False)  # добавляем фалсе
+                else:  # если там чтой-то другое
+                    command.append(True)  # добавляем трую
+            if len(sp_line) > 3:  # если элементов больше 3
+                if sp_line[3].strip() == "0" or sp_line[3].strip() == "False":  # 3 элемент равен фалсе или 0
+                    command.append(False)  # добавляем фалсе
+                else:  # если там чтой-то другое
+                    command.append(True)  # добавляем трую
+            if 0 < len(command) < 4:  # если элементов не хватает, добиваем фалсой
+                for i in [0, 1, 2, 3]:
+                    try:
+                        command[i]
+                    except IndexError:
+                        command.append(False)
+            out.append(command)
+    return out, errorcode  # вертаем, что наковыряли
+
+
+def arg_parse(args):  # парсим коммандную строку
+    user = ""  # устанавливаем переменные
+    password = ""
+    cmdfile = ""
+    host = ""
+    errorcode = ""
+    for arg in args[1:]:  # Перебираем элементы, присваивая списку все подряд
+        if "\"" in arg or "\'" in arg:  # обрезаем кавычки, если есть
+            arg = arg[1:-1]
+        sp_arg = arg.split("=")
+        if sp_arg[0].strip() not in ["host", "user", "password", "cmdfile"]:
+            errorcode = errorcode + " " + arg + " Недопустимый аргумент, допустимые аргументы:" \
+                                                "user=, host=, password=, cmdfile="
+        elif sp_arg[0].strip() == "user":
+            user = sp_arg[1].strip()
+        elif sp_arg[0].strip() == "password":
+            password = sp_arg[1].strip()
+        elif sp_arg[0].strip() == "host":
+            host = sp_arg[1].strip()
+        elif sp_arg[0].strip() == "cmdfile":
+            cmdfile = sp_arg[1].strip()
+    if str(user) == "":  # дальше все подряд ясно
+        errorcode = errorcode + "пользователь пустой "
+    if str(password) == "":
+        errorcode = errorcode + "пароль пустой "
+    if str(cmdfile) == "":
+        errorcode = errorcode + "не указан cmdfile "
+    if str(host) == "":
+        errorcode = errorcode + "хост пустой "
+    return user, password, host, cmdfile, errorcode
+
+
+if __name__ == '__main__':
+    user = ''
+    host = ''
+    password = ''
+    cmdfile = ''
+    errorcode = ''
+    if len(sys.argv) > 1:
+        user, password, host, cmdfile, errorcode = arg_parse(sys.argv)
+    commands, errorcode = read_file(cmdfile)
+    if errorcode:
+        exit(errorcode)
+    try:
+        commands
+    except NameError:
+        commands = [['login', 0, False, True],
+                    [user, 0, False, True],
+                    [password, 0, False, True],
+                    ['terminal pager 0', 1, False, True],
+                    ['show version', 5, True, True],
+                    ['show flash', 5, True, True],
+                    ['show configuration', 10, True, False]]
+    output, errorcode = get_data(host, user, password, commands)
+    if errorcode == "0":
+        for out in output:
+            print out
+    else:
+        print("errorcode = " + str(errorcode))

cmd/cisco-asa.cmd

@@ -0,0 +1,7 @@
+login, 1, 0, 0 
+$username, 1, 0, 0 
+$password, 1, 0, 0 
+terminal pager 0, 1, 0, 0
+show version, 5, 1, 1 
+show flash, 5, 1, 1
+show configuration, 10, 1, 0

cmd/cisco-catalyst.cmd

@@ -0,0 +1,4 @@
+terminal length 0, 1, 0, 0
+show version, 5, 1, 1 
+show flash, 5, 1, 1
+more flash:config.text, 10, 1, 0

cmd/cisco-wap.cmd

@@ -0,0 +1,4 @@
+terminal length 0, 1, 0, 0
+show version, 5, 1, 1 
+show flash, 5, 1, 1
+more flash:config.txt, 10, 1, 0

cmd/commands.cmd

@@ -0,0 +1,7 @@
+login, 0, 0, 0 
+$username, 0, 0, 0 
+$password, 0, 0, 0 
+terminal pager 0, 0, 0, 0
+show version, 5, 1, 1 
+show flash, 5, 1, 1
+show configuration, 10, 1, 0

hosts/hosts.db

@@ -0,0 +1,6 @@
+inside.f-warehouse.yaroslavl.jentry.ru, cisco-asa.conf, up
+inside.f-office.yaroslavl.jentry.ru, cisco-asa.conf, up
+inside.f-warehouse2.yaroslavl.jentry.ru, cisco-asa.conf, up
+inside.f-office.tutaev.jentry.ru, cisco-asa.conf, down
+inside.f-office.rybinsk.jentry.ru, cisco-asa.conf, up
+

main_backuper.conf

@@ -0,0 +1,5 @@
+# commmentos
+hosts=/opt/backuper/hosts/hosts.db
+typedir=/opt/backuper/type/ # commento
+cmddir=/opt/backuper/cmd/
+outdir=/opt/backuper/config/

main_backuper.py

@@ -0,0 +1,186 @@
+#!/usr/bin/python
+# coding=utf-8
+
+import os
+import cisco_backuper as cisco
+import datetime
+import logging
+import send_to_zabbix as sender
+
+
+def conf_read():  # читаем конфиг
+    errorcode = ""  # Устанавливаем переменные
+    out = {}
+    try:  # Пробуем открыть конфиг
+        f = open("/opt/backuper/main_backuper.conf", 'r')  # ОПАСНОСТЕ! БЫДЛОКОД!!! ЗАХАРДКОДИЛ КОНФИГ!!!
+    except Exception as exept:  # ЭКСЕПШЕН!!!!
+        errorcode = exept
+    else:  # если все в норме, то вперед, к победе
+        for line in f:  # перебираем лайн по одной
+            if line[0] == "#":  # если начинаетя с решетки - коммент
+                continue  # пропускаем
+            sp_line = line.split("=")  # разделяем строку
+            if len(sp_line) == 2:  # если параметров - сколько надо
+                if sp_line[0] not in ['hosts', 'typedir', 'cmddir', 'outdir']:  # и если это не один из параметров
+                    errorcode = "unknown arg " + str(sp_line)  # говорим, что всё говно
+                    break  # и вываливаемся
+                if "#" in sp_line[1]:  # если во втором аргументе есть решеточка
+                    param = sp_line[1].split("#")[0].strip()  # то обрезаем все, кроме решетки
+                else:  # а если нет
+                    param = sp_line[1].strip()  # то не обрезаем
+                out[sp_line[0]] = param  # добавляем параметр
+    return out, errorcode  # вертаем всё
+
+
+def hosts_read(hosts):  # читаем файл с хостами
+    errorcode = ""  # Устанавливаем переменные
+    out = []
+    args = []
+    try:  # пробуем открыть файл
+        f = open(hosts, 'r')
+    except Exception as exept:  # ловим исключение
+        errorcode = exept
+    else:  # если все в порядке
+        for line in f:  # читаем линии
+            if line[0] == "#":  # если начинаетя с решетки - коммент
+                continue
+            if "#" in line:  # если в строке решетка
+                sp_line = line.split("#")[0].split(
+                    ",")  # то бомбим строку по решетке, и первый элемент снова бомбим, уже по запятой
+            else:
+                sp_line = line.split(",")  # а если нет решетки, то просто бомбим по запятой
+            for arg in sp_line:  # а потом перебираем элементы
+                args.append(arg.strip())  # и добавляем в список
+            out.append(args)  # а потом добавляем список в список
+            args = []  # сбрасываем ненужные уже значения
+    return out, errorcode  # вертаем в зад что наковыряли
+
+
+def type_read(type_dir, type_file):  # читаем тип хоста надоело комментить все как в предыдущей
+    errorcode = ""
+    out = {}
+    try:
+        f = open((type_dir + type_file), 'r')
+    except Exception as exept:
+        errorcode = exept
+    else:
+        for line in f:
+            if line[0] == "#":
+                continue
+            sp_line = line.split("=")
+            if len(sp_line) == 2:
+                if sp_line[0] not in ['cmd', 'user', 'password']:
+                    errorcode = "unknown arg " + str(sp_line)
+                    break
+                if "#" in sp_line[1]:
+                    param = sp_line[1].split("#")[1].strip()
+                else:
+                    param = sp_line[1].strip()
+                    if "\"" in param or "\'" in param:
+                        param = param[1:-1]
+                out[sp_line[0]] = param
+    return out, errorcode
+
+
+def out_write(write_dir, name, out):
+    errorcode = ""
+    now_date = datetime.date.today()
+    dir_to_write = write_dir + str(now_date) + "/"
+    logging.debug("dir = " + str(dir_to_write))
+    outfile = dir_to_write + name
+    logging.debug("file = " + outfile)
+    if not os.path.exists(dir_to_write):
+        try:
+            os.mkdir(dir_to_write)
+        except Exception as exept:
+            errorcode = exept
+            return errorcode
+    if not os.path.isdir(dir_to_write):
+        errorcode = "Dir to write is not dir"
+        return errorcode
+    if not os.path.exists(outfile):
+        try:
+            f = open(outfile, "w")
+        except Exception as exept:
+            errorcode = exept
+            return errorcode
+        else:
+            in_file = ""
+            for outed in out:
+                in_file = in_file + outed
+            f.write(in_file)
+            logging.debug("writed")
+        finally:
+            f.close()
+    else:
+        errorcode = "file exist"
+        return errorcode
+    return errorcode
+
+
+def main():
+    logging.basicConfig(format = u'%(filename)s[LINE:%(lineno)d]# %(levelname)-8s [%(asctime)s]  %(message)s',
+                        level=logging.DEBUG, filename="./backuper.log")
+    errorcode = ""
+    conf = {}
+    out = []
+    conf, errorcode = conf_read()
+    hosts = []
+    if errorcode != "":
+        logging.critical(errorcode)
+        keys = {"backuper[backuper_error]" : "1", }
+        sender.sendkey(keys)
+        exit(errorcode)
+    else:
+        hosts, errorcode = hosts_read(conf["hosts"])
+    if errorcode != "":
+        logging.critical(errorcode)
+        keys = {"backuper[backuper_error]" : "2", }
+        sender.sendkey(keys)
+        exit(errorcode)
+    else:
+        keys = {"backuper[backuper_error]" : "0", }
+        sender.sendkey(keys)
+        for host in hosts:
+            logging.debug(str(host) + "-" + str(errorcode))
+    for host in hosts:
+        if host[2] != "up":
+            logging.debug(host[0] + " down")
+            continue
+        logging.debug(host[0] + " up")
+        logging.debug("reading type")
+        type_attr, errorcode = type_read(conf["typedir"], host[1])
+        if errorcode != "":
+            logging.warn(errorcode)
+            keys = {"backuper[" + host[0] + "]" : "1"}
+            sender.sendkey(keys)
+            continue
+        logging.debug(type_attr)
+        logging.debug("reading cmd")
+        commands, errorcode = cisco.read_file((conf["cmddir"] + type_attr["cmd"]))
+        if errorcode != "":
+            logging.warn(errorcode)
+            logging.warn(errorcode)
+            keys = {"backuper[" + host[0] + "]" : "2", }
+            sender.sendkey(keys)
+            continue
+        logging.debug(commands)
+        logging.debug(commands)
+        out, errorcode = cisco.get_data(host[0], type_attr["user"], type_attr["password"], commands)
+        if errorcode != "":
+            logging.warn(errorcode)
+            logging.warn(errorcode)
+            keys = {"backuper[" + host[0] + "]" : "3", }
+            sender.sendkey(keys)
+            continue
+        errorcode = out_write(conf['outdir'], host[0], out)
+        if errorcode != "":
+            logging.warn(errorcode)
+            keys = {"backuper[" + host[0] + "]" : "4", }
+            sender.sendkey(keys)
+        else:
+            keys = {"backuper[" + host[0] + "]" : "0", }
+            sender.sendkey(keys)
+
+if __name__ == '__main__':
+    main()

send_to_zabbix.py

@@ -0,0 +1,89 @@
+#!/usr/bin/python
+# coding=utf-8
+
+import subprocess
+import logging
+import datetime
+import random
+import os
+
+
+def writedata(data, path="/tmp"):
+    errorcode = ""
+    now_date = datetime.date.today()
+    outfile = path + str(str(now_date)+ str(random.randint(1, 1000)))
+    logging.debug("file = " + outfile)
+    if not os.path.exists(path):
+        try:
+            os.mkdir(path)
+        except Exception as exept:
+            errorcode = exept
+            return errorcode
+    if not os.path.isdir(path):
+        errorcode = "Dir to write is not dir"
+        return errorcode
+    if not os.path.exists(outfile):
+        try:
+            f = open(outfile, "w")
+        except Exception as exept:
+            errorcode = exept
+            return errorcode
+        else:
+            in_file = ""
+            for line in data:
+                in_file = in_file + line
+            f.write(in_file)
+            logging.debug("zabbix-file writed")
+        finally:
+            f.close()
+    else:
+        errorcode = "file exist"
+        return errorcode
+    return outfile, errorcode
+
+
+def sendfile(file, server="", host=""):
+    errorcode = ""
+    if not os.path.exists(file) and not os.path.isfile(file):
+        errorcode = "can't send. No such file"
+        return errorcode
+
+    args = " --input-file " + file
+    if (not server) or (not host):
+        args = args + " --config /etc/zabbix/zabbix_agentd.conf"
+    else:
+        args = args + "--host " + host + "--zabbix-server " + server
+    cmd = "/usr/bin/zabbix_sender " + "args"
+    try:
+        os.system(cmd)
+    except Exception as exept:
+        errorcode = exept
+    return errorcode
+
+
+def sendkey(keys, server="", host=""):
+    errorcode = ""
+    args = ""
+    string = ""
+    if (not server) or (not host):
+        args = args + "--config /etc/zabbix/zabbix_agentd.conf"
+    else:
+        args = args + "--host " + host + " --zabbix-server " + server + " -vv "
+    cmd = "/usr/bin/zabbix_sender"
+    startargs = ""
+    print keys
+    for key in keys:
+        startargs = args + " --key " +str(key) + " --value " + str(keys[key])
+        print(startargs)
+        p = subprocess.Popen([cmd + " " + startargs], stdout=subprocess.PIPE, shell=True)
+        for line in p.stdout.readlines():
+            print line
+
+
+def main():
+    print "main function"
+
+
+if __name__ == '__main__':
+    main()
+    sendkey({"key1": "val1", "key2": "val2", }, "192.168.4.141", "mix")

type/cisco-asa.conf

@@ -0,0 +1,3 @@
+cmd=cisco-asa.cmd
+user=backupoperator 
+password="asdfasd"

type/cisco-catalyst.conf

@@ -0,0 +1,3 @@
+cmd=cisco-catalyst.cmd
+user=backupoperator
+password="asdfasdf"

type/cisco-wap.conf

@@ -0,0 +1,3 @@
+cmd=cisco-wap.cmd
+user=backupoperator
+password="asdfsdaf"