python — Data Digging

Перевод категориальных признаков датафрейма в бинарные

test_df

test_df

	номер	город	колич. признак
0	2	москва	1
1	3	питер	2
2	4	саратов	3
3	5	москва	4
4	6	питер	3
5	7	москва	4
6	8	сыктывкар	5
7	9	саратов	6

df_nonbinary = pd.get_dummies(test_df['город'], )
df_nonbinary

1 2	df_nonbinary = pd.get_dummies(test_df['город'], ) df_nonbinary

	москва	питер	саратов	сыктывкар
0	1.0	0.0	0.0	0.0
1	0.0	1.0	0.0	0.0
2	0.0	0.0	1.0	0.0
3	1.0	0.0	0.0	0.0
4	0.0	1.0	0.0	0.0
5	1.0	0.0	0.0	0.0
6	0.0	0.0	0.0	1.0
7	0.0	0.0	1.0	0.0

new_df = pd.concat([test_df, df_nonbinary], axis=1 )
new_df

1 2	new_df = pd.concat([test_df, df_nonbinary], axis=1 ) new_df

	номер	город	колич. признак	москва	питер	саратов	сыктывкар
0	2	москва	1	1.0	0.0	0.0	0.0
1	3	питер	2	0.0	1.0	0.0	0.0
2	4	саратов	3	0.0	0.0	1.0	0.0
3	5	москва	4	1.0	0.0	0.0	0.0
4	6	питер	3	0.0	1.0	0.0	0.0
5	7	москва	4	1.0	0.0	0.0	0.0
6	8	сыктывкар	5	0.0	0.0	0.0	1.0
7	9	саратов	6	0.0	0.0	1.0	0.0

Функция конвертации секунд в более крупные периоды времени (Python)

Функция превращает количество секунд в удобночитаемые человеком значения времени.

def seconds_to_str(uptime):
    """
       Функция принимает числовое значение секунд и возвращает строку в формате:
       '3 нед., 1 дн., 18 час., 23 мин., 3 сек.'
       Доли секунды округляются до секунд.
    """

    seconds = ''
    minutes = ''
    hours = ''
    days = ''
    weeks = ''
    uptime = round(uptime, 0)

    if uptime >= 60:
        minutes = uptime // 60
        if minutes >= 60:
            hours = minutes // 60
            if hours >= 24:
                days = hours // 24
                if days >= 7:
                    weeks = days // 7
                    seconds, minutes, hours, days, weeks = str(int(uptime % 60)), str(int(minutes % 60)), str(
                        int(hours % 24)), str(int(days % 7)), str(int(weeks))
                else:
                    seconds, minutes, hours, days = str(int(uptime % 60)), str(int(minutes % 60)), str(
                        int(hours % 24)), str(int(days))
            else:
                seconds, minutes, hours = str(int(uptime % 60)), str(int(minutes % 60)), str(int(hours))
        else:
            seconds, minutes = str(int(uptime % 60)), str(int(minutes))
    else:
        seconds = str(int(uptime // 1))

    if weeks:
        weeks = weeks + ' нед.,'
    if days:
        days = days + ' дн.,'
    if hours:
        hours = hours + ' час.,'
    if minutes:
        minutes = minutes + ' мин.,'
    if seconds:
        seconds = seconds + ' сек.'
    res = weeks + ' ' + days + ' ' + hours + ' ' + minutes + ' ' + seconds
    print(res.strip())
    return res.strip()

def seconds_to_str(uptime):

"""

Функция принимает числовое значение секунд и возвращает строку в формате:

'3 нед., 1 дн., 18 час., 23 мин., 3 сек.'

Доли секунды округляются до секунд.

"""

seconds = ''

minutes = ''

hours = ''

days = ''

weeks = ''

uptime = round(uptime, 0)

if uptime >= 60:

minutes = uptime // 60

if minutes >= 60:

hours = minutes // 60

if hours >= 24:

days = hours // 24

if days >= 7:

weeks = days // 7

seconds, minutes, hours, days, weeks = str(int(uptime % 60)), str(int(minutes % 60)), str(

int(hours % 24)), str(int(days % 7)), str(int(weeks))

else:

seconds, minutes, hours, days = str(int(uptime % 60)), str(int(minutes % 60)), str(

int(hours % 24)), str(int(days))

else:

seconds, minutes, hours = str(int(uptime % 60)), str(int(minutes % 60)), str(int(hours))

else:

seconds, minutes = str(int(uptime % 60)), str(int(minutes))

else:

seconds = str(int(uptime // 1))

if weeks:

weeks = weeks + ' нед.,'

if days:

days = days + ' дн.,'

if hours:

hours = hours + ' час.,'

if minutes:

minutes = minutes + ' мин.,'

if seconds:

seconds = seconds + ' сек.'

res = weeks + ' ' + days + ' ' + hours + ' ' + minutes + ' ' + seconds

print(res.strip())

return res.strip()

Функция определения времени суток (Python)

Первый вариант: на основе словаря, более быстрый вариант:

import datetime
import time

def time_of_day_dict(dt=None, ts=None, tod_dict=None):
    '''
    Принимает объект datetime (dt) или timestamp (ts), и словарь tod_dict {час : наименование времени}
    Возвращает строку c временем суток. 
    При отсутствии аргументов - возвращает строку с текущим временем суток.

        Словарь по умолчанию: 
        {0: 'ночь', 1: 'ночь', 2: 'ночь',
         3: 'раннее утро', 4: 'раннее утро', 5: 'раннее утро',
         6: 'утро', 7: 'утро', 8: 'утро',
         9: 'первая половина дня', 10: 'первая половина дня', 11: 'первая половина дня',
         12: 'обед', 13: 'обед', 14: 'обед',
         15: 'после обеда', 16: 'после обеда', 17: 'после обеда',
         18: 'вечер', 19: 'вечер', 20: 'вечер',
         21: 'поздний вечер', 22: 'поздний вечер', 23: 'поздний вечер' }

    Eсли час не отражен в словаре, возвращает None
    Требует import datetime
    N.B. ф-я в 2-3 раза быстрее, чем ф-я time_of_day()
    '''

    # определение словаря
    if tod_dict:
        pass
    else:
        tod_dict = {0: 'ночь', 1: 'ночь', 2: 'ночь',
                    3: 'раннее утро', 4: 'раннее утро', 5: 'раннее утро',
                    6: 'утро', 7: 'утро', 8: 'утро',
                    9: 'первая половина дня', 10: 'первая половина дня', 11: 'первая половина дня',
                    12: 'обед', 13: 'обед', 14: 'обед',
                    15: 'после обеда', 16: 'после обеда', 17: 'после обеда',
                    18: 'вечер', 19: 'вечер', 20: 'вечер',
                    21: 'поздний вечер', 22: 'поздний вечер', 23: 'поздний вечер'}

    # определение оцениваемого времени
    if dt:
        if isinstance(dt, datetime.datetime):
            dt = dt
        else:
            print('некорректный формат dt: %s \n требуется объект datetime.datetime' % (type(dt)))
            return None
    elif ts:
        if isinstance(ts, (int, float)):
            if ts > 0:
                dt = datetime.datetime.fromtimestamp(ts)
                print(dt.ctime())
            else:
                print('отрицательное значение ts недопустимо')
                return None
        else:
            print('некорректный формат ts: %s \n требуется значение int или float' % (type(ts)))
            return None
    else:
        dt = datetime.datetime.now()
    h = dt.hour

    # подбор
    if h in tod_dict:
        tod = tod_dict[h]
        return tod
    else:
        print('Значение времени отсутствует в словаре')
        return None

import datetime

import time

def time_of_day_dict(dt=None, ts=None, tod_dict=None):

'''

Принимает объект datetime (dt) или timestamp (ts), и словарь tod_dict {час : наименование времени}

Возвращает строку c временем суток.

При отсутствии аргументов - возвращает строку с текущим временем суток.

Словарь по умолчанию:

{0: 'ночь', 1: 'ночь', 2: 'ночь',

3: 'раннее утро', 4: 'раннее утро', 5: 'раннее утро',

6: 'утро', 7: 'утро', 8: 'утро',

9: 'первая половина дня', 10: 'первая половина дня', 11: 'первая половина дня',

12: 'обед', 13: 'обед', 14: 'обед',

15: 'после обеда', 16: 'после обеда', 17: 'после обеда',

18: 'вечер', 19: 'вечер', 20: 'вечер',

21: 'поздний вечер', 22: 'поздний вечер', 23: 'поздний вечер' }

Eсли час не отражен в словаре, возвращает None

Требует import datetime

N.B. ф-я в 2-3 раза быстрее, чем ф-я time_of_day()

'''

# определение словаря

if tod_dict:

pass

else:

tod_dict = {0: 'ночь', 1: 'ночь', 2: 'ночь',

3: 'раннее утро', 4: 'раннее утро', 5: 'раннее утро',

6: 'утро', 7: 'утро', 8: 'утро',

9: 'первая половина дня', 10: 'первая половина дня', 11: 'первая половина дня',

12: 'обед', 13: 'обед', 14: 'обед',

15: 'после обеда', 16: 'после обеда', 17: 'после обеда',

18: 'вечер', 19: 'вечер', 20: 'вечер',

21: 'поздний вечер', 22: 'поздний вечер', 23: 'поздний вечер'}

# определение оцениваемого времени

if dt:

if isinstance(dt, datetime.datetime):

dt = dt

else:

print('некорректный формат dt: %s \n требуется объект datetime.datetime' % (type(dt)))

return None

elif ts:

if isinstance(ts, (int, float)):

if ts > 0:

dt = datetime.datetime.fromtimestamp(ts)

print(dt.ctime())

else:

print('отрицательное значение ts недопустимо')

return None

else:

print('некорректный формат ts: %s \n требуется значение int или float' % (type(ts)))

return None

else:

dt = datetime.datetime.now()

h = dt.hour

# подбор

if h in tod_dict:

tod = tod_dict[h]

return tod

else:

print('Значение времени отсутствует в словаре')

return None

Второй вариант, как пример того, как делать не надо ))

def time_of_day(dt=None, ts=None, tod_dict=None):
    '''
    Принимает объект datetime (dt) или timestamp (ts), и словарь tod_dict 
    {наименование времени : час окончания(включительно)}

    Возвращает строку c временем суток 
    При отсутствии аргументов - возвращает строку с текущим временем суток.

        Словарь по умолчанию: 
        {'ночь' : 3, 'раннее утро' : 6, 'утро' : 9, 'первая половина дня' : 12,
         'обед' : 15, 'после обеда' : 18, 'вечер' : 21, 'поздний вечер' : 24, }

    Если час не отражен в словаре, возвращает None
    Требует import datetime
    '''

    # определение словаря
    if tod_dict:
        pass
    else:
        tod_dict = {'ночь': 3, 'раннее утро': 6, 'утро': 9, 'первая половина дня': 12,
                    'обед': 15, 'после обеда': 18, 'вечер': 21, 'поздний вечер': 24, }
    sorted_tod = sorted(tod_dict.items(), key=lambda x: x[1], reverse=False)
    # print(sorted_tod)

    # определение оцениваемого времени
    if dt:
        if isinstance(dt, datetime.datetime):
            dt = dt
        else:
            print('некорректный формат dt: %s \n требуется объект datetime.datetime' % (type(dt)))
            return None
    elif ts:
        if isinstance(ts, (int, float)):
            if ts > 0:
                dt = datetime.datetime.fromtimestamp(ts)
                print(dt.ctime())
            else:
                print('отрицательное значение ts недопустимо')
                return None

        else:
            print('некорректный формат ts: %s \n требуется значение int или float' % (type(ts)))
            return None
    else:
        dt = datetime.datetime.now()
    h = dt.hour

    # подбор
    for time in sorted_tod:
        if h <= time[1]:
            tod = time[0]
            return tod
    print('Значение времени отсутствует в словаре')
    return None

def time_of_day(dt=None, ts=None, tod_dict=None):

'''

Принимает объект datetime (dt) или timestamp (ts), и словарь tod_dict

{наименование времени : час окончания(включительно)}

Возвращает строку c временем суток

При отсутствии аргументов - возвращает строку с текущим временем суток.

Словарь по умолчанию:

{'ночь' : 3, 'раннее утро' : 6, 'утро' : 9, 'первая половина дня' : 12,

'обед' : 15, 'после обеда' : 18, 'вечер' : 21, 'поздний вечер' : 24, }

Если час не отражен в словаре, возвращает None

Требует import datetime

'''

# определение словаря

if tod_dict:

pass

else:

tod_dict = {'ночь': 3, 'раннее утро': 6, 'утро': 9, 'первая половина дня': 12,

'обед': 15, 'после обеда': 18, 'вечер': 21, 'поздний вечер': 24, }

sorted_tod = sorted(tod_dict.items(), key=lambda x: x[1], reverse=False)

# print(sorted_tod)

# определение оцениваемого времени

if dt:

if isinstance(dt, datetime.datetime):

dt = dt

else:

print('некорректный формат dt: %s \n требуется объект datetime.datetime' % (type(dt)))

return None

elif ts:

if isinstance(ts, (int, float)):

if ts > 0:

dt = datetime.datetime.fromtimestamp(ts)

print(dt.ctime())

else:

print('отрицательное значение ts недопустимо')

return None

else:

print('некорректный формат ts: %s \n требуется значение int или float' % (type(ts)))

return None

else:

dt = datetime.datetime.now()

h = dt.hour

# подбор

for time in sorted_tod:

if h <= time[1]:

tod = time[0]

return tod

print('Значение времени отсутствует в словаре')

return None

Отличный справочник по Пайтону, САС, SQL

http://www.listendata.com/

На английском языке.

Пример функции сортировки «пузырьком» (Python)

Сортировка «пузырьком» — простой способ сортировки списка.
Суть способа: последовательное сравнение каждого элемента с последующими и взаимная смена позиций в случае, если первый элемент больше сравниваемого.
Название отражает «всплытие» бОльших элементов в конец списка.

def bubble_sort(lst):
    for i in range(0, len(lst)-1):
        for i in range(0, len(lst)-1):
            if lst[i] < lst[i+1]:
                pass
            else:
                lst[i], lst[i+1] =  lst[i+1],lst[i]
    return lst

lst = [2,8,4,6,-88,9,0,1,5,8,0,9,8,-190]
bubble_sort(lst)

>>> [-190, -88, 0, 0, 1, 2, 4, 5, 6, 8, 8, 8, 9, 9]

Сортировка пузырьком

О формате сохранения данных HDF

pandas hdfstore

Долгое время лелеял себя надеждой, что смогу построить эффективную базу данных в формате HDF. А что? Очень быстрая, прекрасно интегрируется с pandas — что еще нужно, если основные операции завязаны на pandas?

Проблема в одном — при попытке вносить изменения в таблицы база начинает неконтролируемо расти. Даже при повторном сохранении одногиговой базы, в которую не было добавлено ни одной строчки, файл, ничтоже сумняшеся, прибавляет в весе 150-200 мегабайт. Облазил документацию и стаковерфлоу в поисках правильного рецепта приготовления HDF, но не преуспел.

И только недавно наткнулся на дельный совет — не старайтесь использовать hdf как базу данных. Этот формат отлично приспособлен для быстрого сохранения большого датафрейма и быстрого же его чтения, но апдейт — не про него.

Плюнул я на все эти свои эксперименты и вернулся к старому доброму SQL.

Методичка по Python

Полезные кусочки кода

	москва	питер	саратов	сыктывкар
0	1.0	0.0	0.0	0.0
1	0.0	1.0	0.0	0.0
2	0.0	0.0	1.0	0.0
3	1.0	0.0	0.0	0.0
4	0.0	1.0	0.0	0.0
5	1.0	0.0	0.0	0.0
6	0.0	0.0	0.0	1.0
7	0.0	0.0	1.0	0.0

	москва	питер	саратов	сыктывкар
0	1.0	0.0	0.0	0.0
1	0.0	1.0	0.0	0.0
2	0.0	0.0	1.0	0.0
3	1.0	0.0	0.0	0.0
4	0.0	1.0	0.0	0.0
5	1.0	0.0	0.0	0.0
6	0.0	0.0	0.0	1.0
7	0.0	0.0	1.0	0.0

	москва	питер	саратов	сыктывкар
0	1.0	0.0	0.0	0.0
1	0.0	1.0	0.0	0.0
2	0.0	0.0	1.0	0.0
3	1.0	0.0	0.0	0.0
4	0.0	1.0	0.0	0.0
5	1.0	0.0	0.0	0.0
6	0.0	0.0	0.0	1.0
7	0.0	0.0	1.0	0.0