对双色球数据探索

数据准备
爬取双色球的数据

# -*- coding: utf-8 -*-
import os
import os.path
import sys
reload(sys)
sys.setdefaultencoding("utf-8")  #开奖日期中的字符需要引入
import urllib2
from bs4 import BeautifulSoup# 创建/打开一个文件放数据
def  fetchLottery():if os.path.exists("lottery.csv"):os.remove("lottery.csv")f = open("lottery.csv", "a")for i in range(3,16):print("正在获取"+"{:0>2d}".format(i)+"年数据")url = "http://www.lecai.com/lottery/draw/list/50?type=range_date&start=20"+"{:0>2d}".format(i)+"-01-01&end=20"+"{:0>2d}".format(i)+"-12-31"page = urllib2.urlopen(url)                                 # 打开目标urlsoup = BeautifulSoup(page,"html.parser")# 格式化标签#print(soup.find_all(attrs={"class":"historylist"}))foundAllTbody = soup.findAll(attrs={"class":"balls"})foundDate = soup.findAll("tbody")[0]num = 1if(foundAllTbody):for foundBalls in foundAllTbody[0:]:    foundAllTr = foundBalls.findAll("em")if(foundAllTr):ballStr = ""for foundTd in foundAllTr[0:]:if(foundTd):ballStr += ","ballStr += foundTd.string#print(foundTd.string)  date = foundDate.findAll("td")[(num-1)*10+num].string   #开奖日期print type(date)f.write(date +','+ ballStr+'\n')print(foundDate.findAll("td")[(num-1)*10+num].string)num = num + 1    print "数据抓取完成"f.close()fetchLottery()

%matplotlib inline
import pandas as pd
from pandas import DataFrame

lottery=pd.read_csv('lottery.csv')
lottery.index=[date[:-9] for date in lottery.date]
lottery=lottery.drop(['date'],axis=1)
lottery.index.name='date'lottery.to_csv('lottery_change.csv')
lottery.head(10)

转换成pandas.DataFrame格式

lottery.hist()
lottery.shape

(1899, 7)

进行简单的数据探索，可以看书B{蓝色球}的分布让人很是蛋疼，然而R1-R6{红色球}的数据分布是傻子都能看的出来，R1一般比较小，R6一般分布在25-33之间。

lottery.ix[:,:'B'].sum(axis=1).hist()

<matplotlib.axes._subplots.AxesSubplot at 0x114319e8>

B的R1-R6之和的数据分布，看着貌似还是有点小规律，基本上分布在90-110之间。可是只又有什么卵用—-和下面随机选择的基本上算一致的（随机选择若是按照概率生成的话也许结果更有说服力）

import random
from pandas import DataFrame
seed=range(1,33)
random_select=[]
for i in range(1899):lotter=random.sample(seed,6)random_select.append(lotter)
sns.distplot(DataFrame(random_select).sum(axis=1))

import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
sns.set_style('darkgrid')
g=sns.pairplot(lottery)

这是R1的概率密度分布图到10基本上到达0.9.

ax=sns.kdeplot(lottery.R1,shade=True,color='r',cumulative=True)

ax=sns.kdeplot(lottery.R2,shade=True,color='r',cumulative=True)

这是R2的概率密度分布图

sns.jointplot('R1','R4',data=lottery,kind='reg')

<seaborn.axisgrid.JointGrid at 0x2f0d2da0>

ax=sns.kdeplot(lottery.ix[:,:'B'].sum(axis=1))

ax=sns.kdeplot(lottery.ix[:,-3:-1].sum(axis=1))

ax = sns.distplot(lottery.ix[:,-3:-1].sum(axis=1))

观察尾和

lottery_sort=pd.read_csv('lottery_change.csv',index_col=0,parse_dates=0)
roll_mean=pd.rolling_mean(lottery_sort,20).dropna()
import  matplotlib.pyplot as pltfor i in range(1,7):plt.subplot(230+i)a='R'+str(i)sns.distplot(roll_mean[a])

观察R1-R6的概率密度分布图

sns.distplot(roll_mean['R1'])

<matplotlib.axes._subplots.AxesSubplot at 0x2bf19da0>

sns.distplot(lottery.R1)

<matplotlib.axes._subplots.AxesSubplot at 0x3000f9e8>

import numpy as np
tim=np.zeros((1899,50))
lottery_sort['BL']=lottery_sort.B.values+33
lottery_sort=lottery_sort.drop('B',axis=1)
loc=lottery_sort.values
lottery_sort.head()

运用文本的分类的模式进行计算：

• 将矩阵转换成词袋模型 就是[1,3,6]转换成[1,0,1,0,0,1]的形式
• 计算每个feature出现的概率，或者设置窗口观察出现概率的变化
• 简单的差分或者也可以采用其他你认为好的方法，目前所做的只能增加你的机会

窗口为33 R1概率的变化率，你会发现有一定的规律，对啥号有一定的帮助。

for i in range(1899):tim[i,loc[i]]=1
from pandas import DataFrame
# sns.jointplot(np.arange(34),tim.sum(axis=0)/1899.0,kind='reg')
def prob(x):prom=x.sum()/float(x.shape[0])return prom
for window in range(10,12,2):print "Window=:",windowprobBR=DataFrame(pd.rolling_apply(tim,window,prob),index=lottery_sort.index).dropna().diff(1)choose_blue=[]for i in range(probBR.shape[0]):max6=probBR.ix[i,:33].argsort()[-6:].tolist()maxB=probBR.ix[i,33:].argmax()choose_blue.append(sorted(max6)+[maxB])# print choose_blueprob33=DataFrame(choose_blue,index=probBR.index,columns=['R1','R2','R3','R4','R5','R6','BL']).shift(1).dropna()eq=(lottery_sort - prob33).ix[:,:-1].dropna()eq_count=eq[eq==0].count(axis=1)cnt=0.0print eqfor i in eq[eq==0].count(axis=1):if i>4:cnt+=1.0print cnt/float(eq_count.shape[0])#     scoring=eq_count.sum()/eq_count.shape[0]
#     print scoring

lottery_sort.shift(1)

import itertools  
list(itertools.permutations([1,2,3,4],2))   #排列
list(itertools.combinations([1,2,3,4],2))    #组合

总结

只是做了一下简单的数据探索，通过数据来看可预测性不强，但是可以通过转换的思路去理解数据（以窗口33为例）：

• 建立窗口，通过观察前后窗口概率的变化（差分）可以得出某个数字出现的概率的变化趋势（分析过中国的股市，变化的规律跟彩票差不多。。。。。不过有些基本面的信息做支撑）
• 可以贝叶斯的思想模型，从第一部得出窗口概率，对33个数据的组合中找出最有可能出现的组合（双色球的组选模式）
• 马尔科夫模型大部分是用在文本分析上面，可以用于彩票的预测
• 神经网络模型入度6出度为6
  （11选5,10分钟开一次奖能更好的验证方法）
  以上只是谈疼的思考，若有不当之处，多批评。。。