首发于微信公众号『运筹OR帷幄』
文章作者：高新
责任编辑：王希杰
2018年9月16日 卷积神经网络 CNN & 循环神经网络 RNN
（出自微信群：【3】 Global O.R./OM/IE Community）
AllenHu-NEI-AI-Quants：能否请教下，两层Conv紧密地连接在一块，filter数都相同，其意义是什么？
FatherSucker-硕士-交通优化：啥网络
朱-sjtu：就是不断的卷啊
张-复旦硕-人脸识别：没必要有pooling啊。。。。
留德华叫兽-德国 博 自动驾驶CV:第一层后有relu么
张-复旦硕-人脸识别：pooling的目的在于减少参数，人家硬件强悍，不想减少参数
FatherSucker-硕士-交通优化：我试过不加pooling 不一定更好,但一定更慢
AllenHu-NEI-AI-Quants：有，都是relu。只是第一层有input_shape=(n_timesteps,n_features)。第二层没有。第二层之后才接了MaxPooling1D。那它第一层的（比如说32个filter，提取了32个特征），与第二层的32个特征之间是什么关系？不是同样的32个特征？
张-复旦硕-人脸识别：filter。不知道这个怎么算的，可能想当于一个9*9的filter。就是他本来应该想好一个规格比较大的filter，但是这样参数就太多了，就级联几个小的，3*3的去等效那个大的。就是一维而已，也就是说，32个filter，它就是1*32。
AllenHu-NEI-AI-Quants：非常规。但原理差不多吧。不是图像，图像用Conv2D。我说的这个是时间序列，用Conv1D。您想象成 一个一维数组。
王-量化金融总监-新加坡：1维的话这样用相同filter会不会像发掘类似时间序列的first order diff和second order diff。
AllenHu-NEI-AI-Quants：会的。或者trend。或者cycle。都有可能。但目前效果没有明显优于arima。
王-量化金融总监-新加坡：time series用rnn比较多吧，用cnn蛮新颖。
AllenHu-NEI-AI-Quants：所以我在深挖，是不是我卷积层设置的问题。我是cnn+rnn。cnn提取特征，rnn处理序列关系。
王-量化金融总监-新加坡：cross-sectional特征主要有哪些？股票的一些risk factor？pe, leverage, volatility?
AllenHu-NEI-AI-Quants：目前简单的拿了别国股票、基准利率来做。这个特征选择当然有问题。但目前，同样的因子，arima的结果也差不多。如果选取别的因子，试问arima会不会就表现得大幅落后呢？
Leo-Phd-HW-DW&群智能优化&ML:时间序列表示用rnn在工业界并没有太多效果。用传统的机器学习，多元非线性回归，效果反而会好。
王-量化金融总监-新加坡：Advances_in_Financial_Machine_Learning.pdf（一本书）想搞ml+qi推荐看这本书。
@George-Msc-T大-ML:各位大佬，我问下时间序列分析有什么推荐的好书么？
Leo-Phd-HW-DW&群智能优化&ML: 多看看论文，博客就好，无非是统计学(arima, ht winter, ses)，回归，深度学习（cnn,rnn等）三个大方向的方法。
2018年8月29日 传统工科与深度学习的联系
（出自微信群： 【2】Global O.R./OM/IE Community）
Allen-NEI-AI-Quants：恕我泛泛的问一个问题，用信号与系统、电路设计的知识和理念，来改进完善深度学习构架，是否可行？
刘-硕-CUP-优化算法：电路设计没有想过，倒是想过用信号与系统来改进完善，我记得前一阵子看到利用傅立叶分析来对深度神经网络做工作的，毕竟神经网络本质上可以用微分方程解释，所以我觉得用信号与系统在这个方面是可以做一些工作的。
懒猫：神经网络本质上可以用微分方程解释，有材料可以看么？第一次了解到这个方面。
Allen-NEI-AI-Quants：因为我印象中之前有看一个神经网络的讲座，讲座者特别强调，在座如果有信号与系统专业的，不要见笑、不要较真，我们的相关概念就是这么简单定义的，云云……
追光少年：那是卷积吧。。。你说的不要较真。
刘-硕-CUP-优化算法：我暂时也没相关材料，之前在知乎上看到一个专栏写的，当时就看了他链接的论文，内容就是把神经网络（应该是里面的优化算法）由离散变连续化，对应的就是一个微分方程，然后通过对微分方程的分析和改动，设计了新的网络，对比原来的网络明显减少了层数缺达到了同样的效果。
尤-硕士-INSA：learning pdes from data那篇。
刘-硕-CUP-优化算法：找到了这个learning pdes from data，我记得貌似除了这个还有一篇其他的但是没找到。
尤-硕士-INSA：另外一个是Beyond Finite Layer Neural Networks那篇。
2018年8月30日 非线性的kernel ＆ 线性的kernel ＆ 强化学习
（出自微信群： 【3】Global O.R./OM/IE Community）
Y-VUW-PhD-CV-EC：想问问大家，什么data 适合用linear SVM，什么样的data 适合用其他的比如Gaussian kernel fuction 的SVM？有没有规律什么的？
庆-机器学习：为什么还在用svm，不是效果已经被tree和nn超越了么。
Y-VUW-PhD-CV-EC：还没有尝试过其他的但是看到好多以前的paper 里面都用的是svm，在图像上。
Bright-博士在读-港城大-nlp：linear是适合feature多样本较少的状态吧，当数据量较大的时候，可以用非线性的kernel了。
Y-VUW-PhD-CV-EC：那一般多少feature 才算多呢。
Bright-博士在读-港城大-nlp：一般这种可以用linear先试下跑跑，想再提高performance改成其他kernel就好了。那啥，群里有做NLP的群嘛？求大佬带带我这个学弱。
留-德国-博-自动驾驶CV： 你做数据挖掘么？
Bright-博士在读-港城大-nlp：数据挖掘？这个范围有点大啊。。。具体什么呢？现在其实还在找课题，导师让我在nlp理论和应用上选，很纠结。
XI-硕士-ML：现在，应该是自然语言处理比较热门吧，应用那边，如果是很冷门的方向就不要选了。还是找个热门的或者有潜力的做。
留-德国-博-自动驾驶CV：知识图谱，自然语言处理都蛮火的。
杨-伯克利-无人车：自动驾驶也火哦。
XI-硕士-ML：自动驾驶现在主要还是深度学习的框架么。
AL-博士-智能优化：不是吧
留-德国-博-自动驾驶CV：机器学习组和几何组，几何组那边会有些传统方法。
AL-博士-智能优化：感觉有很多传统方法。随便一个小分枝都够学一壶的。
陈-ucb-机器学习&优化论：可以请教一下为什么不用deep reinforcement learning吗？因为现在在学drl，觉得场景很适用自动驾驶。
朱-sjtu：慢。鲁棒性太弱
留-德国-博-自动驾驶CV： 增强学习应该主要用在控制领域？我们做的摄像头部分，还有雷达的部分，作为控制的输入
XI-硕士-ML：强化学习哪些领域应用的好啊？
留-德国-博-自动驾驶CV： 游戏AI
尤-硕士-INSA，cranfield-Robot：机器人领域可以用drl。
马-清华机械系：机器人也是用在控制吧 最优控制。
尤-硕士-INSA，cranfield-Robot：抓取任务，协同任务都能用。可以用在控制上，但也不是局限在控制上。但是涉及到做决策的。都可以拿drl去做，只要设计好reward就行。
2018年9月16日 预测数据的粒度大小对效果的影响
（出自微信群： 【3】Global O.R./OM/IE Community）
Leo-Phd-HW-DM&群智能优化&ML：粒度太小了。你那数据周期太长，粒度太小，效果不会很好。
AllenHu-NEI-AI-Quants：tick级别的数据远没有十年。
Leo-Phd-HW-DM&群智能优化&ML：同时，不是训练数据越长越好的，至少我做预测时候是这样。因为早期的规律和当下，或者未来，一点关系都没有。
AllenHu-NEI-AI-Quants： 嗯嗯，但最终目的，是日度预测啊，比如预测明天或下一周，所以粒度不能更大了。@Leo-Phd-HW-DM&群智能优化&ML 但神经网络需要大量数据。不然效果不佳。
Leo-Phd-HW-DM&群智能优化&ML：周粒度和日粒度比，两个准确度不是一个数量级上的吧。那也得有规律啊。不是说大量数据输入进去就有效果。理论是数据量越多越好，没有关系的数据你丢进去再多也没用。而且你预测未来五年，你的置信区间得变的多大。还有个办法，你可以先预测周粒度。再把周粒度给分解到天粒度去。之前我们遇到过我司一个海外组是这么干的，先预测粒度大点的，再分解，效果还可以。如果你用深度学习，推荐你去看下kaggle的web traffic比赛。用seq2seq做的，源码也有。Web traffic forecasting。
AllenHu-NEI-AI-Quants：其实之前用大跨度，还有一个冀望是卷积层给我提取出长周期的规律。
Leo-Phd-HW-DM&群智能优化&ML：问个问题，昨天说的用CNN做时间序列的特征提取是怎么操作的？然后再用rnn。整个流程怎么打通的，求问方法~或者文章博客。
刘-硕士-南开-机器学习：我刚好做这方面，多维时间序列一般要用到时域卷积和空间卷积。用rnn的话一般都是把cnn最后一层的特征图谱展平接上rnn。
Leo-Phd-HW-DM&群智能优化&ML： 有没有用过深度贝叶斯网络做时间序列预测。
2018年9月12日 随机和不确定是啥区别？
（出自微信群：【1】 Global O.R.optim PhD Community）
杨-博士-西南交大-优化：随机和不确定是啥区别？
小_韵达：一个是罗贝格可积，不确定是罗贝格不可积，测度论里面的……。
小_韵达：对了，刚才想起来哥德尔不完备定律了。数学是无法解决所有现实问题的……。
尔-南洋理工-电力系统优化：可能我对哥德尔定理理解有偏差，不过哥德尔定理没有否定所有公理体系的意思。并没有否定有限公理体系的完备性。是存在完备的公理体系的。而且完备体系和数学解决问题，也是两个概念了。
小_韵达：哥德尔第一定律直接证明了所有包含初等数论的数学系统都有不能证明正确或者证明错误的命题。也就是说任意包含初等数论的数学系统都存在悖论……。
许-UTDallas-组合优化：完备性只是逻辑的一个方面，数理逻辑里还有很多其他的标准，比如computable, decidable, recursive, constructive 等等。要了解计算和逻辑的关系，推荐王浩教授的论文集 computation, logic, philosophy。哥德尔曾经去工作最大的动力就是可以和王浩教授聊天，王浩教授的学生Cook 创立了NP class......。
Zheqi Zhang@UNC_OC_Healthcare：
Zhang@UNC_OC_Healthcare：：欧几里得几何的五条公理（公设）并不完备。例如，该几何中的定理：在任意直线段上可作一等边三角形。他用通常的方法进行构造：以线段为半径，分别以线段的两个端点为圆心作圆，将两个圆的交点作为三角形的第三个顶点。然而，他的公理并不保证这两个圆必定相交。因此，许多公理系统的修订版本被提出，其中有希尔伯特公理系统（英语：Hilbert's axioms）。第五条公理称为平行公理（平行公设），可以导出下述命题：“通过一个不在直线上的点，有且仅有一条不与该直线相交的直线。”平行公理并不像其他公理那么显然。许多几何学家尝试用其他公理来证明这条公理，但都没有成功。19世纪，通过构造非欧几里得几何，说明平行公理是不能被证明的（若从上述公理体系中去掉平行公理，则可以得到更一般的几何，即绝对几何（英语：Absolute geometry））。
原文链接：https://mp.weixin.qq.com/s/YKsrAfi-pemHJH4V-ZWdHg
版权说明：本文由『运筹OR帷幄』编译整理，不作为商业用途，如有内容侵权，我们将随时删除。
欢迎查看原文，获取更多讯息！