Breezedeus

算法优化世界

cnocr: 极简的中文OCR Python包

因为项目需要,之前找了下已有可用的开源中文OCR工具,发现居然没有特别好用的。 所以就自己封装了一个中文OCR Python包,称之为 cnocr(Chinese OCR的简称)。 cnocr主打使用简单,功能极简。 以下是使用说明,欢迎大家试用,帮忙提issue。 cnocr cnocr是用来做中文OCR的Python 3包。cnocr自带了训练好的识别模型,所以安装后即可直接使用。 ...

Chatbot 8: 微软小冰对话机器人架构

如何从0开始构建一个工业级对话机器人

本文基于小冰的这篇文章:“The Design and Implementation of XiaoIce, an Empathetic Social Chatbot, Li Zhou et al., Microsoft, 2018.12”。 小冰的这篇文章是18年12月份放出来的,没有引起很大反响,可能是因为里面没有过多算法细节吧。但这篇文章我倒是非常看重,它把对话机器人的构建思路和小冰...

Chatbot 7: 一种无监督的对话数据清洗方法

爱因互动开通了技术博客 blog.einplus.cn,欢迎大家关注。 现在一提到聊天机器人,大家就会想起各种算法模型,端到端、生成式、深度增强学习。有一种给我足够多足够好的数据,我就能用算法突破图灵测试的风范。可恨的是,就是没够多够好的数据。。相对于英文,中文可用的公开数据集少之又少。 在聊天机器人里,可用的公开对话数据就更少了,比如闲聊类的也就小黄鸡、华为微博数据,而且这些数据也...

中科院自动化所人工智能学术论坛总结

10月17日,中科院自动化研究所庆祝建所60周年举办了人工智能学术论坛,论坛邀请人工智能相关领域的专家学者做主题学术报告。我们有幸到场聆听几位专家的报告。由于时间原因,只参加了下午3场报告,以下是我们对报告的感受和总结。 谭自忠(TJ Tarn):Next Big Things in Robotics and Automation 谭老师首先介绍了机器人的发展,新技术的应用使得机器人越来...

Chatbot 6: 对话交互时代的各种Bot——可控性与智能性的权衡

本文很长,但其实我只分享以下两个个人观点,欢迎大家指正: 对话交互会在IoT万物互联时代爆发,这是追逐交互效率的必然结果。 不同的bot和bot平台的差别其实只是在可控性和智能性之间的权衡不同。技术的发展只是在不断拓展可控性和智能性的帕累托边界而已。 对话交互将是人与机器最高效的交互方式 交互,就是不同物体进行信息交换的过程。信息交换效率是衡量交互最重要的指标。人与机器的交...

Chatbot 5: 创建Bot的中文平台——一个AI(yige.ai)

2016年9月22日11:00,一个AI(www.yige.ai)准时对外发布,这是我们研发已久的中文聊天机器人(bot)免费创建平台。 一个AI是免费创建中文聊天机器人(bot)应用的在线平台,它使用自然语言理解技术从句法和语义层面理解用户的输入,同时也考虑到对话所处的状态,最终达到识别用户当前输入意图的目的。利用一个AI提供的管理界面和调用接口,无需具备机器学习与自然语言处理等相关...

Chatbot 4: Viv能搅动bot市场吗?

Siri的开发团队从苹果离职后开发了Viv,一个bot创建平台。Viv还没正式发布,只是在今年5月9日的TechCrunch Disrupt(演讲视频)大会上show off了一下,以下是系统截图。 关于Viv使用到的技术,可参考的资料很有限,以下信息主要来自Viv在2014年底申请的一项专利:基于第三方开发者的动态演化认知架构系统。没兴趣看几十页专利的同学也可以看看Quora上的讨论...

Chatbot 3: 利用LSTM构建半检索式Chatbots

微软研究者最近发表了论文“End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning”,论文里提出了利用LSTM构建半检索式聊天系统的一般框架。这是流程图,下面我以用户输入“Call Jason Williams”为例具体说明每步都在做什么。 用户输入。输入可以...

Chatbot 2: 低价制造chatbots的利器 Wit.ai

Wit.ai[注:要梯子]是Facebook收购的一家AI公司,他们的主要产品是一个帮助制造chatbot的平台:Bot Engine。Chatbot开发者可以通过bot engine提供的网页工具和API接口比较方便地构建具有某种特定功能的chatbot,比如酒店预订、订餐、打车,甚至是找对象等等。 它本质上还是利用检索技术完成对话的,也就是需要开发者维护很多问答对。但是内部又使用了很多...

Chatbot 1: Google的智能问答技术

去年底Google在Gmail里引入了能自动回信的smart reply功能1,能对收到的邮件利用深度学习技术自动产生3个可能的回复,如下图底栏的蓝色语句: 前两天,Google在I/O 2016大会上发布了聊天应用Allo2,里面同样加入了智能答复的功能。 Gmail和Allo里的智能答复技术出自相同的团队,可谓一脉相承。里面涉及的深度学习技术主要是RNN(或LSTM3)。这也...

机器化时代的人类与机器

前不久在公司内部面向非技术人员做了一个人类与机器的分享1,主要内容是介绍机器化时代里的一些重要概念,以及人类与机器的关系。 机器化应用里面提到很多例子,从较成熟的搜索、推荐,到深度学习最新的研究成果如为照片生成说明,看照片讲故事等。最新的成果离产业应用还有些距离,但是值得大家关注。 很幸运我们处在一个激情四射的时代,各种新东西层出不穷,但也可能现在已经是巨变前夕。前两年牛津大学对数百...

《硅谷之谜》:工业时代与信息时代为何如此不同

吴军老师的书我都看过,他的书一贯的特点是逻辑严谨、风格易懂、思考角度独特,同时做到这三点真的很不容易。《硅谷之谜》1继续着这三个特点。光是本书的最后两章内容,这本书就绝对值得买。下面我主要对本书的最后两章做个简单的摘要。 牛顿和工业时代的机械思维 牛顿最重要的贡献不是提出了物理世界的三大定律,发明了微积分等,而是他让所有人认识到世界运行是遵循着一些特定规律的,以及可以通过科学方法(实验,...

《腾讯方法》:一本很薄很故事的产品管理书

这本书1讲了腾讯的3个项目:腾讯手游的早期开发、社交游戏《摩登时代》的中期调整、QQ秀业务的运营转型,讲的刚好对应一个项目的开头,中期和后期。这本书很薄,以故事形式展开所以很好理解,里面讲的东西都是具体项目经常会碰到的问题,是我2015年读过的最好的关于管理和产品的书籍。 产品、团队、管理 成功 = 战略 x 团队 作为一名领导者,最重要的是统一团队成员的目标,并建立一套高效的...

刘鹏老师的互联网变现与计算广告

刘鹏老师今年10月份关于互联网变现和计算广告的分享1很有意思。这次分享的内容可以看做是他的《计算广告》那本书的summary,但也不完全是,有一些新内容。我认为这次分享的内容比书本身更精彩。下面简述一些刘老师的精彩观点。 交易数据一般是不能有任何错误的,所以存交易数据经常使用IOE(IBM、Oracle、EMC)这套系统;但是行为数据就不同了,丢失或记错点数据一般影响也不大。相对于交易数据...

Xavier带来的10个新机器学习认识

Xavier Amatriain今年年初从Netflix跑到Quora去当副总裁了,不过依旧发扬着他的分享精神。这篇文章我主要跟着他最近分享的slides1并结合自己的看法来简单说说。这个slides其实已经是Xavier这个系列的第二部分了,第一部分2是他2014年底给出的。 实际工作中面对一个新项目,首先是要设定好项目目标,然后调研涉及到的各方各面,比如公司内是不是有类似项目可供参考,...

实际问题中如何使用机器学习模型

美团技术博客里关于机器学习和推荐系统的不少博文写的都很好,这里我介绍其中的两篇1 2。这两篇博文的重点都是如何有效地利用机器学习模型来解决实际遇到的问题。下面我结合自己的理解,对这两篇文章的重要内容进行重组和加工。 看待问题的两种策略:整体求解 vs 分而治之 为了解决一个实际问题,我们通常有两种策略: 第一种是整体求解,即把这个问题看成一个不可分割的整体,直接进行求解。 第二...

Adaboost与指数损失

Adaboost是著名的ensemble分类算法,具体算法描述见下图1: 上面算法步骤里,有两个关键点: 在第$j$步迭代中,每个样本的权重为: 新子分类器$\varphi_j$对应的权重$\theta_j$使用如下方式获得: 注:子分类器$\varphi_j$的输出为$1$或$-1$。 下面从可加模型和...

SVM等于Hinge损失 + L2正则化

这里说的SVM是指最原始的2分类SVM,不考虑SVM的其他各种扩展。为简单起见,我们也只考虑线性SVM,对于带核函数的SVM,利用相似的推导我们可以获得相同的结论: 2分类SVM等于Hinge损失 + L2正则化。 下面是线性SVM的一般形式,其中目标分类$y \in \{-1, 1\}$,$C$为给定的惩罚系数: 记$m \triangleq f_{\theta}(x) ...

L1正则化优化问题的一种求解方法

所谓的L1正则化优化问题,就是如下带$L_1$正则化的最小化问题: 因为$L_1$正则项的不可微性,使得利用梯度相关方法直接求解上面的优化问题有困难。下面介绍的方法,是把这个$L_1$优化问题,变换为多个$L_2$正则化优化问题逐步迭代求解。 把不等式$|ab| \leq \frac12 \left( a^2 + b^2 \right)$应用到$\theta$向量中的每个元素: ...

L2约束与L2正则项优化问题的关系

所谓的L2约束问题,就是带L2约束的优化问题,见下式: 而带L2正则项的优化问题则为: 下面说明 带L2约束的优化问题可以近似转化为L2正则项的优化问题。 上面的L2约束优化问题等价于: 而与它等价的对偶问题为: 其中$\lambda^{*}$为这个优化问题的最优解,显然$\lambda^*$是依赖于$R$的。所以上面的对偶问题变为: 如果我们不求解...