通过问题寻找方向

The first principle is that you must not fool yourself, and you are the easiest person to fool. - Richard Feynman

第一个原则就是不要欺骗自己,你是最容易被欺骗的人. - 理查德.费曼

准备重要的事情, 用清单列表的方式让自己做事井井有条. 迷茫的时候, 问自己问题可以找到方向. 避免陷入想当然的思维误区.

生活就像在大海上开船, 需要时不时打一下方向盘. 让自己在正确的轨迹上航行.

在迷茫的时刻, 我希望我能够回过头来看这份问题清单:

首先是新时代的"吾日三省吾身" (汉明问题(Hamming Questions)摘取自这里):

  • 在你的领域内最重要的问题是哪些?
  • 你正在解决哪些重要问题?
  • 如果你正在做的事情并不重要, 并且你认为它不会带来重要的结果. 那么你为什么要这样做?

其次是对汉明问题的拓展:

  • 什么是你生活的追求?
  • 你现在做的事情能否达到你的追求?

如果你现在做的事不符合你的追求的话:

  • 如果达不到的话为什么还要做?
  • 不重要问题是否能够忽略? 忽略了是否会有隐患?
  • 是否有方法能够解决这些不重要的问题?
  • 是否有去尝试这些方法?
  • 是否有还没想到的方法, 比如寻求他人的帮助?

如果你现在做的事符合你的追求的话:

  • 是否能够制定衡量的指标, 是否有确实可行的计划?
  • 计划是否有反馈?
  • 是否有定期反思总结你的计划?
  • 是否有更好的计划, 能让你更快的达到目标?
  • 是否有更好的方式, 能够让你更快的完成计划. 比如使用新的技能?

如果你觉得你做不了某件事:

  • 完成这件事是否能达到你对生活的追求?
  • 为什么你觉得你做不了这件事?
  • 这件事的本质是什么 (在解决什么样的问题)?
  • 如何去了解这件事的本质?
  • 为什么你觉得你了解的就是这件事的本质?
  • 这件事的假设是什么?
  • 是否有可能假设就是错的?

最后推荐一篇陶哲轩的博客 “Ask yourself dumb questions – and answer them!".

从零开始跟着Ilya Sutskever掌握90%的人工智能

John CarmackIlya Sutskever推荐关于了解当下人工智能的阅读资料. Ilya Sutskever给了大约有40篇研究论文的链接.

If you really learn all of these, you’ll know 90% of what matters today. - Ilya Sutskever

如果你真的学会了这些,你就掌握了当今90%重要的内容 - Ilya Sutskever

大概在一个月以前, 推特上流传一份文件夹包含30篇资料(论文, 书籍, 博客)包含了这些资料.

阅读列表

按照发布的时间线从旧到新排列如下:

Time
Paper
1993Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
2004A Tutorial Introduction to the Minimum Description Length Principle
2008Machine Super Intelligence
2011The First Law of Complexodynamics
2012ImageNet Classification with Deep Convolutional Neural Networks
2014Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
2014Neural Turing Machines
2015The Unreasonable Effectiveness of Recurrent Neural Networks
2015Understanding LSTM Networks
2015Recurrent Neural Network Regularization
2015Deep Residual Learning for Image Recognition
2015Neural Machine Translation by Jointly Learning to Align and Translate
2015Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
2016Order Matters: Sequence to Sequence for Sets
2016Multi-Scale Context Aggregation by Dilated Convolutions
2016Identity Mappings in Deep Residual Networks
2017Pointer Networks
2017Neural Message Passing for Quantum Chemistry
2017Attention Is All You Need
2017A simple neural network module for relational reasoning
2017Variational Lossy Autoencoder
2017Kolmogorov Complexity and Algorithmic Randomness
2018Relational Recurrent Neural Networks
2019GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism
2020Scaling Laws for Neural Language Models
2022The Annotated Transformer
2024CS231n: Convolutional Neural Networks for Visual Recognition

计划

写30篇文章深度解析Ilya推荐的每一份资料, 并深度实践每一篇资料的概念.

为什么要做这个事

  • 现在关于贩卖人工智能焦虑的文章越来越多. 真正有价值的文章都会有特定阅读群体. 这个系列定位是所有人.
  • 互联网上的信息总是零散的多, 能够串联起来形成完成的线的文章少.
  • 中文互联网需要更多有价值的内容, 我认为这个过程是有价值的.
  • 对自己来说也是一个学习的过程, 检验自己是否真的理解. 任何经不起质疑的观点都是错的.

前提

虽然说是从零, 但是不会包括编程的教学.

  • 需要能够基本使用Python.
  • 有一定英文阅读能力

结果

看完这30篇文章并实践之后, 你能够:

  • 了解每一个篇文章提出的背景, 定义, 原理, 实现, 应用.
  • 能够通过代码实现每一个步骤, 并能论证作者的推理. 每一篇文章都会有对应的Jupter Notebook.
  • 按照时间线理解30篇文章, 所以会知道发展的脉络. 对未来的发展方向会有更清晰的理解.
  • 按照Ilya说的, 能够理解90%的人工智能.

相关链接

2024华为开发者大会

余承东:

  • 云侧: open欧拉, 端侧: openharmony
  • 华为ai份额
  • 华为AI白皮书
  • HarmonyOS Next ?

何刚:

  • 全场景怎么做?
  • 分布式软总线?
  • LLM_OS
  • 小艺解决LLM_OS
  • 有讲如何保证安全,找一下...
  • 后来有讲如何保证隐私安全, 总结一下

龚体:

  • 鸿蒙内核替代linux内核 (区别?)
  • 高斯数据库?终端向量数据库?
  • 有关编译器的记录一下
  • 整机性能每年提升20%~30 %
  • 鸿蒙不是ios,andriod平替, 为什么? (应用端极致优化, 美团骑车5步变1步)
  • 提供了鸿蒙模板, 降低了鸿蒙开发门槛
  • 鸿蒙2030白皮书
  • 仓婕编程语言 (自然语言 + 规则)?

张平安:

  • 盘古5.0
  • 离线小模型

LLM OS感觉已经被解决了......

( use xxx to do yyyy)

  • 是否隐私安全? (很难说...)

computer which contain: linux distrobute (ubuntu, arch..) + local llm

llm 塞到 linux kernel 里面

  • Semantic Kernel (SK) is an open-source software development kit (SDK) designed by Microsoft for building applications that integrate large language models (LLMs) and generative AI.
  • 符合物理规律的
  • 思维链和策略搜索
  • STCG???
  • 各个视角的视频生成
  • 盘古具身智能大模型

没有讲到具体技术细节....

2023华为迈向智能世界白皮书:

  • https://www-file.huawei.com/-/media/corp2020/pdf/giv/striding-towards-the-intelligent-world/the_intelligent_world_cloud_computing_2023_cn.pdf
  • https://www-file.huawei.com/-/media/corp2020/pdf/giv/striding-towards-the-intelligent-world/the_intelligent_world_adn_2023_cn.pdf
  • https://www-file.huawei.com/-/media/corp2020/pdf/giv/striding-towards-the-intelligent-world/the_intelligent_world_computing_2023_cn.pdf
  • https://www-file.huawei.com/-/media/corp2020/pdf/giv/striding-towards-the-intelligent-world/the_intelligent_world_data_communication_2023_cn.pdf
  • https://www.youtube.com/watch?v=w7-gJicosyA
  • https://huggingface.co/blog/shivance/illustrated-llm-os
  • https://developer.huawei.com/consumer/cn/doc/openharmony-cangjie/cj-wp-abstract