当前位置：首页 > news >正文

又是一年 1024

news 2024/10/24 21:42:49

今天是 1024 程序员节，现在是一名大数据讲师，我和往常一样，依旧在讲课中度过。对于很多程序员来说，这一天也许是属于代码、调试和无数行 SQL 查询的，而对于我来说，虽然工作内容不同，却也和数据、代码息息相关。

今天的课堂上，我带学生们讨论了数据处理中的几个常见问题，比如kettle 循环，kettle 变量，比如 kettle 怎么连接 hive 处理。

还学习的hive 元数据的作用

SELECT * FROM metastore  .DBS---存数据库
SELECT * FROM metastore.TBLS    ---存数据库的表
SELECT * FROM metastore.COLUMNS_V2 cv  ---表字段
SELECT * FROM metastore.SDS s ---表字段 存在哪里 
-----------------------------------------------------------------
SELECT * FROM metastore.PARTITIONS p --分区的基本信息
SELECT * FROM metastore.PARTITION_KEYS pk --分区的字段信息
SELECT * FROM metastore.PARTITION_KEY_VALS pkv ---分区的字段的值
SELECT * FROM metastore.PARTITION_PARAMS pp ---分区的属性
-----------------------------------------------------------------

看着学生们在操作台上自行操作、解决问题我不禁想起自己当初作为程序员时的经历——那种面对成千上万行数据的挑战，偶尔的卡顿和偶尔的PUA，和经常加班。也让我想起来了曾经看过的一本书《疯狂的程序员》 ，2008 出版也是曾经的 CSDN 明星博主，可惜了有一些事情是一辈子都不能干，大家有空还是可以看看挺有意思。比如：“DOS”就是“Disk Operating System”，磁盘操作系统。“TMD”是“战区导弹防御系统”，“NMD”是“国家导弹防御系统”。比如：什么程序优化啊，都抵不上有钱，有钱就是最好的优化。说什么“效率就是金钱”，其实“金钱就是效率”。

这本书让我想起的以前在京东的日子，那些没日没夜的加班也是没啥了。所以有的时候痛并快乐着。程序员已经是构建现代数字社会的基石，编写的代码、设计的系统，影响着亿万人的生活。从数据隐私到人工智能决策，从自动驾驶技术到医疗诊断系统，小到蓝牙耳机，大到火箭飞机都有程序员的心情付出。但除了技术的提升，思想品德，道德伦理更重要。我也经常和学生们说了数据隐私的重要性。因为每天处理着大量的用户数据，这些数据可能涉及个人身份、财务信息，甚至隐私敏感信息。如何在开发应用时确保用户的隐私得到保护，是开发人员，数据工程师必须面对的伦理挑战。我们不仅要遵守法律法规，更要在设计和开发阶段主动思考如何加强安全措施，避免数据泄露。如 《网络安全法》，《数据安全法》《个人信息保护法》，建议大家都需要学习，也可以少走很多弯路。

另外有幸参加了 10 月 19 日上海 CSDN 举办的程序员节活动，收获满满。活动中，我学习了关于 RAG（Retrieval-Augmented Generation）以及产品经理的一些最新技术知识，这些内容不仅让我对新技术的应用有了更深入的理解，也让我看到了技术创新的广阔前景。

让我感触最深的，除了学习到的新知识，还有现场那些大一新生们的激情和努力。我们在活动中实操了一个嵌入式蓝牙耳机的项目，感觉已经更不上大学生的节奏了，真的都很厉害，他们虽然刚刚步入大学，却展现出对编程和技术强烈的好奇心，令我钦佩。在这个充满机遇与挑战的时代，看到这些年轻人奋发图强，不禁让我回想起自己刚入行时的那份激情。

在活动中，我也认识了其他的 CSDN 博主，作为一名大数据讲师，这样的机会让我不仅可以分享自己的教学经验，还能从其他技术人身上获得新的启发。

总的来说，这次活动不仅让我拓宽了视野，还加深了我对行业发展的理解，也让我更加坚信，无论是讲师还是程序员，都要不断学习和进步，紧跟技术的脚步。

最后分享一张1024程序员节图