基础面试题，Java校招笔试题目

   1.hive表关联查询，如何解决数据倾斜的问题?

    倾斜原因：

    map输出数据按keyHash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce上的数据量差异过大。

    1)、key分布不均匀;

    2)、业务数据本身的特性;

    3)、建表时考虑不周;

    4)、某些SQL语句本身就有数据倾斜;

    如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。

    解决方案

    1>.参数调节：

    hive.map.aggr=true

    hive.groupby.skewindata=true

    有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MRJob。第一个MRJob中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupByKey有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupByKey分布到Reduce中（这个过程可以保证相同的GroupByKey被分布到同一个Reduce中），最后完成最终的聚合操作。

    2>.SQL语句调节：

    1)、选用joinkey分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join的时候，数据量相对变小的效果。

    2)、大小表Join：

    使用mapjoin让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce.

    4)、大表Join大表：

    把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。

    5)、countdistinct大量相同特殊值:

    countdistinct时，将值为空的情况单独处理，如果是计算countdistinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行groupby，可以先将值为空的记录单独处理，再和其他计算结果进行union。

    2.请谈一下hive的特点是什么？hive和RDBMS有什么异同？

    hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

    hive存储的数据量比较大，适合海量数据，适合存储轨迹类历史数据，适合用来做离线分析、数据挖掘运算，事务性较差，实时性较差

    rdbms一般数据量相对来说不会太大，适合事务性计算，实时性较好，更加接近上层业务

    hive的计算引擎是hadoop的mapreduce，存储是hadoop的hdfs文件系统

    rdbms的引擎由数据库自己设计实现例如mysql的innoDB，存储用的是数据库服务器本地的文件系统

    hive由于基于hadoop所以存储和计算的扩展能力都很好，

    rdbms在这方面比较弱，比如orcale的分表和扩容就很头疼

    hive表格没有主键、没有索引、不支持对具体某一行的操作，适合对批量数据的操作，不支持对数据的update操作，更新的话一般是先删除表然后重新落数据

    rdbms事务性强，有主键、索引，支持对具体某一行的增删改查等操作

    hive的SQL为HQL，与标准的RDBMS的SQL存在有不少的区别，相对来说功能有限

    rdbms的SQL为标准SQL，功能较为强大。

    3.Multi-groupby是hive的一个非常好的特性，请举例说明？

    fromA

    insertoverwritetableB

    selectA.a,count(distinctA.b)groupbyA.a

    insertoverwritetableC

    selectA.c,count(distinctA.b)groupbyA.c

    4.请说明hive中SortBy，OrderBy，ClusterBy，DistrbuteBy各代表什么意思

    orderby：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。

    sortby：不是全局排序，其在数据进入reducer前完成排序。

    distributeby：按照指定的字段对数据进行划分输出到不同的reduce中。

    clusterby：除了具有distributeby的功能外还兼具sortby的功能。

    5.简要描述数据库中的null，说出null在hive底层如何存储，并解释selecta.*fromt1aleftouterjoint2bona.id=b.idwhereb.idisnull;语句的含义

    null与任何值运算的结果都是null,可以使用isnull、isnotnull函数指定在其值为null情况下的取值。

    null在hive底层默认是用'\N'来存储的，可以通过altertabletestSETSERDEPROPERTIES('serialization.null.format'='a');来修改。

    这段语句目的是查询出t1表中与t2表中id相等的所有信息。

    6.写出hive中split、coalesce及collect_list函数的用法（可举例）

    split将字符串转化为数组。

    split('a,b,c,d',',')==>["a","b","c","d"]

    COALESCE(Tv1,Tv2,…)返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL。

    collect_list列出该字段所有的值，不去重selectcollect_list(id)fromtable;

    7.写出将text.txt文件放入hive中test表‘2016-10-10’分区的语句，test的分区字段是l_date。

    LOADDATALOCALINPATH'/your/path/test.txt'OVERWRITEINTOTABLEtestPARTITION(l_date='2016-10-10')

    8.请把下一语句用hive方式实现？

    SELECTa.key,a.value

    FROMa

    WHEREa.keynotin(SELECTb.keyFROMb)

    selecta.key,a.valuefromawherea.keynotexists(selectb.keyfromb)

　以上就是极悦java培训机构的小编针对“基础面试题，Java校招笔试题目”的内容进行的回答，希望对大家有所帮助，如有疑问，请在线咨询，有专业老师随时为你服务。