泛解析域名清洗

2024-04-10

域名泛解析清洗

背景

最近从白盒运营转了黑盒的运营，处理域名时发现很多无效的域名，大概分析了下应该是泛解析没清洗干净，之前的同学只清洗了CNAME的泛解析记录，没清洗A的泛解析记录，于是我就大概看了下思路，再来清洗一下。

清洗思路

我是这么做的，精确度有待验证，但是感觉应该大差不差，差太多的话当我没说，CNAME和A的泛解析判定思路差不多。

取子域名通过nslookup进行DNS解析，拿到对应的主域名、A/CNAME记录。
请求子域名的内容，分别发起http和https请求拿到响应码和响应长度。
以（主域名，A/CNAME记录，响应码，响应长度）为唯一key，记录出现次数。
取几次基本不可能存在的域名，比如fakedomain = md5(randint()).xxx.com
如果步骤3中的出现次数大于阈值（比如为10）且步骤4的解析结果同样命中步骤3的key，则认为所有满足步骤3中key的特征的所有子域名均为泛解析。

实现代码

单线程（太慢）

package main

import (
	"crypto/tls"
	"fmt"
	"io/ioutil"
	"net"
	"net/http"
	"os"
	"strings"
	"time"
)

func main() {
	count := 0
	filePath := "/Users/yd0ng/Desktop/tools/panDomainClean/xxx.csv"
	data, err := os.ReadFile(filePath)
	if err != nil {
		fmt.Printf("Read file %s error: %s\n", filePath, err)
	}
	dataLine := strings.Split(string(data), "\n")
	fmt.Println("Length:", len(dataLine))

	start := time.Now()
	for _, domain := range dataLine {
		//fmt.Printf("%s\n\n", domain)
		if domain == "subdomain" {
			continue
		}
		count = count + 1
		fmt.Println("count:", count)
		if count > 200 {
			break
		}
		genUniqueKey(domain)
	}
	end := time.Now()
	elapsed := end.Sub(start).Seconds()
	fmt.Printf("程序耗时：%.2f秒\n", elapsed)
}
func genUniqueKey(domain string) string {
	time.Sleep(1 * time.Second)
	key := ""
	primaryDomain := ""
	part := strings.Split(domain, ".")
	if len(part) >= 1000 {
		primaryDomain = part[len(part)-2] + "." + part[len(part)-1]
	} else {
		primaryDomain = domain
	}
	ARecord := LookUpDnsForA(domain)

	urls := []string{"http://" + domain, "https://" + domain}
	for _, url := range urls {
		key := ""
		if strings.HasPrefix(url, "https://") {
			key = key + "https," + domain + "," + primaryDomain + "," + ARecord + ","
		} else {
			key = key + "http," + domain + "," + primaryDomain + "," + ARecord + ","
		}
		url = "http://localhost:8000"
		fmt.Println(url)
		transport := &http.Transport{
			TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
		}
		c := &http.Client{
			Transport: transport,
			Timeout:   1 * time.Second,
			CheckRedirect: func(req *http.Request, via []*http.Request) error {
				return http.ErrUseLastResponse // 禁用自动跳转
			},
		}
		res, err := c.Get(url)
		if err != nil {
			if netErr, ok := err.(net.Error); ok && netErr.Timeout() {
				// 这是一个超时错误
				//fmt.Println("请求超时:", err)
				continue
				// 在这里进行超时后的处理，比如重试、记录日志等
			} else {
				// 其他类型的错误
				//fmt.Println("请求出错:", err)
				continue
			}
			continue
		}
		defer res.Body.Close()
		resStatusCode := res.StatusCode
		body, _ := ioutil.ReadAll(res.Body)
		resBodyLength := len(string(body))
		key = key + fmt.Sprintf("%d", resStatusCode) + ","
		key = key + fmt.Sprintf("%d", resBodyLength) + "\n"
		fmt.Println(key)
	}
	return key
}

func LookUpDnsForA(domain string) string {
	ipRecords, _ := net.LookupIP(domain)
	return ipRecords[0].String()
}

func LookUpDnsForCname(domain string) string {
	CNAMERecord, _ := net.LookupCNAME(domain)
	return CNAMERecord
}

本文作者： yd0ng
本文链接： https://yd0ng.github.io/2024/04/10/%E6%B3%9B%E8%A7%A3%E6%9E%90%E5%9F%9F%E5%90%8D%E6%B8%85%E6%B4%97/
版权声明： 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载请注明出处！